目标

本章节中，

我们将结合特征匹配和calib3d模块中的findHomography函数，在复杂的图像中查找已知的物体。

基础知识

上一节我们做了什么？我们使用了一张queryImage（查询图像），在其上找到了一些特征点，然后我们又取了另一张trainImage（训练图像），也在那张图像上找到了特征点，最后我们找到了它们之间最佳的匹配项。简而言之，我们在另一张杂乱的图像中找到了一些物体部分的位置。这些信息足以精确地找到trainImage中的物体。

为此，我们可以使用calib3d模块中的一个函数，即cv.findHomography()。如果我们传入两张图像中的点集，它将找到该物体的透视变换。然后我们可以使用cv.perspectiveTransform()来查找物体。它至少需要四个正确的点来找到变换。

我们已经看到，匹配过程中可能会出现一些可能的错误，这可能会影响结果。为了解决这个问题，算法使用RANSAC或LEAST_MEDIAN（可以通过标志决定）。因此，提供正确估计的良好匹配称为内点，其余的称为外点。cv.findHomography()返回一个掩码，该掩码指定内点和外点。

让我们开始吧！！！

代码

首先，像往常一样，让我们在图像中查找SIFT特征，并应用比率测试来找到最佳匹配。

import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
 
MIN_MATCH_COUNT = 10
 
img1 = cv.imread('box.png', cv.IMREAD_GRAYSCALE) # 查询图像
img2 = cv.imread('box_in_scene.png', cv.IMREAD_GRAYSCALE) # 训练图像
 
# 初始化SIFT检测器
sift = cv.SIFT_create()
 
# 使用SIFT查找关键点和描述符
kp1, des1 = sift.detectAndCompute(img1,None)
kp2, des2 = sift.detectAndCompute(img2,None)
 
FLANN_INDEX_KDTREE = 1
index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)
search_params = dict(checks = 50)
 
flann = cv.FlannBasedMatcher(index_params, search_params)
 
matches = flann.knnMatch(des1,des2,k=2)
 
# 根据Lowe比率测试存储所有良好的匹配项。
good = []
for m,n in matches
    if m.distance < 0.7*n.distance
good.append(m)

现在，我们设置一个条件，即至少要有10个匹配项（由MIN_MATCH_COUNT定义）才能找到物体。否则，只需显示一条消息，说明没有足够的匹配项。

如果找到足够的匹配项，我们将在两张图像中提取匹配关键点的位置。它们被传递以查找透视变换。一旦我们得到这个3x3变换矩阵，我们就用它来将queryImage的角点转换为trainImage中的对应点。然后我们绘制它。

if len(good)>MIN_MATCH_COUNT
src_pts = np.float32([ kp1[m.queryIdx].pt for m in good ]).reshape(-1,1,2)
dst_pts = np.float32([ kp2[m.trainIdx].pt for m in good ]).reshape(-1,1,2)
 
M, mask = cv.findHomography(src_pts, dst_pts, cv.RANSAC,5.0)
matchesMask = mask.ravel().tolist()
 
h,w = img1.shape
pts = np.float32([ [0,0],[0,h-1],[w-1,h-1],[w-1,0] ]).reshape(-1,1,2)
dst = cv.perspectiveTransform(pts,M)
 
img2 = cv.polylines(img2,[np.int32(dst)],True,255,3, cv.LINE_AA)
 
else:
print( "未找到足够的匹配项 - {}/{}".format(len(good), MIN_MATCH_COUNT) )
matchesMask = None

最后，我们绘制内点（如果成功找到物体）或匹配关键点（如果失败）。

draw_params = dict(matchColor = (0,255,0), # 以绿色绘制匹配项
singlePointColor = None,
matchesMask = matchesMask, # 只绘制内点
flags = 2)
 
img3 = cv.drawMatches(img1,kp1,img2,kp2,good,None,**draw_params)
 
plt.imshow(img3, 'gray'),plt.show()

请参见下面的结果。物体在杂乱的图像中用白色标记

图像