特征匹配 + 单应性，查找物体

目标

在本章中，

• 我们将混合使用来自 calib3d 模块的特征匹配和 findHomography，在复杂图像中查找已知对象。

基础

我们在上一节做了什么？我们使用了一个 queryImage，在其中找到了一些特征点，我们取了另一个 trainImage，也在该图像中找到了特征，并从中找到了最佳匹配项。简而言之，我们在另一幅杂乱的图像中找到了某个对象的部分位置。此信息足以在 trainImage 中精确地找到该对象。

为此，我们可以使用 calib3d 模块的一个函数，即 cv.findHomography()。如果我们从两幅图像中传递一组点，它将找到该对象的透视变换。然后我们可以使用 cv.perspectiveTransform() 查找该对象。它至少需要四个正确点才能找到该变换。

我们已经发现，在匹配过程中可能会出现一些可能影响结果的错误。为了解决此问题，该算法使用 RANSAC 或 LEAST_MEDIAN（可通过标志决定）。因此，提供正确估计值的好匹配称为内点，其余称为外点。 cv.findHomography() 返回一个指定内点和外点的掩码。

所以让我们动手吧！

代码

首先，像往常一样，我们在图像中找到 SIFT 特征并应用比率测试以找到最佳匹配项。

import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
 
MIN_MATCH_COUNT = 10
 
img1 = cv.imread('box.png', cv.IMREAD_GRAYSCALE) # queryImage
img2 = cv.imread('box_in_scene.png', cv.IMREAD_GRAYSCALE) # trainImage
 
# 初始化 SIFT 检测器
sift = cv.SIFT_create()
 
# 使用 SIFT 查找关键点和描述符
kp1, des1 = sift.detectAndCompute(img1,None)
kp2, des2 = sift.detectAndCompute(img2,None)
 
FLANN_INDEX_KDTREE = 1
index_params = 字典(algorithm = FLANN_INDEX_KDTREE, trees = 5)
search_params = 字典(checks = 50)
 
flann = cv.FlannBasedMatcher(index_params, search_params)
 
matches = flann.knnMatch(des1,des2,k=2)
 
# 根据洛韦比率检验存储所有好的匹配。
good = []
对于 matches 中的 m、n
    如果 m.distance < 0.7*n.distance
good.append(m)

现在，我们设置一个条件，即至少有 10 个匹配项（由 MIN_MATCH_COUNT 定义）存在来查找该对象。否则，只需显示一条消息，说明匹配项不够多。

如果找到足够的匹配项，我们将提取两张图像中匹配关键点的点位。它们被用来找到透视变换。一旦我们得到这个 3x3 变换矩阵，我们用它将 queryImage 的角变换到 trainImage 中的对应点。然后我们绘制它。

如果 len(good)>MIN_MATCH_COUNT
src_pts = np.float32([ kp1[m.queryIdx].pt 对于 good 中的 m ]).reshape(-1,1,2)
dst_pts = np.float32([ kp2[m.trainIdx].pt 对于 good 中的 m ]).reshape(-1,1,2)
 
M, mask = cv.findHomography(src_pts, dst_pts, cv.RANSAC,5.0)
matchesMask = mask.ravel().tolist()
 
h,w = img1.shape
pts = np.float32([ [0,0],[0,h-1],[w-1,h-1],[w-1,0] ]).reshape(-1,1,2)
dst = cv.perspectiveTransform(pts,M)
 
img2 = cv.polylines(img2,[np.int32(dst)],True,255,3, cv.LINE_AA)
 
else:
print( "匹配项不够 - {}/{}".format(len(good), MIN_MATCH_COUNT) )
matchesMask = None

最后，我们绘制内点（如果成功找到物体）或匹配关键点（如果失败）。

draw_params = 字典(matchColor = (0,255,0), # 以绿色绘制匹配项
singlePointColor = None,
matchesMask = matchesMask, # 仅绘制内点
flags = 2)
 
img3 = cv.drawMatches(img1,kp1,img2,kp2,good,无,**draw_params)
 
plt.imshow(img3, 'gray'),plt.show()

请参阅以下结果。杂乱的图像中，对象标记为白色

图像

其他资源

练习