从图像中提取的线条的二值描述符

详细描述

简介

计算机视觉中最具挑战性的活动之一是从给定图像中提取有用信息。这些信息通常以点的形式出现，这些点保留某种属性（例如，它们是尺度不变的），并且实际代表输入图像。

本模块的目标是在图像中寻找一种新的代表性信息，并提供其提取和表示的功能。特别是，与之前用于检测图像中相关元素的方法不同，这里提取的是线条而不是点；为了重用和绘图目的，专门定义了一个新类来概括线条的属性。

二值描述符的计算

为了获得表示从图像的某个八度检测到的特定线条的二值描述符，我们首先计算一个非二值描述符，如[318] 中所述。该算法使用EDLine检测器提取的线条进行操作，如[292] 中所解释。给定一条线，我们考虑以其为中心的一个矩形区域，称为线支持区域 (LSR)。该区域被划分为一组条带 \(\{B_1, B_2, ..., B_m\}\)，其长度与线的长度相等。

如果我们用 \(\bf{d}_L\) 表示线的方向，那么可以确定垂直于线的顺时针方向 \(\bf{d}_{\perp}\)；这两个方向用于构建以线中点为中心的参考系。LSR 内像素的梯度 \(\bf{g'}\) 可以投影到新确定的参考系中，得到它们的局部等效值 \(\bf{g'} = (\bf{g}^T \cdot \bf{d}_{\perp}, \bf{g}^T \cdot \bf{d}_L)^T \triangleq (\bf{g'}_{d_{\perp}}, \bf{g'}_{d_L})^T\)。

之后，对LSR中所有沿 \(\bf{d}_\perp\) 方向的像素应用高斯函数；首先，我们为LSR中的第i行分配一个全局加权系数 \(f_g(i) = (1/\sqrt{2\pi}\sigma_g)e^{-d^2_i/2\sigma^2_g}\)，其中 \(d_i\) 是第i行到LSR中心行的距离，\(\sigma_g = 0.5(m \cdot w - 1)\)，\(w\) 是条带的宽度（所有条带相同）。其次，考虑条带 \(B_j\) 及其相邻条带 \(B_{j-1}, B_{j+1}\)，我们分配一个局部加权 \(F_l(k) = (1/\sqrt{2\pi}\sigma_l)e^{-d'^2_k/2\sigma_l^2}\)，其中 \(d'_k\) 是第k行到 \(B_j\) 中中心行的距离，\(\sigma_l = w\)。同时使用全局和局部权重，我们分别减少了远离线的梯度和边界效应所起的作用。

LSR 中的每个条带 \(B_j\) 都有一个关联的条带描述符 (BD)，它是通过考虑前一个和后一个条带计算的（计算第一个和最后一个条带的描述符时，顶部和底部条带被忽略）。一旦每个条带被分配了其 BD，线的 LBD 描述符就简单地由下式给出：

\[LBD = (BD_1^T, BD_2^T, ... , BD^T_m)^T.\]

为了计算条带描述符 \(B_j\)，会考虑其中的每个第k行，并累积该行中的梯度：

\[\begin{matrix} \bf{V1}^k_j = \lambda \sum\limits_{\bf{g}'_{d_\perp}>0}\bf{g}'_{d_\perp}, & \bf{V2}^k_j = \lambda \sum\limits_{\bf{g}'_{d_\perp}<0} -\bf{g}'_{d_\perp}, \\ \bf{V3}^k_j = \lambda \sum\limits_{\bf{g}'_{d_L}>0}\bf{g}'_{d_L}, & \bf{V4}^k_j = \lambda \sum\limits_{\bf{g}'_{d_L}<0} -\bf{g}'_{d_L}\end{matrix}.\]

其中 \(\lambda = f_g(k)f_l(k)\)。

通过堆叠前面结果，我们获得条带描述矩阵 (BDM)

\[BDM_j = \left(\begin{matrix} \bf{V1}_j^1 & \bf{V1}_j^2 & \ldots & \bf{V1}_j^n \\ \bf{V2}_j^1 & \bf{V2}_j^2 & \ldots & \bf{V2}_j^n \\ \bf{V3}_j^1 & \bf{V3}_j^2 & \ldots & \bf{V3}_j^n \\ \bf{V4}_j^1 & \bf{V4}_j^2 & \ldots & \bf{V4}_j^n \end{matrix} \right) \in \mathbb{R}^{4\times n},\]

其中 \(n\) 是条带 \(B_j\) 中的行数

\[n = \begin{cases} 2w, & j = 1||m; \\ 3w, & \mbox{else}. \end{cases}\]

每个 \(BD_j\) 可以使用 \(BDM_J\) 的标准差向量 \(S_j\) 和均值向量 \(M_j\) 获得。因此，最终

\[LBD = (M_1^T, S_1^T, M_2^T, S_2^T, \ldots, M_m^T, S_m^T)^T \in \mathbb{R}^{8m}\]

一旦获得 LBD，必须将其转换为二值形式。为此，我们考虑其中 32 对可能的 BD；每对 BD 逐位比较，比较结果生成一个 8 位字符串。连接 32 个比较字符串，我们得到单个 LBD 的最终 256 位二值表示。

类
类	cv::line_descriptor::BinaryDescriptor
	该类实现了线条检测及其二值描述符计算的功能。更多...
类	cv::line_descriptor::BinaryDescriptorMatcher
	提供所有功能，用于查询用户提供或类内部（用户必须填充）的数据集，遵循 描述符匹配器 的模型。更多...
结构体	cv::line_descriptor::DrawLinesMatchesFlags
结构体	cv::line_descriptor::KeyLine
	表示线条的类。更多...
类	cv::line_descriptor::LSDDetector
结构体	cv::line_descriptor::LSDParam

函数
void	cv::line_descriptor::drawKeylines (const Mat &image, const std::vector< KeyLine > &keylines, Mat &outImage, const Scalar &color=Scalar::all(-1), int flags=DrawLinesMatchesFlags::DEFAULT)
	绘制关键线条。
void	cv::line_descriptor::drawLineMatches (const Mat &img1, const std::vector< KeyLine > &keylines1, const Mat &img2, const std::vector< KeyLine > &keylines2, const std::vector< DMatch > &matches1to2, Mat &outImg, const Scalar &matchColor=Scalar::all(-1), const Scalar &singleLineColor=Scalar::all(-1), const std::vector< char > &matchesMask=std::vector< char >(), int flags=DrawLinesMatchesFlags::DEFAULT)
	绘制从两幅图像中找到的关键线条匹配。

函数文档

drawKeylines()

void cv::line_descriptor::drawKeylines	(	const Mat &	image,
		const std::vector< KeyLine > &	keylines,
		Mat &	outImage,
		const Scalar &	color = Scalar::all(-1),
		int	flags = DrawLinesMatchesFlags::DEFAULT )

Python
	cv.line_descriptor.drawKeylines(	image, keylines[, outImage[, color[, flags]]]	) ->	outImage

#include <opencv2/line_descriptor/descriptor.hpp>

绘制关键线条。

参数

image	输入图像
keylines	要绘制的关键线条
outImage	用于绘制的输出图像
color	要绘制线条的颜色（如果设置为默认值，则随机选择颜色）
flags	绘制标志

drawLineMatches()

void cv::line_descriptor::drawLineMatches	(	const Mat &	img1,
		const std::vector< KeyLine > &	keylines1,
		const Mat &	img2,
		const std::vector< KeyLine > &	keylines2,
		const std::vector< DMatch > &	matches1to2,
		Mat &	outImg,
		const Scalar &	matchColor = Scalar::all(-1),
		const Scalar &	singleLineColor = Scalar::all(-1),
		const std::vector< char > &	matchesMask = std::vector< char >(),
		int	flags = DrawLinesMatchesFlags::DEFAULT )

Python
	cv.line_descriptor.drawLineMatches(	img1, keylines1, img2, keylines2, matches1to2[, outImg[, matchColor[, singleLineColor[, matchesMask[, flags]]]]]	) ->	outImg

#include <opencv2/line_descriptor/descriptor.hpp>

绘制从两幅图像中找到的关键线条匹配。

参数

img1	第一幅图像
keylines1	从第一幅图像中提取的关键线条
img2	第二幅图像
keylines2	从第二幅图像中提取的关键线条
matches1to2	匹配向量
outImg	用于绘制的输出矩阵
匹配颜色	匹配的绘制颜色（如果为默认值，则随机选择）
单线颜色	关键线条的绘制颜色（如果为默认值，则随机选择）
匹配掩码	用于指示哪些匹配项必须被绘制的掩码
flags	绘制标志，参见 DrawLinesMatchesFlags

注意

如果 matchColor 和 singleLineColor 都设置为默认值，函数将绘制匹配的线条和连接它们的线条，颜色相同。