OpenCV 4.11.0
开源计算机视觉
加载中…
搜索中…
未找到匹配项
从图像中提取线条的二值描述符

详细描述

引言

计算机视觉中最具挑战性的任务之一是从给定图像中提取有用的信息。这些信息通常以保留某种属性的点(例如,它们是尺度不变的)的形式出现,并且实际上代表了输入图像。

本模块的目标是在图像内寻找一种新的代表性信息,并提供其提取和表示的功能。特别是,与之前在图像内检测相关元素的方法不同,它提取的是线条而不是点;定义了一个新的类来总结线条的属性,用于重用和绘图。

二值描述符的计算

为了获得代表图像特定八度中检测到的特定线条的二值描述符,我们首先计算如[316]中所述的非二值描述符。该算法适用于使用EDLine检测器提取的线条,如[289]中所解释的。给定一条线,我们考虑以其为中心的长方形区域,称为线支持区域 (LSR)。该区域被划分为一组带\(\{B_1, B_2, ..., B_m\}\),其长度等于线条的长度。

如果我们用\(\bf{d}_L\)表示线条的方向,则可以确定与线条正交且顺时针方向的\(\bf{d}_{\perp}\);这两个方向用于构建以线条中点为中心的参考系。LSR内像素的梯度\(\bf{g'}\)可以投影到新确定的坐标系中,得到其局部等效值\(\bf{g'} = (\bf{g}^T \cdot \bf{d}_{\perp}, \bf{g}^T \cdot \bf{d}_L)^T \triangleq (\bf{g'}_{d_{\perp}}, \bf{g'}_{d_L})^T\)。

之后,高斯函数沿\(\bf{d}_\perp\)方向应用于所有LSR像素;首先,我们将全局加权系数\(f_g(i) = (1/\sqrt{2\pi}\sigma_g)e^{-d^2_i/2\sigma^2_g}\)赋予LSR中的第*i*行,其中\(d_i\)是第i行到LSR中心行的距离,\(\sigma_g = 0.5(m \cdot w - 1)\),\(w\)是带的宽度(每个带的宽度相同)。其次,考虑一个带\(B_j\)及其相邻带\(B_{j-1}, B_{j+1}\),我们赋予局部加权\(F_l(k) = (1/\sqrt{2\pi}\sigma_l)e^{-d'^2_k/2\sigma_l^2}\),其中\(d'_k\)是第k行到\(B_j\)中心行的距离,\(\sigma_l = w\)。使用全局和局部权重,我们可以同时减少远离线条的梯度和边界效应的影响。

LSR中的每个带\(B_j\)都有一个相关的带描述符 (BD),它是通过考虑前一个和下一个带计算的(计算第一个和最后一个带的描述符时,忽略顶部和底部带)。一旦每个带都被赋予其BD,线条的LBD描述符就简单地由下式给出:

\[LBD = (BD_1^T, BD_2^T, ... , BD^T_m)^T.\]

为了计算带描述符\(B_j\),考虑其中的每个第k行,并累加该行中的梯度:

\[\begin{matrix} \bf{V1}^k_j = \lambda \sum\limits_{\bf{g}'_{d_\perp}>0}\bf{g}'_{d_\perp}, & \bf{V2}^k_j = \lambda \sum\limits_{\bf{g}'_{d_\perp}<0} -\bf{g}'_{d_\perp}, \\ \bf{V3}^k_j = \lambda \sum\limits_{\bf{g}'_{d_L}>0}\bf{g}'_{d_L}, & \bf{V4}^k_j = \lambda \sum\limits_{\bf{g}'_{d_L}<0} -\bf{g}'_{d_L}\end{matrix}.\]

其中\(\lambda = f_g(k)f_l(k)\)。

通过堆叠之前的结果,我们得到带描述矩阵 (BDM)

\[BDM_j = \left(\begin{matrix} \bf{V1}_j^1 & \bf{V1}_j^2 & \ldots & \bf{V1}_j^n \\ \bf{V2}_j^1 & \bf{V2}_j^2 & \ldots & \bf{V2}_j^n \\ \bf{V3}_j^1 & \bf{V3}_j^2 & \ldots & \bf{V3}_j^n \\ \bf{V4}_j^1 & \bf{V4}_j^2 & \ldots & \bf{V4}_j^n \end{matrix} \right) \in \mathbb{R}^{4\times n},\]

其中\(n\)是带\(B_j\)中的行数:

\[n = \begin{cases} 2w, & j = 1||m; \\ 3w, & \mbox{else}. \end{cases}\]

每个\(BD_j\)都可以使用\(BDM_J\)的标准差向量\(S_j\)和均值向量\(M_j\)获得。因此,最终:

\[LBD = (M_1^T, S_1^T, M_2^T, S_2^T, \ldots, M_m^T, S_m^T)^T \in \mathbb{R}^{8m}\]

一旦获得LBD,就必须将其转换为二进制形式。为此,我们考虑其中的32个可能的BD对;逐位比较每一对BD,比较生成一个8位字符串。连接32个比较字符串,我们得到单个LBD的256位最终二进制表示。

类  cv::line_descriptor::BinaryDescriptor
 该类实现了线条检测及其二值描述符计算的功能。更多…
 
类  cv::line_descriptor::BinaryDescriptorMatcher
 提供根据描述符匹配器模型查询用户提供或类内部(用户必须填充)的数据集的功能。更多…
 
结构体  cv::line_descriptor::DrawLinesMatchesFlags
 
结构体  cv::line_descriptor::KeyLine
 表示线条的类。更多…
 
类  cv::line_descriptor::LSDDetector
 
结构体  cv::line_descriptor::LSDParam
 

函数

void cv::line_descriptor::drawKeylines (const Mat &image, const std::vector< KeyLine > &keylines, Mat &outImage, const Scalar &color=Scalar::all(-1), int flags=DrawLinesMatchesFlags::DEFAULT)
 绘制关键线。
 
void cv::line_descriptor::drawLineMatches (const Mat &img1, const std::vector< KeyLine > &keylines1, const Mat &img2, const std::vector< KeyLine > &keylines2, const std::vector< DMatch > &matches1to2, Mat &outImg, const Scalar &matchColor=Scalar::all(-1), const Scalar &singleLineColor=Scalar::all(-1), const std::vector< char > &matchesMask=std::vector< char >(), int flags=DrawLinesMatchesFlags::DEFAULT)
 绘制从两幅图像中找到的关键线的匹配项。
 

函数文档

◆ drawKeylines()

void cv::line_descriptor::drawKeylines ( const Mat & image,
const std::vector< KeyLine > & keylines,
Mat & 输出图像,
const Scalar & 颜色 = Scalar::all(-1),
int 标志 = DrawLinesMatchesFlags::DEFAULT )
Python
cv.line_descriptor.drawKeylines(图像, 线段特征[, 输出图像[, 颜色[, 标志]]]) -> 输出图像

#include <opencv2/line_descriptor/descriptor.hpp>

绘制关键线。

参数
image输入图像
keylines待绘制的线段特征
输出图像用于绘制的输出图像
颜色待绘制线条的颜色(如果设置为默认值,则随机选择颜色)
标志绘制标志

◆ drawLineMatches()

void cv::line_descriptor::drawLineMatches ( const Mat & img1,
const std::vector< KeyLine > & keylines1,
const Mat & img2,
const std::vector< KeyLine > & keylines2,
const std::vector< DMatch > & matches1to2,
Mat & outImg,
const Scalar & 匹配颜色 = Scalar::all(-1),
const Scalar & 单线条颜色 = Scalar::all(-1),
const std::vector< char > & 匹配掩码 = std::vector< char >(),
int 标志 = DrawLinesMatchesFlags::DEFAULT )
Python
cv.line_descriptor.drawLineMatches(img1, keylines1, img2, keylines2, matches1to2[, outImg[, matchColor[, singleLineColor[, matchesMask[, flags]]]]]) -> outImg

#include <opencv2/line_descriptor/descriptor.hpp>

绘制从两幅图像中找到的关键线的匹配项。

参数
img1第一张图像
keylines1从第一张图像中提取的线段特征
img2第二张图像
keylines2从第二张图像中提取的线段特征
matches1to2匹配向量
outImg用于绘制的输出矩阵
匹配颜色匹配的绘制颜色(如果为默认值,则随机选择)
单线条颜色线段特征的绘制颜色(如果为默认值,则随机选择)
匹配掩码指示必须绘制哪些匹配项的掩码
标志绘制标志,参见 DrawLinesMatchesFlags
注意
如果匹配颜色单线条颜色都设置为默认值,则函数将使用相同的颜色绘制匹配的线段及其连接线。