霍夫线变换

目录

• 目标
• 理论
• 霍夫线变换
  • 它是如何工作的？
  • 标准霍夫线变换和概率霍夫线变换
  • 此程序的作用是什么？
• 代码
• 解释
  • 加载图像
  • 使用Canny检测器检测图像边缘
  • 标准霍夫线变换
  • 概率霍夫线变换
  • 显示原始图像和检测到的线条
  • 等待用户退出程序
• 结果

上一个教程： Canny边缘检测器
下一个教程： 霍夫圆变换

原始作者	Ana Huamán
兼容性	OpenCV >= 3.0

目标

在本教程中，您将学习如何

• 使用OpenCV函数 HoughLines() 和 HoughLinesP() 来检测图像中的线条。

理论

注意

以下解释来源于Bradski和Kaehler合著的《学习OpenCV》一书。

霍夫线变换

1. 霍夫线变换是一种用于检测直线的变换。
2. 为了应用此变换，首先进行边缘检测预处理是可取的。

工作原理？

1. 如你所知，图像空间中的一条直线可以用两个变量来表示。例如
   1. 在笛卡尔坐标系中：参数：\((m,b)\)。
   2. 在极坐标系中：参数：\((r,\theta)\)

对于霍夫变换，我们将用极坐标系来表示直线。因此，直线方程可以写为

\[y = \left ( -\dfrac{\cos \theta}{\sin \theta} \right ) x + \left ( \dfrac{r}{\sin \theta} \right )\]

整理项：\(r = x \cos \theta + y \sin \theta\)

1. 通常，对于每个点\((x_{0}, y_{0})\)，我们可以定义通过该点的直线族，表示为

   \[r_{\theta} = x_{0} \cdot \cos \theta + y_{0} \cdot \sin \theta\]

   这意味着每对\((r_{\theta},\theta)\)代表通过\((x_{0}, y_{0})\)的每条直线。

2. 如果对于给定的\((x_{0}, y_{0})\)绘制通过该点的直线族，我们将得到一条正弦曲线。例如，对于\(x_{0} = 8\)和\(y_{0} = 6\)，我们得到以下（在\(\theta\) - \(r\)平面中的）图

我们只考虑满足\(r > 0\)和\(0< \theta < 2 \pi\)的点。

1. 我们可以对图像中的所有点执行上述相同的操作。如果两个不同点的曲线在\(\theta\) - \(r\)平面中相交，则意味着这两个点属于同一条直线。例如，继续上面的例子，并绘制另外两个点：\(x_{1} = 4\)，\(y_{1} = 9\)和\(x_{2} = 12\)，\(y_{2} = 3\)的图，我们得到

这三条曲线在一个点\((0.925, 9.6)\)相交，这些坐标是\((x_{0}, y_{0})\)、\((x_{1}, y_{1})\)和\((x_{2}, y_{2})\)所在的直线的参数（\(\theta, r\)）。

1. 上述所有内容意味着什么？这意味着通常，可以通过查找曲线之间的交点数量来*检测*一条直线。相交的曲线越多，表示该交点所代表的直线包含的点越多。通常，我们可以定义一个*阈值*，即*检测*一条直线所需的最小交点数量。
2. 这就是霍夫线变换的作用。它会跟踪图像中每个点的曲线之间的交点。如果交点数量超过某个*阈值*，则将其声明为一条直线，其参数为交点的\((\theta, r_{\theta})\)。

标准霍夫线变换和概率霍夫线变换

OpenCV实现了三种霍夫线变换

a. 标准霍夫变换

• 它与我们上一节中解释的原理基本一致。它返回一个由\(({\theta}, r_{\theta})\)对组成的向量。
• 在OpenCV中，它由函数HoughLines()实现。

b. 概率霍夫线变换

• 霍夫线变换的一种更高效的实现。它输出检测到的线的端点\((x_{0}, y_{0}, x_{1}, y_{1})\)
• 在OpenCV中，它由函数HoughLinesP()实现。

c. 加权霍夫变换

• 在标准霍夫变换中，它使用边缘强度而非二进制0或1值。
• 在OpenCV中，它由函数HoughLines()实现，参数use_edgeval=true。
• 请参阅samples/cpp/tutorial_code/ImgTrans/HoughLines_Demo.cpp中的示例。

该程序做什么？

• 加载图像
• 应用*标准霍夫线变换*和*概率霍夫线变换*。
• 在三个窗口中显示原始图像和检测到的线条。

代码

C++

我们将要解释的示例代码可以从此处下载。一个略微更高级的版本（通过轨迹条显示标准霍夫变换和概率霍夫变换，用于改变阈值）可以在此处找到。

 
#include "opencv2/imgcodecs.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/imgproc.hpp"
 
using namespace cv;
using namespace std;
 
int main(int argc, char** argv)
{
    // 声明输出变量
    Mat dst, cdst, cdstP;
 
    const char* default_file = "sudoku.png";
    const char* filename = argc >=2 ? argv[1] : default_file;
 
    // 加载图像
    Mat src = imread( samples::findFile( filename ), IMREAD_GRAYSCALE );
 
    // 检查图像是否加载成功
    if(src.empty()){
printf(" Error opening image\n");
printf(" Program Arguments: [image_name -- default %s] \n", default_file);
        return -1;
    }
 
    // 边缘检测
Canny(src, dst, 50, 200, 3);
 
    // 复制边缘到将以 BGR 显示结果的图像
cvtColor(dst, cdst, COLOR_GRAY2BGR);
cdstP = cdst.clone();
 
    // 标准霍夫线变换
vector<Vec2f> lines; // will hold the results of the detection
HoughLines(dst, lines, 1, CV_PI/180, 150, 0, 0 ); // runs the actual detection
    // 绘制线条
    for( size_t i = 0; i < lines.size(); i++ )
    {
        float rho = lines[i][0], theta = lines[i][1];
        Point pt1, pt2;
        double a = cos(theta), b = sin(theta);
        double x0 = a*rho, y0 = b*rho;
pt1.x = cvRound(x0 + 1000*(-b));
pt1.y = cvRound(y0 + 1000*(a));
pt2.x = cvRound(x0 - 1000*(-b));
pt2.y = cvRound(y0 - 1000*(a));
line( cdst, pt1, pt2, Scalar(0,0,255), 3, LINE_AA);
    }
 
    // 概率霍夫线变换
vector<Vec4i> linesP; // will hold the results of the detection
HoughLinesP(dst, linesP, 1, CV_PI/180, 50, 50, 10 ); // runs the actual detection
    // 绘制线条
    for( size_t i = 0; i < linesP.size(); i++ )
    {
        Vec4i l = linesP[i];
line( cdstP, Point(l[0], l[1]), Point(l[2], l[3]), Scalar(0,0,255), 3, LINE_AA);
    }
 
    // 显示结果
imshow("Source", src);
imshow("Detected Lines (in red) - Standard Hough Line Transform", cdst);
imshow("Detected Lines (in red) - Probabilistic Line Transform", cdstP);
 
    // 等待并退出
cv::Mat::empty
    return 0;
}

Java

我们将要解释的示例代码可以从此处下载。

 
import org.opencv.core.*;
import org.opencv.core.Point;
import org.opencv.highgui.HighGui;
import org.opencv.imgcodecs.Imgcodecs;
import org.opencv.imgproc.Imgproc;
 
class HoughLinesRun {
 
    public void run(String[] args) {
        // 声明输出变量
Mat dst = new Mat(), cdst = new Mat(), cdstP;
 
String default_file = "../../../../data/sudoku.png";
String filename = ((args.length > 0) ? args[0] : default_file);
 
        // 加载图像
Mat src = Imgcodecs.imread(filename, Imgcodecs.IMREAD_GRAYSCALE);
 
        // 检查图像是否加载成功
        if( src.empty() ) {
System.out.println("Error opening image!");
System.out.println("Program Arguments: [image_name -- default "
+ default_file +"] \n");
System.exit(-1);
        }
 
        // 边缘检测
Imgproc.Canny(src, dst, 50, 200, 3, false);
 
        // 复制边缘到将以 BGR 显示结果的图像
Imgproc.cvtColor(dst, cdst, Imgproc.COLOR_GRAY2BGR);
cdstP = cdst.clone();
 
        // 标准霍夫线变换
Mat lines = new Mat(); // will hold the results of the detection
Imgproc.HoughLines(dst, lines, 1, Math.PI/180, 150); // runs the actual detection
        // 绘制线条
        for (int x = 0; x < lines.rows(); x++) {
            double rho = lines.get(x, 0)[0],
theta = lines.get(x, 0)[1];
 
            double a = Math.cos(theta), b = Math.sin(theta);
            double x0 = a*rho, y0 = b*rho;
Point pt1 = new Point(Math.round(x0 + 1000*(-b)), Math.round(y0 + 1000*(a)));
Point pt2 = new Point(Math.round(x0 - 1000*(-b)), Math.round(y0 - 1000*(a)));
Imgproc.line(cdst, pt1, pt2, new Scalar(0, 0, 255), 3, Imgproc.LINE_AA, 0);
        }
 
        // 概率霍夫线变换
Mat linesP = new Mat(); // will hold the results of the detection
Imgproc.HoughLinesP(dst, linesP, 1, Math.PI/180, 50, 50, 10); // runs the actual detection
        // 绘制线条
        for (int x = 0; x < linesP.rows(); x++) {
            double[] l = linesP.get(x, 0);
Imgproc.line(cdstP, new Point(l[0], l[1]), new Point(l[2], l[3]), new Scalar(0, 0, 255), 3, Imgproc.LINE_AA, 0);
        }
 
        // 显示结果
HighGui.imshow("Source", src);
HighGui.imshow("Detected Lines (in red) - Standard Hough Line Transform", cdst);
HighGui.imshow("Detected Lines (in red) - Probabilistic Line Transform", cdstP);
 
        // 等待并退出
HighGui.waitKey();
System.exit(0);
    }
}
 
public class HoughLines {
    public static void main(String[] args) {
        // 加载本地库。
System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
        new HoughLinesRun().run(args);
    }
}

Python

我们将要解释的示例代码可以从此处下载。

"""
@file hough_lines.py
@brief This program demonstrates line finding with the Hough transform
"""
import sys
import math
import cv2 as cv
import numpy as np
 
 
def main(argv)
    
default_file = 'sudoku.png'
filename = argv[0] if len(argv) > 0 else default_file
 
    # 加载图像
src = cv.imread(cv.samples.findFile(filename), cv.IMREAD_GRAYSCALE)
 
    # Check if image is loaded fine
    if src is None
        print ('Error opening image!')
        print ('Usage: hough_lines.py [image_name -- default ' + default_file + '] \n')
        return -1
    
 
    
dst = cv.Canny(src, 50, 200, None, 3)
    
 
    # Copy edges to the images that will display the results in BGR
cdst = cv.cvtColor(dst, cv.COLOR_GRAY2BGR)
cdstP = np.copy(cdst)
 
    
lines = cv.HoughLines(dst, 1, np.pi / 180, 150, None, 0, 0)
    
    if lines is not None
        for i in range(0, len(lines))
rho = lines[i][0][0]
theta = lines[i][0][1]
a = math.cos(theta)
b = math.sin(theta)
x0 = a * rho
y0 = b * rho
pt1 = (int(x0 + 1000*(-b)), int(y0 + 1000*(a)))
pt2 = (int(x0 - 1000*(-b)), int(y0 - 1000*(a)))
 
            cv.line(cdst, pt1, pt2, (0,0,255), 3, cv.LINE_AA)
    
 
    
linesP = cv.HoughLinesP(dst, 1, np.pi / 180, 50, None, 50, 10)
    
    if linesP is not None
        for i in range(0, len(linesP))
l = linesP[i][0]
            cv.line(cdstP, (l[0], l[1]), (l[2], l[3]), (0,0,255), 3, cv.LINE_AA)
    
    cv.imshow("Source", src)
    cv.imshow("Detected Lines (in red) - Standard Hough Line Transform", cdst)
    cv.imshow("Detected Lines (in red) - Probabilistic Line Transform", cdstP)
    
    cv.waitKey()
    return 0
    
 
if __name__ == "__main__"
    main(sys.argv[1:])

解释

加载图像

C++

    const char* default_file = "sudoku.png";
    const char* filename = argc >=2 ? argv[1] : default_file;
 
    // 加载图像
    Mat src = imread( samples::findFile( filename ), IMREAD_GRAYSCALE );
 
    // 检查图像是否加载成功
    if(src.empty()){
printf(" Error opening image\n");
printf(" Program Arguments: [image_name -- default %s] \n", default_file);
        return -1;
    }

Java

        String default_file = "../../../../data/sudoku.png";
        String filename = ((args.length > 0) ? args[0] : default_file);
 
        // 加载图像
Mat src = Imgcodecs.imread(filename, Imgcodecs.IMREAD_GRAYSCALE);
 
        // 检查图像是否加载成功
        if( src.empty() ) {
System.out.println("Error opening image!");
System.out.println("Program Arguments: [image_name -- default "
+ default_file +"] \n");
System.exit(-1);
        }

Python

default_file = 'sudoku.png'
filename = argv[0] if len(argv) > 0 else default_file
 
    # 加载图像
src = cv.imread(cv.samples.findFile(filename), cv.IMREAD_GRAYSCALE)
 
    # Check if image is loaded fine
    if src is None
        print ('Error opening image!')
        print ('Usage: hough_lines.py [image_name -- default ' + default_file + '] \n')
        return -1

使用Canny检测器检测图像边缘

C++

    // 边缘检测
    Canny(src, dst, 50, 200, 3);

Java

        // 边缘检测
Imgproc.Canny(src, dst, 50, 200, 3, false);

Python

dst = cv.Canny(src, 50, 200, None, 3)

现在我们将应用霍夫线变换。我们将解释如何使用为此目的提供的两个OpenCV函数。

标准霍夫线变换

首先，应用变换

C++

    // 标准霍夫线变换
vector<Vec2f> lines; // will hold the results of the detection
    HoughLines(dst, lines, 1, CV_PI/180, 150, 0, 0 ); // runs the actual detection

Java

        // 标准霍夫线变换
Mat lines = new Mat(); // will hold the results of the detection
Imgproc.HoughLines(dst, lines, 1, Math.PI/180, 150); // runs the actual detection

Python

lines = cv.HoughLines(dst, 1, np.pi / 180, 150, None, 0, 0)

• 参数如下
  • dst: 边缘检测器的输出。它应该是一个灰度图像（尽管实际上它是一个二值图像）
  • lines: 一个向量，将存储检测到的直线的参数\((r,\theta)\)
  • rho : 参数\(r\)的像素分辨率。我们使用1像素。
  • theta: 参数\(\theta\)的弧度分辨率。我们使用1度 (CV_PI/180)
  • threshold: "*检测*"一条直线所需的最小交点数量
  • srn 和 stn: 默认参数为零。更多信息请查阅OpenCV参考手册。

然后通过绘制直线来显示结果。

C++

    // 绘制线条
    for( size_t i = 0; i < lines.size(); i++ )
    {
        float rho = lines[i][0], theta = lines[i][1];
        Point pt1, pt2;
        double a = cos(theta), b = sin(theta);
        double x0 = a*rho, y0 = b*rho;
pt1.x = cvRound(x0 + 1000*(-b));
pt1.y = cvRound(y0 + 1000*(a));
pt2.x = cvRound(x0 - 1000*(-b));
pt2.y = cvRound(y0 - 1000*(a));
        line( cdst, pt1, pt2, Scalar(0,0,255), 3, LINE_AA);
    }

Java

        // 绘制线条
        for (int x = 0; x < lines.rows(); x++) {
            double rho = lines.get(x, 0)[0],
theta = lines.get(x, 0)[1];
 
            double a = Math.cos(theta), b = Math.sin(theta);
            double x0 = a*rho, y0 = b*rho;
            Point pt1 = new Point(Math.round(x0 + 1000*(-b)), Math.round(y0 + 1000*(a)));
            Point pt2 = new Point(Math.round(x0 - 1000*(-b)), Math.round(y0 - 1000*(a)));
Imgproc.line(cdst, pt1, pt2, new Scalar(0, 0, 255), 3, Imgproc.LINE_AA, 0);
        }

Python

    if lines is not None
        for i in range(0, len(lines))
rho = lines[i][0][0]
theta = lines[i][0][1]
a = math.cos(theta)
b = math.sin(theta)
x0 = a * rho
y0 = b * rho
pt1 = (int(x0 + 1000*(-b)), int(y0 + 1000*(a)))
pt2 = (int(x0 - 1000*(-b)), int(y0 - 1000*(a)))
 
            cv.line(cdst, pt1, pt2, (0,0,255), 3, cv.LINE_AA)

概率霍夫线变换

首先应用变换

C++

    // 概率霍夫线变换
vector<Vec4i> linesP; // will hold the results of the detection
    HoughLinesP(dst, linesP, 1, CV_PI/180, 50, 50, 10 ); // runs the actual detection

Java

        // 概率霍夫线变换
Mat linesP = new Mat(); // will hold the results of the detection
Imgproc.HoughLinesP(dst, linesP, 1, Math.PI/180, 50, 50, 10); // runs the actual detection

Python

linesP = cv.HoughLinesP(dst, 1, np.pi / 180, 50, None, 50, 10)

• 参数如下：
  • dst: 边缘检测器的输出。它应该是一个灰度图像（尽管实际上它是一个二值图像）
  • lines: 一个向量，将存储检测到的线的参数\((x_{start}, y_{start}, x_{end}, y_{end})\)
  • rho : 参数\(r\)的像素分辨率。我们使用1像素。
  • theta: 参数\(\theta\)的弧度分辨率。我们使用1度 (CV_PI/180)
  • threshold: "*检测*"一条直线所需的最小交点数量
  • minLineLength: 构成一条线的最小点数。点数少于此值的线将被忽略。
  • maxLineGap: 同一条线上两个点之间的最大允许间隙。

然后通过绘制直线来显示结果。

C++

    // 绘制线条
    for( size_t i = 0; i < linesP.size(); i++ )
    {
        Vec4i l = linesP[i];
        line( cdstP, Point(l[0], l[1]), Point(l[2], l[3]), Scalar(0,0,255), 3, LINE_AA);
    }

Java

        // 绘制线条
        for (int x = 0; x < linesP.rows(); x++) {
            double[] l = linesP.get(x, 0);
Imgproc.line(cdstP, new Point(l[0], l[1]), new Point(l[2], l[3]), new Scalar(0, 0, 255), 3, Imgproc.LINE_AA, 0);
        }

Python

    if linesP is not None
        for i in range(0, len(linesP))
l = linesP[i][0]
            cv.line(cdstP, (l[0], l[1]), (l[2], l[3]), (0,0,255), 3, cv.LINE_AA)

显示原始图像和检测到的线条

C++

    // 显示结果
    imshow("Source", src);
    imshow("Detected Lines (in red) - Standard Hough Line Transform", cdst);
    imshow("Detected Lines (in red) - Probabilistic Line Transform", cdstP);

Java

        // 显示结果
HighGui.imshow("Source", src);
HighGui.imshow("Detected Lines (in red) - Standard Hough Line Transform", cdst);
HighGui.imshow("Detected Lines (in red) - Probabilistic Line Transform", cdstP);

Python

    cv.imshow("Source", src)
    cv.imshow("Detected Lines (in red) - Standard Hough Line Transform", cdst)
    cv.imshow("Detected Lines (in red) - Probabilistic Line Transform", cdstP)

等待用户退出程序

C++

    // 等待并退出
    waitKey();
    return 0;

Java

        // 等待并退出
HighGui.waitKey();
System.exit(0);

Python

    cv.waitKey()
    return 0

结果

注意

以下结果是使用我们在*代码*部分中提到的略微更高级的版本获得的。它仍然实现了与上述相同的功能，只是为阈值添加了轨迹条。

使用例如数独图像作为输入。通过使用标准霍夫线变换，我们得到以下结果：

通过使用概率霍夫线变换：

你可能会观察到，当你改变*阈值*时，检测到的线条数量会发生变化。解释很明显：如果你设置更高的阈值，将检测到更少的线条（因为你需要更多的点才能声明检测到一条线）。