霍夫线变换

目录

• 目标
• 原理
• 霍夫线变换
  • 它是如何工作的？
  • 标准霍夫线变换和概率霍夫线变换
  • 此程序有何用？
• 代码
• 说明
  • 加载图像
  • 使用 Canny 检测器检测图像边沿
  • 标准霍夫线变换
  • 概率霍夫线变换
  • 显示原图像和检测到的线
  • 等待用户退出程序
• 结果

前一个教程： Canny 边缘检测器
下一个教程： 霍夫圆变换

原作者	Ana Huamán
兼容性	OpenCV >= 3.0

目标

在本教程中，你将学习如何

• 使用 OpenCV 函数 HoughLines() 和 HoughLinesP() 检测图像中的线条。

原理

注意

以下说明属于 Bradski 和 Kaehler 所著的《学习 OpenCV》一书。

霍夫线变换

1. 霍夫线变换是一种用于检测直线的变换。
2. 要应用变换，首先需要边缘检测预处理。

它是如何工作的？

1. 如你所知，图像空间中的一条直线可以用两个变量表示。例如
   1. 笛卡尔坐标系：参数：\((m,b)\)。
   2. 极坐标系：参数：\((r,\theta)\)

对于霍夫变换，我们将在极坐标系中表示直线。因此，线方程可以写成

\[y = \left ( -\dfrac{\cos \theta}{\sin \theta} \right ) x + \left ( \dfrac{r}{\sin \theta} \right )\]

整理项：\(r = x \cos \theta + y \sin \theta\)

1. 通常对于每个点 \((x_{0}, y_{0})\)，我们可以定义经过该点的直线簇为

   \[r_{\theta} = x_{0} \cdot \cos \theta + y_{0} \cdot \sin \theta\]

   这意味着每对\((r_{\theta},\theta)\)表示一条经过\((x_{0}, y_{0})\)的直线。

2. 如果对于给定的\((x_{0}, y_{0})\)我们绘制经过该点的直线簇，我们将得到一个正弦波。例如，对于\(x_{0} = 8\)和\(y_{0} = 6\)，我们得到以下曲线图（在\(\theta\) - \(r\)平面中）

我们只考虑\(r > 0\)和\(0< \theta < 2 \pi\)的点。

1. 我们可以对图像中所有点的上操作执行相同的操作。如果两个不同点的曲线在平面 \(\theta\) - \(r\) 中相交，则表示这两个点属于同一条线。例如，接着上面的示例，并绘制另两个点的曲线：\(x_{1} = 4\)，\(y_{1} = 9\) 及 \(x_{2} = 12\)，\(y_{2} = 3\)，得到

三个曲线在一个点 \((0.925, 9.6)\) 相交，这些坐标是参数 ( \(\theta, r\))，或者是 \((x_{0}, y_{0})\)，\((x_{1}, y_{1})\) 及 \((x_{2}, y_{2})\) 所在的线的参数。

1. 上面提到内容有什么含义？总体而言，可以通过找出曲线之间的相交点的数量来“检测”线。相交曲线越多，表示该相交点所代表的线具有更多点。通常，我们可以定义用于“检测”线的相交点的最小数量的“阈值”。
2. 这就是霍夫线变换所执行的操作。它会跟踪图像中每个点的曲线之间的相交点。如果相交点的数量超过某个“阈值”，则会将相交点 \((\theta, r_{\theta})\) 的参数声明为线。

标准霍夫线变换和概率霍夫线变换

OpenCV 实现了两种霍夫线变换

a. 标准霍夫变换

• 它包含我们在上一部分中详细解释的内容。它为您返回一个双元组向量 \((\theta, r_{\theta})\)
• 在 OpenCV 中，它使用函数 HoughLines() 实现

b. 概率霍夫线变换

• 霍夫线变换的一种更有效实现。它会输出已检测线的极值 \((x_{0}, y_{0}, x_{1}, y_{1})\)
• 在 OpenCV 中，它使用函数 HoughLinesP() 实现

该程序的功能

• 加载图像
• 应用“标准霍夫线变换”和“概率霍夫线变换”。
• 在三个窗口中显示原图像和检测到的线。

代码

C++

可从 此处 下载我们准备解释的示例代码。可以在 此处 找到一个更加时尚的版本（其中通过跟踪条显示标准霍夫变换和概率霍夫变换，以便同时改变阈值）。

 
#include "opencv2/imgcodecs.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/imgproc.hpp"
 
using namespace cv;
using namespace std;
 
int main(int argc, char** argv)
{
    // 声明输出变量
    Mat dst, cdst, cdstP;
 
    const char* default_file = "sudoku.png";
    const char* filename = argc >=2 ? argv[1] : default_file;
 
    // 加载图像
    Mat src = imread( samples::findFile( filename ), IMREAD_GRAYSCALE );
 
    // 检查是否顺利加载图像
    if(src.empty()){
printf(" Error opening image\n");
printf(" Program Arguments: [image_name -- default %s] \n", default_file);
        return -1;
    }
 
    // 边缘检测
Canny(src, dst, 50, 200, 3);
 
    // 将边缘复制到图像中，以 BGR 显示结果
cvtColor(dst, cdst, COLOR_GRAY2BGR);
cdstP = cdst.clone();
 
    // 标准霍夫线变换
vector<Vec2f> lines; // 将保存检测结果
HoughLines(dst, lines, 1, CV_PI/180, 150, 0, 0 ); // 运行实际检测
    // 绘制直线
    for( size_t i = 0; i < lines.size(); i++ )
    {
        float rho = lines[i][0], theta = lines[i][1];
        Point pt1, pt2;
        double a = cos(theta), b = sin(theta);
        double x0 = a*rho, y0 = b*rho;
pt1.x = cvRound(x0 + 1000*(-b));
pt1.y = cvRound(y0 + 1000*(a));
pt2.x = cvRound(x0 - 1000*(-b));
pt2.y = cvRound(y0 - 1000*(a));
line( cdst, pt1, pt2, Scalar(0,0,255), 3, LINE_AA);
    }
 
    // 概率线变换
vector<Vec4i> linesP; // 将保存检测结果
HoughLinesP(dst, linesP, 1, CV_PI/180, 50, 50, 10 ); // 实际检测运行
    // 绘制直线
    for( size_t i = 0; i < linesP.size(); i++ )
    {
        Vec4i l = linesP[i];
line( cdstP, Point(l[0], l[1]), Point(l[2], l[3]), Scalar(0,0,255), 3, LINE_AA);
    }
 
    // 显示结果
imshow("Source", src);
imshow("Detected Lines (in red) - Standard Hough Line Transform", cdst);
imshow("Detected Lines (in red) - Probabilistic Line Transform", cdstP);
 
    // 等待并退出
waitKey();
    return 0;
}

Java

可从 此处 下载我们要解释的示例代码。

 
import org.opencv.core.*;
import org.opencv.core.Point;
import org.opencv.highgui.HighGui;
import org.opencv.imgcodecs.Imgcodecs;
import org.opencv.imgproc.Imgproc;
 
class HoughLinesRun {
 
    public void run(String[] args) {
        // 声明输出变量
Mat dst = new Mat(), cdst = new Mat(), cdstP;
 
String default_file = "../../../../data/sudoku.png";
String filename = ((args.length > 0) ? args[0] : default_file);
 
        // 加载图像
Mat src = Imgcodecs.imread(filename, Imgcodecs.IMREAD_GRAYSCALE);
 
        // 检查是否顺利加载图像
        if( src.empty() ) {
System.out.println("Error opening image!");
System.out.println("程序参数：[image_name -- 默认 "
+ default_file +"] \n");
System.exit(-1);
        }
 
        // 边缘检测
Imgproc.Canny(src, dst, 50, 200, 3, false);
 
        // 将边缘复制到图像中，以 BGR 显示结果
Imgproc.cvtColor(dst, cdst, Imgproc.COLOR_GRAY2BGR);
cdstP = cdst.clone();
 
        // 标准霍夫线变换
Mat lines = new Mat(); // 保存检测的结果
Imgproc.HoughLines(dst, lines, 1, Math.PI/180, 150); // 执行实际检测
        // 绘制直线
        for (int x = 0; x < lines.rows(); x++) {
            double rho = lines.get(x, 0)[0],
theta = lines.get(x, 0)[1];
 
            double a = Math.cos(theta), b = Math.sin(theta);
            double x0 = a*rho, y0 = b*rho;
Point pt1 = new Point(Math.round(x0 + 1000*(-b)), Math.round(y0 + 1000*(a)));
Point pt2 = new Point(Math.round(x0 - 1000*(-b)), Math.round(y0 - 1000*(a)));
Imgproc.line(cdst, pt1, pt2, new Scalar(0, 0, 255), 3, Imgproc.LINE_AA, 0);
        }
 
        // 概率线变换
Mat linesP = new Mat(); // 保存检测的结果
Imgproc.HoughLinesP(dst, linesP, 1, Math.PI/180, 50, 50, 10); // 执行实际检测
        // 绘制直线
        for (int x = 0; x < linesP.rows(); x++) {
            double[] l = linesP.get(x, 0);
Imgproc.line(cdstP, new Point(l[0], l[1]), new Point(l[2], l[3]), new Scalar(0, 0, 255), 3, Imgproc.LINE_AA, 0);
        }
 
        // 显示结果
HighGui.imshow("Source", src);
HighGui.imshow("检测到的线条（红色） - 标准 Hough 直线变换", cdst);
HighGui.imshow("检测到的线条（红色） - 概率直线变换", cdstP);
 
        // 等待并退出
HighGui.waitKey();
System.exit(0);
    }
}
 
public class HoughLines {
    public static void main(String[] args) {
        // 加载本地库。
System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
        new HoughLinesRun().run(args);
    }
}

Python

可以如下从这里 下载 我们要解释的示例代码。

"""
@file hough_lines.py
@brief 此程序使用 Hough 变换演示了查找线条
"""
import sys
import math
import cv2 as cv
import numpy as np
 
 
def main(argv)
    
default_file = 'sudoku.png'
filename = argv[0] if len(argv) > 0 else default_file
 
    # 加载一张图像
src = cv.imread(cv.samples.findFile(filename), cv.IMREAD_GRAYSCALE)
 
    # 检查图像是否加载正常
    if src is None
        print ('Error opening image!')
        print ('Usage: hough_lines.py [image_name -- default ' + default_file + '] \n')
        return -1
    
 
    
dst = cv.Canny(src, 50, 200, None, 3)
    
 
    # 将边缘复制到将在 BGR 中显示结果的图像中
cdst = cv.cvtColor(dst, cv.COLOR_GRAY2BGR)
cdstP = np.copy(cdst)
 
    
lines = cv.HoughLines(dst, 1, np.pi / 180, 150, None, 0, 0)
    
    if lines is not None
        for i in range(0, len(lines))
rho = lines[i][0][0]
theta = lines[i][0][1]
a = math.cos(theta)
b = math.sin(theta)
x0 = a * rho
y0 = b * rho
pt1 = (int(x0 + 1000*(-b)), int(y0 + 1000*(a)))
pt2 = (int(x0 - 1000*(-b)), int(y0 - 1000*(a)))
 
            cv.line(cdst, pt1, pt2, (0,0,255), 3, cv.LINE_AA)
    
 
    
linesP = cv.HoughLinesP(dst, 1, np.pi / 180, 50, None, 50, 10)
    
    if linesP is not None
        for i in range(0, len(linesP))
l = linesP[i][0]
            cv.line(cdstP, (l[0], l[1]), (l[2], l[3]), (0,0,255), 3, cv.LINE_AA)
    
    cv.imshow("Source", src)
    cv.imshow("Detected Lines (in red) - Standard Hough Line Transform", cdst)
    cv.imshow("Detected Lines (in red) - Probabilistic Line Transform", cdstP)
    
    cv.waitKey()
    return 0
    
 
if __name__ == "__main__"
    main(sys.argv[1:])

解释

加载图像

C++

    const char* default_file = "sudoku.png";
    const char* filename = argc >=2 ? argv[1] : default_file;
 
    // 加载图像
    Mat src = imread( samples::findFile( filename ), IMREAD_GRAYSCALE );
 
    // 检查是否顺利加载图像
    if(src.empty()){
printf(" Error opening image\n");
printf(" Program Arguments: [image_name -- default %s] \n", default_file);
        return -1;
    }

Java

String default_file = "../../../../data/sudoku.png";
String filename = ((args.length > 0) ? args[0] : default_file);
 
        // 加载图像
Mat src = Imgcodecs.imread(filename, Imgcodecs.IMREAD_GRAYSCALE);
 
        // 检查是否顺利加载图像
        if( src.empty() ) {
System.out.println("Error opening image!");
System.out.println("程序参数：[image_name -- 默认 "
+ default_file +"] \n");
System.exit(-1);
        }

Python

default_file = 'sudoku.png'
filename = argv[0] if len(argv) > 0 else default_file
 
    # 加载一张图像
src = cv.imread(cv.samples.findFile(filename), cv.IMREAD_GRAYSCALE)
 
    # 检查图像是否加载正常
    if src is None
        print ('Error opening image!')
        print ('Usage: hough_lines.py [image_name -- default ' + default_file + '] \n')
        return -1

使用 Canny 检测器检测图像边缘

C++

    // 边缘检测
Canny(src, dst, 50, 200, 3);

Java

        // 边缘检测
Imgproc.Canny(src, dst, 50, 200, 3, false);

Python

    #边缘检测
dst = cv.Canny(src, 50, 200, None, 3)

现在我们将应用霍夫线变换。我们将讲解如何使用 OpenCV 提供的这两个函数。

标准霍夫线变换

首先，应用变换

C++

    // 标准霍夫线变换
vector<Vec2f> lines; // 将保存检测结果
HoughLines(dst, lines, 1, CV_PI/180, 150, 0, 0 ); // 运行实际检测

Java

        // 标准霍夫线变换
Mat lines = new Mat(); // 保存检测的结果
Imgproc.HoughLines(dst, lines, 1, Math.PI/180, 150); // 执行实际检测

Python

    #标准霍夫线变换
lines = cv.HoughLines(dst, 1, np.pi / 180, 150, None, 0, 0)

• 使用以下参数
  • dst：边缘检测器的输出。它应该是灰度图像（事实上是二进制图像）
  • lines：存储检测线段的 \((r,\theta)\) 参数的向量
  • rho ：以像素为单位的 \((r)\) 参数分辨率。我们使用 **1** 像素。
  • theta：以弧度为单位的 \(\theta\) 参数分辨率。我们使用 **1 度** (CV_PI/180)
  • threshold："*检测*" 一条线的最小交点数
  • srn 和 stn：默认参数为零。有关更多详细信息，请参阅 OpenCV 参考。

然后，通过绘制线段显示结果。

C++

    // 绘制直线
    for( size_t i = 0; i < lines.size(); i++ )
    {
        float rho = lines[i][0], theta = lines[i][1];
        Point pt1, pt2;
        double a = cos(theta), b = sin(theta);
        double x0 = a*rho, y0 = b*rho;
pt1.x = cvRound(x0 + 1000*(-b));
pt1.y = cvRound(y0 + 1000*(a));
pt2.x = cvRound(x0 - 1000*(-b));
pt2.y = cvRound(y0 - 1000*(a));
line( cdst, pt1, pt2, Scalar(0,0,255), 3, LINE_AA);
    }

Java

        // 绘制直线
        for (int x = 0; x < lines.rows(); x++) {
            double rho = lines.get(x, 0)[0],
theta = lines.get(x, 0)[1];
 
            double a = Math.cos(theta), b = Math.sin(theta);
            double x0 = a*rho, y0 = b*rho;
Point pt1 = new Point(Math.round(x0 + 1000*(-b)), Math.round(y0 + 1000*(a)));
Point pt2 = new Point(Math.round(x0 - 1000*(-b)), Math.round(y0 - 1000*(a)));
Imgproc.line(cdst, pt1, pt2, new Scalar(0, 0, 255), 3, Imgproc.LINE_AA, 0);
        }

Python

    #绘制线段
    if lines is not None
        for i in range(0, len(lines))
rho = lines[i][0][0]
theta = lines[i][0][1]
a = math.cos(theta)
b = math.sin(theta)
x0 = a * rho
y0 = b * rho
pt1 = (int(x0 + 1000*(-b)), int(y0 + 1000*(a)))
pt2 = (int(x0 - 1000*(-b)), int(y0 - 1000*(a)))
 
            cv.line(cdst, pt1, pt2, (0,0,255), 3, cv.LINE_AA)

概率霍夫线变换

首先，应用变换

C++

    // 概率线变换
vector<Vec4i> linesP; // 将保存检测结果
HoughLinesP(dst, linesP, 1, CV_PI/180, 50, 50, 10 ); // 实际检测运行

Java

        // 概率线变换
Mat linesP = new Mat(); // 保存检测的结果
Imgproc.HoughLinesP(dst, linesP, 1, Math.PI/180, 50, 50, 10); // 执行实际检测

Python

    #概率线变换
linesP = cv.HoughLinesP(dst, 1, np.pi / 180, 50, None, 50, 10)

• 使用参数
  • dst：边缘检测器的输出。它应该是灰度图像（事实上是二进制图像）
  • lines：存储检测线段的 \((x_{start}, y_{start}, x_{end}, y_{end})\) 参数的向量
  • rho ：以像素为单位的 \((r)\) 参数分辨率。我们使用 **1** 像素。
  • theta：以弧度为单位的 \(\theta\) 参数分辨率。我们使用 **1 度** (CV_PI/180)
  • threshold："*检测*" 一条线的最小交点数
  • minLineLength：可以构成一条线的最小点数。点数少于此数量的线段将被忽略。
  • maxLineGap：同一线段中两个点之间的最大间隙。

然后，通过绘制线段显示结果。

C++

    // 绘制直线
    for( size_t i = 0; i < linesP.size(); i++ )
    {
        Vec4i l = linesP[i];
line( cdstP, Point(l[0], l[1]), Point(l[2], l[3]), Scalar(0,0,255), 3, LINE_AA);
    }

Java

        // 绘制直线
        for (int x = 0; x < linesP.rows(); x++) {
            double[] l = linesP.get(x, 0);
Imgproc.line(cdstP, new Point(l[0], l[1]), new Point(l[2], l[3]), new Scalar(0, 0, 255), 3, Imgproc.LINE_AA, 0);
        }

Python

    #绘制线段
    if linesP is not None
        for i in range(0, len(linesP))
l = linesP[i][0]
            cv.line(cdstP, (l[0], l[1]), (l[2], l[3]), (0,0,255), 3, cv.LINE_AA)

显示原图和检测到的线段

C++

    // 显示结果
imshow("Source", src);
imshow("Detected Lines (in red) - Standard Hough Line Transform", cdst);
imshow("Detected Lines (in red) - Probabilistic Line Transform", cdstP);

Java

        // 显示结果
HighGui.imshow("Source", src);
HighGui.imshow("检测到的线条（红色） - 标准 Hough 直线变换", cdst);
HighGui.imshow("检测到的线条（红色） - 概率直线变换", cdstP);

Python

    #展示结果
    cv.imshow("Source", src)
    cv.imshow("Detected Lines (in red) - Standard Hough Line Transform", cdst)
    cv.imshow("Detected Lines (in red) - Probabilistic Line Transform", cdstP)

等待用户退出程序

C++

    // 等待并退出
waitKey();
    return 0;

Java

        // 等待并退出
HighGui.waitKey();
System.exit(0);

Python

    # 等待并退出
    cv.waitKey()
    return 0

结果

注意

以下结果采用我们在代码章节中提及的稍加优化的版本得到。它仍然实现了与上述相同的功能，只是添加了阈值的滑动条。

使用如下输入图像 数独图像。通过使用标准霍夫线变换，我们得到以下结果：

通过使用概率霍夫线变换，我们得到以下结果：

您可能会观察到，当您更改阈值时，检测到的线段数量会有所变化。解释是显而易见的：如果您设定更高的阈值，那么检测到的线段会更少（因为您将需要更多的点来宣告检测到一条线段）。