OpenCV 4.12.0
开源计算机视觉
加载中...
搜索中...
无匹配项
自定义CN跟踪器

目标

在本教程中，您将学习如何

  • 为CN跟踪器设置自定义参数。
  • 为CN跟踪器使用您自己的特征提取器函数。

本文档包含 cv::TrackerKCF 的教程。

源代码

1#include <opencv2/core/utility.hpp>
2#include <opencv2/tracking.hpp>
3#include <opencv2/videoio.hpp>
4#include <opencv2/highgui.hpp>
5#include <iostream>
6#include <cstring>
7#include "samples_utility.hpp"
8
9using namespace std;
10using namespace cv;
11
12// 特征提取器函数的原型
13void sobelExtractor(const Mat img, const Rect roi, Mat& feat);
14
15int main( int argc, char** argv ){
16 // show help
17 if(argc<2){
18 cout<<
19 " 用法: tracker <video_name>\n"
20 " 示例:\n"
21 " example_tracking_kcf Bolt/img/%04d.jpg\n"
22 " example_tracking_kcf faceocc2.webm\n"
23 << endl;
24 return 0;
25 }
26
27 // 声明所有必需的变量
28 Rect roi;
29 Mat frame;
30
32 TrackerKCF::Params param;
33 param.desc_pca = TrackerKCF::GRAY | TrackerKCF::CN;
34 param.desc_npca = 0;
35 param.compress_feature = true;
36 param.compressed_size = 2;
38
39 // 创建一个跟踪器对象
41 Ptr<TrackerKCF> tracker = TrackerKCF::create(param);
43
45 tracker->setFeatureExtractor(sobelExtractor);
47
48 // 设置输入视频
49 std::string video = argv[1];
50 VideoCapture cap(video);
51
52 // 获取边界框
53 cap >> frame;
54 roi=selectROI("跟踪器",frame);
55
56 // 如果未选择ROI则退出
57 if(roi.width==0 || roi.height==0)
58 return 0;
59
60 // 初始化跟踪器
61 tracker->init(frame,roi);
62
63 // 执行跟踪过程
64 printf("开始跟踪过程，按ESC键退出。\n");
65 for ( ;; ){
66 // 从视频中获取帧
67 cap >> frame;
68
69 // 如果没有更多图像则停止程序
70 if(frame.rows==0 || frame.cols==0)
71 break;
72
73 // 更新跟踪结果
74 tracker->update(frame,roi);
75
76 // 绘制被跟踪对象
77 rectangle( frame, roi, Scalar( 255, 0, 0 ), 2, 1 );
78
79 // 显示带跟踪对象的图像
80 imshow("跟踪器",frame);
81
82 // 按ESC键退出
83 if(waitKey(1)==27)break;
84 }
85
86 return 0;
87}
88
89void sobelExtractor(const Mat img, const Rect roi, Mat& feat){
90 Mat sobel[2];
91 Mat patch;
92 Rect region=roi;
93
95 // 从图像中提取补丁
96 if(roi.x<0){region.x=0;region.width+=roi.x;}
97 if(roi.y<0){region.y=0;region.height+=roi.y;}
98 if(roi.x+roi.width>img.cols)region.width=img.cols-roi.x;
99 if(roi.y+roi.height>img.rows)region.height=img.rows-roi.y;
100 if(region.width>img.cols)region.width=img.cols;
101 if(region.height>img.rows)region.height=img.rows;
103
104 patch=img(region).clone();
105 cvtColor(patch,patch, COLOR_BGR2GRAY);
106
108 // 添加一些填充以弥补补丁超出图像边界的情况
109 int addTop,addBottom, addLeft, addRight;
110 addTop=region.y-roi.y;
111 addBottom=(roi.height+roi.y>img.rows?roi.height+roi.y-img.rows:0);
112 addLeft=region.x-roi.x;
113 addRight=(roi.width+roi.x>img.cols?roi.width+roi.x-img.cols:0);
114
115 copyMakeBorder(patch,patch,addTop,addBottom,addLeft,addRight,BORDER_REPLICATE);
117
119 Sobel(patch, sobel[0], CV_32F,1,0,1);
120 Sobel(patch, sobel[1], CV_32F,0,1,1);
121
122 merge(sobel,2,feat);
124
126 feat=feat/255.0-0.5; // 归一化到范围 -0.5 .. 0.5
128}
cv::Mat
n 维密集数组类
定义 mat.hpp:830
cv::Mat::clone
CV_NODISCARD_STD Mat clone() const
创建数组及其底层数据的完整副本。
cv::Mat::cols
int cols
定义 mat.hpp:2165
cv::Mat::rows
int rows
行数和列数，或当矩阵维度超过2时为 (-1, -1)
定义 mat.hpp:2165
cv::Rect_
2D 矩形的模板类。
定义 types.hpp:444
cv::Rect_::x
_Tp x
左上角的 x 坐标
定义 types.hpp:487
cv::Rect_::y
_Tp y
左上角的 y 坐标
定义 types.hpp:488
cv::Rect_::width
_Tp width
矩形的宽度
定义 types.hpp:489
cv::Rect_::height
_Tp height
矩形的高度
定义 types.hpp:490
cv::Scalar_< double >
cv::VideoCapture
用于从视频文件、图像序列或摄像机捕获视频的类。
Definition videoio.hpp:772
cv::copyMakeBorder
void copyMakeBorder(InputArray src, OutputArray dst, int top, int bottom, int left, int right, int borderType, const Scalar &value=Scalar())
Forms a border around an image.
cv::merge
void merge(const Mat *mv, size_t count, OutputArray dst)
将多个单通道数组合并为一个多通道数组。
cv::Ptr
std::shared_ptr< _Tp > Ptr
Definition cvstd_wrapper.hpp:23
CV_32F
#define CV_32F
Definition interface.h:78
cv::fastcv::sobel
void sobel(InputArray _src, OutputArray _dx, OutputArray _dy, int kernel_size, int borderType, int borderValue)
从源亮度数据创建二维梯度图像，不进行归一化。计算X方向1...
cv::cvtColor
void cvtColor(InputArray src, OutputArray dst, int code, int dstCn=0, AlgorithmHint hint=cv::ALGO_HINT_DEFAULT)
将图像从一个颜色空间转换为另一个颜色空间。
cv::Sobel
void Sobel(InputArray src, OutputArray dst, int ddepth, int dx, int dy, int ksize=3, double scale=1, double delta=0, int borderType=BORDER_DEFAULT)
使用扩展Sobel算子计算图像的一阶、二阶、三阶或混合导数。
main
int main(int argc, char *argv[])
定义 highgui_qt.cpp:3
cv
定义 core.hpp:107
std
STL 命名空间。
cv::TrackerKCF::Params
定义 tracking.hpp:118
cv::TrackerKCF::Params::compress_feature
bool compress_feature
激活 PCA 方法以压缩特征
定义 tracking.hpp:130
cv::TrackerKCF::Params::desc_pca
int desc_pca
TrackerKCF::MODE 的压缩描述符
定义 tracking.hpp:133
cv::TrackerKCF::Params::desc_npca
int desc_npca
TrackerKCF::MODE 的非压缩描述符
定义 tracking.hpp:134
cv::TrackerKCF::Params::compressed_size
int compressed_size
压缩后的特征大小
定义 tracking.hpp:132

解释

本部分解释了如何为CN跟踪器设置自定义参数并使用您自己的特征提取器函数。如果您需要更详细的信息来使用 cv::Tracker，请参阅 OpenCV跟踪器介绍。

  1. 设置自定义参数

    TrackerKCF::Params param;
    param.desc_pca = TrackerKCF::GRAY | TrackerKCF::CN;
    param.desc_npca = 0;
    param.compress_feature = true;
    param.compressed_size = 2;

    要设置自定义参数，需要创建一个对象。每个跟踪器算法都有自己的参数格式。因此，在这种情况下，我们应该使用 cv::TrackerKCF 的参数，因为我们有兴趣修改此跟踪器算法的参数。

    cv::TrackerKCF::Params 中解释了可以配置的几个参数。本教程侧重于特征提取器函数。

    cv::TrackerKCF 中可以使用多种特征类型。在这种情况下，灰度值（1维）和颜色名称特征（10维）将合并为11维特征，然后按照代码中的指定压缩为2维。

    如果您想使用另一种预定义的特征提取器函数，可以在 cv::TrackerKCF::MODE 中查看。由于我们想使用自定义函数，因此我们将非压缩特征保留为0。

  2. 使用自定义函数

    您可以为CN跟踪器定义自己的特征提取器函数。但是，您需要注意以下几点：

    • 提取的特征应与给定边界框的大小（宽度和高度）相同。关于通道数量的限制，您可以在 cv::Mat 中查看。
    • 您只能使用可以通过欧几里得距离进行比较的特征。局部二值模式（LBP）等特征可能不适用，因为它应该使用汉明距离进行比较。

    由于提取的特征大小应与给定边界框的大小相同，因此当给定边界框部分超出范围时，我们需要注意。在这种情况下，我们可以复制边界框中包含的图像部分，如下面的代码片段所示。

    // 从图像中提取补丁
    if(roi.x<0){region.x=0;region.width+=roi.x;}
    if(roi.y<0){region.y=0;region.height+=roi.y;}
    if(roi.x+roi.width>img.cols)region.width=img.cols-roi.x;
    if(roi.y+roi.height>img.rows)region.height=img.rows-roi.y;
    if(region.width>img.cols)region.width=img.cols;
    if(region.height>img.rows)region.height=img.rows;

    每当复制的图像小于给定边界框时，应在边界框部分超出帧的侧面添加填充。

    // 添加一些填充以弥补补丁超出图像边界的情况
    int addTop,addBottom, addLeft, addRight;
    addTop=region.y-roi.y;
    addBottom=(roi.height+roi.y>img.rows?roi.height+roi.y-img.rows:0);
    addLeft=region.x-roi.x;
    addRight=(roi.width+roi.x>img.cols?roi.width+roi.x-img.cols:0);
    copyMakeBorder(patch,patch,addTop,addBottom,addLeft,addRight,BORDER_REPLICATE);

  3. 定义特征

    在本教程中，提取的特征是Sobel滤波器在x和y方向的响应。这些Sobel滤波器响应被连接起来，形成一个2通道的特征。

    Sobel(patch, sobel[0], CV_32F,1,0,1);
    Sobel(patch, sobel[1], CV_32F,0,1,1);
    merge(sobel,2,feat);

  4. 后处理

    确保将特征归一化到 -0.5 到 0.5 的范围

    feat=feat/255.0-0.5; // 归一化到范围 -0.5 .. 0.5
生成于 2025年7月3日 星期四 12:14:36，由 doxygen 1.12.0 为OpenCV生成