自定义CN追踪器

目标

在本教程中，你将学习如何：

• 为CN追踪器设置自定义参数。
• 为CN追踪器使用您自己的特征提取器函数。

本文档包含关于cv::TrackerKCF的教程。

源代码

#include <opencv2/core/utility.hpp>
#include <opencv2/tracking.hpp>
#include <opencv2/videoio.hpp>
#include <opencv2/highgui.hpp>
#include <iostream>
#include <cstring>
#include "samples_utility.hpp"
 
using namespace std;
using namespace cv;
 
// 特征提取器的函数原型
void sobelExtractor(const Mat img, const Rect roi, Mat& feat);
 
int main( int argc, char** argv ){
 // 显示帮助信息
 if(argc<2){
 cout<<
 " 用法: tracker <video_name>\n"
 " 示例:\n"
 " example_tracking_kcf Bolt/img/%04d.jpg\n"
 " example_tracking_kcf faceocc2.webm\n"
 << endl;
 return 0;
  }
 
 // 声明所有需要的变量
 Rect roi;
 Mat frame;
 
 TrackerKCF::Params param;
 param.desc_pca = TrackerKCF::GRAY | TrackerKCF::CN;
 param.desc_npca = 0;
 param.compress_feature = true;
 param.compressed_size = 2;
 
 // 创建一个追踪器对象
 Ptr<TrackerKCF> tracker = TrackerKCF::create(param);
 
 tracker->setFeatureExtractor(sobelExtractor);
 
 // 设置输入视频
 std::string video = argv[1];
 VideoCapture cap(video);
 
 // 获取初始边界框
 cap >> frame;
 roi=selectROI("tracker",frame);
 
 // 如果没有选择ROI，则退出
 if(roi.width==0 || roi.height==0)
 return 0;
 
 // 初始化追踪器
 tracker->init(frame,roi);
 
 // 执行追踪过程
 printf("开始追踪过程，按ESC键退出。\n");
 for ( ;; ){
 // 从视频中获取帧
 cap >> frame;
 
 // 如果没有更多图像，则停止程序
 if(frame.rows==0 || frame.cols==0)
 break;
 
 // 更新追踪结果
 tracker->update(frame,roi);
 
 // 绘制追踪到的对象
 rectangle( frame, roi, Scalar( 255, 0, 0 ), 2, 1 );
 
 // 显示带有追踪对象的图像
 imshow("tracker",frame);
 
 // 按ESC键退出
 if(waitKey(1)==27)break;
  }
 
 return 0;
}
 
void sobelExtractor(const Mat img, const Rect roi, Mat& feat){
 Mat sobel[2];
 Mat patch;
 Rect region=roi;
 
 // 提取图像内的图像块
 if(roi.x<0){region.x=0;region.width+=roi.x;}
 if(roi.y<0){region.y=0;region.height+=roi.y;}
 if(roi.x+roi.width>img.cols)region.width=img.cols-roi.x;
 if(roi.y+roi.height>img.rows)region.height=img.rows-roi.y;
 if(region.width>img.cols)region.width=img.cols;
 if(region.height>img.rows)region.height=img.rows;
 
 patch=img(region).clone();
 cvtColor(patch,patch, COLOR_BGR2GRAY);
 
 // 添加一些填充以补偿当图像块超出图像边界时的情况
 int addTop,addBottom, addLeft, addRight;
 addTop=region.y-roi.y;
 addBottom=(roi.height+roi.y>img.rows?roi.height+roi.y-img.rows:0);
 addLeft=region.x-roi.x;
 addRight=(roi.width+roi.x>img.cols?roi.width+roi.x-img.cols:0);
 
 copyMakeBorder(patch,patch,addTop,addBottom,addLeft,addRight,BORDER_REPLICATE);
 
 Sobel(patch, sobel[0], CV_32F,1,0,1);
 Sobel(patch, sobel[1], CV_32F,0,1,1);
 
 merge(sobel,2,feat);
 
 feat=feat/255.0-0.5; // 归一化到范围 -0.5 .. 0.5
}

说明

本节将解释如何为CN追踪器设置自定义参数和使用您自己的特征提取器函数。如果您需要更多关于使用cv::Tracker的详细信息，请参考OpenCV追踪器入门。

1. 设置自定义参数

     TrackerKCF::Params param;
   param.desc_pca = TrackerKCF::GRAY | TrackerKCF::CN;
   param.desc_npca = 0;
   param.compress_feature = true;
   param.compressed_size = 2;

   要设置自定义参数，需要创建一个对象。每个追踪算法都有自己的参数格式。因此，在这种情况下，我们应该使用cv::TrackerKCF的参数，因为我们有兴趣修改此追踪算法的参数。

   正如cv::TrackerKCF::Params中所述，有几个参数可以进行配置。在本教程中，我们专注于特征提取器函数。

   在cv::TrackerKCF中可以使用几种特征类型。在本例中，灰度值（1维）和颜色名称特征（10维）将被合并为11维特征，然后压缩为2维，如代码所示。

   如果您想使用其他类型的预定义特征提取器函数，可以在cv::TrackerKCF::MODE中查找。我们将非压缩特征保留为0，因为我们想使用自定义函数。

2. 使用自定义函数

   您可以为CN追踪器定义自己的特征提取器函数。但是，您需要注意几点：

   • 提取的特征应与给定边界框的大小（宽度和高度）相同。关于通道数，您可以查看cv::Mat的限制。
   • 您只能使用可以使用欧几里得距离进行比较的特征。局部二值模式（LBP）等特征可能不适合，因为它应该使用汉明距离进行比较。

   由于提取的特征的大小应与给定的边界框大小相同，因此当给定的边界框部分超出范围时，我们需要格外小心。在这种情况下，我们可以复制边界框内包含的图像部分，如下面的代码片段所示：

       // 提取图像内的图像块
       if(roi.x<0){region.x=0;region.width+=roi.x;}
       if(roi.y<0){region.y=0;region.height+=roi.y;}
       if(roi.x+roi.width>img.cols)region.width=img.cols-roi.x;
       if(roi.y+roi.height>img.rows)region.height=img.rows-roi.y;
       if(region.width>img.cols)region.width=img.cols;
       if(region.height>img.rows)region.height=img.rows;

   当复制的图像小于给定的边界框时，需要在边界框超出帧的区域添加填充。

       // 添加一些填充以补偿当图像块超出图像边界时的情况
       int addTop,addBottom, addLeft, addRight;
   addTop=region.y-roi.y;
   addBottom=(roi.height+roi.y>img.rows?roi.height+roi.y-img.rows:0);
   addLeft=region.x-roi.x;
   addRight=(roi.width+roi.x>img.cols?roi.width+roi.x-img.cols:0);
    
       copyMakeBorder(patch,patch,addTop,addBottom,addLeft,addRight,BORDER_REPLICATE);

3. 定义特征

   在本教程中，提取的特征是Sobel滤波器在x和y方向上的响应。这些Sobel滤波器响应被连接起来，形成一个具有2个通道的特征。

       Sobel(patch, sobel[0], CV_32F,1,0,1);
       Sobel(patch, sobel[1], CV_32F,0,1,1);
    
       merge(sobel,2,feat);

4. 后处理

   请确保将特征归一化到-0.5到0.5的范围。

   feat=feat/255.0-0.5; // 归一化到范围 -0.5 .. 0.5