自定义 CN 跟踪器

目标

在本教程中，您将学习如何

• 为 CN 跟踪器设置自定义参数。
• 为 CN 跟踪器使用您自己的特征提取函数。

本文档包含 cv::TrackerKCF 的教程。

源代码

#include <opencv2/core/utility.hpp>
#include <opencv2/tracking.hpp>
#include <opencv2/videoio.hpp>
#include <opencv2/highgui.hpp>
#include <iostream>
#include <cstring>
#include "samples_utility.hpp"
 
using namespace std;
using namespace cv;
 
// 特征提取器函数原型
void sobelExtractor(const Mat img, const Rect roi, Mat& feat);
 
int main( int argc, char** argv ){
 // 显示帮助信息
 if(argc<2){
 cout<<
 " 用法：tracker <视频名称>\n"
 " 示例：\n"
 " example_tracking_kcf Bolt/img/%04d.jpg\n"
 " example_tracking_kcf faceocc2.webm\n"
 << endl;
 return 0;
  }
 
 // 声明所有需要的变量
 Rect roi;
 Mat frame;
 
 TrackerKCF::Params param;
 param.desc_pca = TrackerKCF::GRAY | TrackerKCF::CN;
 param.desc_npca = 0;
 param.compress_feature = true;
 param.compressed_size = 2;
 
 // 创建跟踪器对象
 Ptr<TrackerKCF> tracker = TrackerKCF::create(param);
 
 tracker->setFeatureExtractor(sobelExtractor);
 
 // 设置输入视频
 std::string video = argv[1];
 VideoCapture cap(video);
 
 // 获取边界框
 cap >> frame;
 roi=selectROI("tracker",frame);
 
 // 如果未选择 ROI，则退出
 if(roi.width==0 || roi.height==0)
 return 0;
 
 // 初始化跟踪器
 tracker->init(frame,roi);
 
 // 执行跟踪过程
 printf("开始跟踪过程，按 ESC 退出。\n");
 for ( ;; ){
 // 从视频获取帧
 cap >> frame;
 
 // 如果没有更多图像，停止程序
 if(frame.rows==0 || frame.cols==0)
 break;
 
 // 更新跟踪结果
 tracker->update(frame,roi);
 
 // 绘制跟踪到的对象
 rectangle( frame, roi, Scalar( 255, 0, 0 ), 2, 1 );
 
 // 显示带有跟踪对象的图像
 imshow("tracker",frame);
 
 // 按 ESC 退出
 if(waitKey(1)==27)break;
  }
 
 return 0;
}
 
void sobelExtractor(const Mat img, const Rect roi, Mat& feat){
 Mat sobel[2];
 Mat patch;
 Rect region=roi;
 
 // 提取图像内的补丁
 if(roi.x<0){region.x=0;region.width+=roi.x;}
 if(roi.y<0){region.y=0;region.height+=roi.y;}
 if(roi.x+roi.width>img.cols)region.width=img.cols-roi.x;
 if(roi.y+roi.height>img.rows)region.height=img.rows-roi.y;
 if(region.width>img.cols)region.width=img.cols;
 if(region.height>img.rows)region.height=img.rows;
 
 patch=img(region).clone();
 cvtColor(patch,patch, COLOR_BGR2GRAY);
 
 // 添加一些填充以补偿补丁位于图像边界之外的情况
 int addTop,addBottom, addLeft, addRight;
 addTop=region.y-roi.y;
 addBottom=(roi.height+roi.y>img.rows?roi.height+roi.y-img.rows:0);
 addLeft=region.x-roi.x;
 addRight=(roi.width+roi.x>img.cols?roi.width+roi.x-img.cols:0);
 
 copyMakeBorder(patch,patch,addTop,addBottom,addLeft,addRight,BORDER_REPLICATE);
 
 Sobel(patch, sobel[0], CV_32F,1,0,1);
 Sobel(patch, sobel[1], CV_32F,0,1,1);
 
 merge(sobel,2,feat);
 
 feat=feat/255.0-0.5; // normalize to range -0.5 .. 0.5
}

说明

本部分介绍了如何设置自定义参数并使用自己的特征提取器函数来使用 CN 跟踪器。如果你需要更多使用 cv::Tracker 的详细信息，请参考 OpenCV 跟踪器简介。

1. 设置自定义参数

     TrackerKCF::Params param;
   param.desc_pca = TrackerKCF::GRAY | TrackerKCF::CN;
   param.desc_npca = 0;
   param.compress_feature = true;
   param.compressed_size = 2;

   要设置自定义参数，需要创建一个对象。每个跟踪器算法都有自己的参数格式。因此，在本例中，由于我们感兴趣的是修改此跟踪器算法的参数，因此我们应该使用 cv::TrackerKCF 的参数。

   如 cv::TrackerKCF::Params 中所述，可以配置多个参数。在本教程中，我们重点关注特征提取器函数。

   在 cv::TrackerKCF 中可以使用多种特征类型。在本例中，灰度值（1 维）和颜色名称特征（10 维）将合并为 11 维特征，然后根据代码中的指定压缩为 2 维。

   如果你想使用其他类型的预定义特征提取器函数，可以在 cv::TrackerKCF::MODE 中查看。我们将非压缩特征保留为 0，因为我们希望使用自定义函数。

2. 使用自定义函数

   你可以为 CN 跟踪器定义自己的特征提取器函数。但是，你需要注意以下几点

   • 提取的特征应该与给定边界框（宽度和高度）的大小相同。对于通道数量，你可以查看 cv::Mat 中的限制。
   • 你只能使用可以使用欧几里得距离进行比较的特征。像局部二值模式 (LBP) 这样的特征可能不适合，因为它们应该使用汉明距离进行比较。

   由于提取的特征的大小应该与给定边界框的大小相同，因此我们需要在给定边界框部分超出范围时格外小心。在这种情况下，我们可以复制边界框中包含的图像的一部分，如下面的代码片段所示。

       // 提取图像内的补丁
       if(roi.x<0){region.x=0;region.width+=roi.x;}
       if(roi.y<0){region.y=0;region.height+=roi.y;}
       if(roi.x+roi.width>img.cols)region.width=img.cols-roi.x;
       if(roi.y+roi.height>img.rows)region.height=img.rows-roi.y;
       if(region.width>img.cols)region.width=img.cols;
       if(region.height>img.rows)region.height=img.rows;

   无论何时复制的图像小于给定边界框，都应该在边界框部分超出框架的侧边添加填充。

       // 添加一些填充以补偿补丁超出图像边框的情况
       int addTop,addBottom, addLeft, addRight;
   addTop=region.y-roi.y;
   addBottom=(roi.height+roi.y>img.rows?roi.height+roi.y-img.rows:0);
   addLeft=region.x-roi.x;
   addRight=(roi.width+roi.x>img.cols?roi.width+roi.x-img.cols:0);
    
   copyMakeBorder(patch,patch,addTop,addBottom,addLeft,addRight,BORDER_REPLICATE);

3. 定义特征

   在本教程中，提取的特征是 x 和 y 方向的 Sobel 滤波器的响应。这些 Sobel 滤波器响应被连接起来，从而产生一个具有 2 个通道的特征。

   Sobel(patch, sobel[0], CV_32F,1,0,1);
   Sobel(patch, sobel[1], CV_32F,0,1,1);
    
   merge(sobel,2,feat);

4. 后处理

   确保使用 -0.5 到 0.5 的范围对特征进行归一化

   feat=feat/255.0-0.5; // normalize to range -0.5 .. 0.5