Meanshift 和 Camshift

目录

• 目标
• Meanshift
  • OpenCV 中的 Meanshift
• Camshift
  • OpenCV 中的 Camshift
• 附加资源
• 练习

上一教程： 如何使用背景减除方法
下一教程： 光流

目标

在本章中，

• 我们将学习 Meanshift 和 Camshift 算法，用于跟踪视频中的物体。

Meanshift

Meanshift 背后的直觉很简单。假设你有一组点。（它可以是像直方图反投影这样的像素分布）。给你一个小窗口（可能是一个圆圈），你必须将该窗口移动到像素密度最大（或点数最大）的区域。下图简单地说明了这一点

图像

初始窗口显示在蓝色圆圈中，名为“C1”。其原始中心用蓝色矩形标记，名为“C1_o”。但是，如果你找到窗口内点的质心，你会得到点“C1_r”（用小蓝色圆圈标记），它是窗口的真实质心。当然它们不匹配。所以移动你的窗口，使得新窗口的圆圈与之前的质心匹配。再次找到新的质心。很可能，它不会匹配。所以再次移动它，并继续迭代，直到窗口的中心及其质心落在相同的位置（或在一个小的期望误差范围内）。所以最终你得到一个具有最大像素分布的窗口。它用绿色圆圈标记，名为“C2”。正如你在图像中看到的，它具有最大数量的点。整个过程在下图的静态图像上进行了演示

图像

所以我们通常传递直方图反投影图像和初始目标位置。当物体移动时，运动显然会反映在直方图反投影图像中。结果，Meanshift 算法将我们的窗口移动到具有最大密度的新位置。

OpenCV 中的 Meanshift

要在 OpenCV 中使用 Meanshift，首先我们需要设置目标，找到其直方图，以便我们可以将目标反投影到每一帧中以计算 Meanshift。我们还需要提供窗口的初始位置。对于直方图，这里只考虑色调。此外，为了避免由于低光照导致的错误值，使用cv.inRange() 函数丢弃低光照值。

C++

• 可下载代码： 点击 此处
• 代码概览

  #include <iostream>
  #include <opencv2/imgcodecs.hpp>
  #include <opencv2/imgproc.hpp>
  #include <opencv2/videoio.hpp>
  #include <opencv2/highgui.hpp>
  #include <opencv2/video.hpp>
   
  using namespace cv;
  using namespace std;
   
  int main(int argc, char **argv)
  {
      const string about =
          "此示例演示了 Meanshift 算法。\n"
          "示例文件可以从以下位置下载：\n"
          " https://www.bogotobogo.com/python/OpenCV_Python/images/mean_shift_tracking/slow_traffic_small.mp4";
      const string keys =
          "{ h help | | 打印此帮助信息 }"
          "{ @image |<none>| 图片文件路径 }";
      CommandLineParser parser(argc, argv, keys);
  parser.about(about);
      if (parser.has("help"))
      {
  parser.printMessage();
          return 0; 0;
      }
      string filename = parser.get<string>("@image");
      if (!parser.check())
      {
  parser.printErrors();
          return 0; 0;
      }
   
      VideoCapture capture(filename);
      if (!capture.isOpened()){
          //打开视频输入错误
  cerr << "无法打开文件！" << endl;
          return 0; 0;
      }
   
      Mat frame, roi, hsv_roi, mask;
      //获取视频的第一帧
  capture >> frame;
   
      //设置窗口的初始位置
      Rect track_window(300, 200, 100, 50); // 简单地硬编码值
   
      //设置用于跟踪的 ROI
  roi = frame(track_window);
  cvtColor(roi, hsv_roi, COLOR_BGR2HSV);
  inRange(hsv_roi, Scalar(0, 60, 32), Scalar(180, 255, 255), mask);
   
      float range_[] = {0, 180};
      const float* range[] = {range_};
      Mat roi_hist;
      int histSize[] = {180};
      int channels[] = {0};
      calcHist(&hsv_roi, 1, channels, mask, roi_hist, 1, histSize, range);
      normalize(roi_hist, roi_hist, 0, 255, NORM_MINMAX);
   
      // 设置终止条件，要么 10 次迭代，要么至少移动 1 个点
      TermCriteria term_crit(TermCriteria::EPS | TermCriteria::COUNT, 10, 1);
   
      while(true){
          Mat hsv, dst;
  capture >> frame;
          if (frame.empty())
              break;;
          cvtColor(frame, hsv, COLOR_BGR2HSV);
          calcBackProject(&hsv, 1, channels, roi_hist, dst, range);
   
          // 应用 Meanshift 获取新的位置
          meanShift(dst, track_window, term_crit);
   
          // 在图像上绘制
          rectangle(frame, track_window, 255, 2);
          imshow("img2", frame);
   
          int keyboard = waitKey(30);
          if (keyboard == 'q' || keyboard == 27)
              break;;
      }
  }

Python

• 可下载代码：点击 这里
• 代码概览

  import numpy as np
  import cv2 as cv
  import argparse
   
  parser = argparse.ArgumentParser(description='此示例演示均值漂移算法。\
  示例文件可从此处下载：\
  https://www.bogotobogo.com/python/OpenCV_Python/images/mean_shift_tracking/slow_traffic_small.mp4')
  parser.add_argument('image', type=str, help='图像文件路径')
  args = parser.parse_args()
   
  cap = cv.VideoCapture(args.image)
   
  # 获取视频的第一帧
  ret,frame = cap.read()
   
  # 设置窗口的初始位置
  x, y, w, h = 300, 200, 100, 50 # 简单地硬编码值
  track_window = (x, y, w, h)
   
  # 设置用于跟踪的 ROI
  roi = frame[y:y+h, x:x+w]
  hsv_roi = cv.cvtColor(roi, cv.COLOR_BGR2HSV)
  mask = cv.inRange(hsv_roi, np.array((0., 60.,32.)), np.array((180.,255.,255.)))
  roi_hist = cv.calcHist([hsv_roi],[0],mask,[180],[0,180])
  cv.normalize(roi_hist,roi_hist,0,255,cv.NORM_MINMAX)
   
  # 设置终止条件，10 次迭代或至少移动 1 个点
  term_crit = ( cv.TERM_CRITERIA_EPS | cv.TERM_CRITERIA_COUNT, 10, 1 )
   
  while(1)
  ret, frame = cap.read()
   
      if ret == True
  hsv = cv.cvtColor(frame, cv.COLOR_BGR2HSV)
  dst = cv.calcBackProject([hsv],[0],roi_hist,[0,180],1)
   
          # 应用均值漂移算法以获取新的位置
  ret, track_window = cv.meanShift(dst, track_window, term_crit)
   
          # 在图像上绘制
  x,y,w,h = track_window
  img2 = cv.rectangle(frame, (x,y), (x+w,y+h), 255,2)
          cv.imshow('img2',img2)
   
  k = cv.waitKey(30) & 0xff
          if k == 27
              break;
      else:
          break;

Java

• 可下载代码：点击 这里
• 代码概览

  import java.util.Arrays;
  import org.opencv.core.*;
  import org.opencv.highgui.HighGui;
  import org.opencv.imgproc.Imgproc;
  import org.opencv.video.Video;
  import org.opencv.videoio.VideoCapture;
   
   
  class Meanshift {
      public void run(String[] args) {
  String filename = args[0];
  VideoCapture capture = new VideoCapture(filename);
          if (!capture.isOpened()) {
  System.out.println("无法打开文件!");
  System.exit(-1);
          }
  Mat frame = new Mat(), hsv_roi = new Mat(), mask = new Mat(), roi;
   
          // 获取视频的第一帧
  capture.read(frame);
   
          // 设置窗口的初始位置
  Rect track_window = new Rect(300, 200, 100, 50);
   
          //设置窗口的初始位置
  roi = new Mat(frame, track_window);
  Imgproc.cvtColor(roi, hsv_roi, Imgproc.COLOR_BGR2HSV);
  Core.inRange(hsv_roi, new Scalar(0, 60, 32), new Scalar(180, 255, 255), mask);
   
  MatOfFloat range = new MatOfFloat(0, 256);
  Mat roi_hist = new Mat();
  MatOfInt histSize = new MatOfInt(180);
  MatOfInt channels = new MatOfInt(0);
  Imgproc.calcHist(Arrays.asList(hsv_roi), channels, mask, roi_hist, histSize, range);
  Core.normalize(roi_hist, roi_hist, 0, 255, Core.NORM_MINMAX);
   
          // 设置终止条件，要么 10 次迭代，要么至少移动 1 个点
  TermCriteria term_crit = new TermCriteria(TermCriteria.EPS | TermCriteria.COUNT, 10, 1);
   
          while (true) {
  Mat hsv = new Mat() , dst = new Mat();
  capture.read(frame);
              if (frame.empty()) {
                  break;;
              }
  Imgproc.cvtColor(frame, hsv, Imgproc.COLOR_BGR2HSV);
  Imgproc.calcBackProject(Arrays.asList(hsv), channels, roi_hist, dst, range, 1);
   
              // 应用 Meanshift 获取新的位置
  Video.meanShift(dst, track_window, term_crit);
   
              // 在图像上绘制
  Imgproc.rectangle(frame, track_window, new Scalar(255, 0, 0), 2);
  HighGui.imshow("img2", frame);
   
              int keyboard = HighGui.waitKey(30);
              if (keyboard == 'q' || keyboard == 27) {
                  break;;
              }
          }
  System.exit(0);
      }
  }
   
  public class MeanshiftDemo {
      public static void main(String[] args) {
  System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
          new Meanshift().run(args);
      }
  }

我使用的视频中包含的三个帧如下所示

图像

camshift

你仔细观察了最终结果吗？存在一个问题。无论汽车距离摄像机非常远还是非常近，我们的窗口大小始终相同。这不好。我们需要根据目标的大小和旋转来调整窗口大小。解决方案再次来自“OpenCV实验室”，它被称为CAMshift（连续自适应Meanshift），由Gary Bradsky在其1998年的论文“用于感知用户界面的计算机视觉人脸跟踪”中发表 [39] 。

它首先应用Meanshift。一旦Meanshift收敛，它会更新窗口大小，如下所示：\(s = 2 \times \sqrt{\frac{M_{00}}{256}}\)。它还会计算最适合它的椭圆的方向。它再次使用新的缩放搜索窗口和之前的窗口位置应用Meanshift。此过程持续进行，直到满足所需的精度。

图像

OpenCV中的Camshift

它类似于Meanshift，但是返回一个旋转矩形（即我们的结果）和框参数（在下次迭代中用作搜索窗口）。请参见下面的代码

C++

• 可下载代码：点击 此处
• 代码概览

  #include <iostream>
  #include <opencv2/imgcodecs.hpp>
  #include <opencv2/imgproc.hpp>
  #include <opencv2/videoio.hpp>
  #include <opencv2/highgui.hpp>
  #include <opencv2/video.hpp>
   
  using namespace cv;
  using namespace std;
   
  int main(int argc, char **argv)
  {
      const string about =
          "此示例演示了camshift算法。\n"
          "示例文件可以从以下位置下载：\n"
          " https://www.bogotobogo.com/python/OpenCV_Python/images/mean_shift_tracking/slow_traffic_small.mp4";
      const string keys =
          "{ h help | | 打印此帮助信息 }"
          "{ @image |<none>| 图片文件路径 }";
      CommandLineParser parser(argc, argv, keys);
  parser.about(about);
      if (parser.has("help"))
      {
  parser.printMessage();
          return 0; 0;
      }
      string filename = parser.get<string>("@image");
      if (!parser.check())
      {
  parser.printErrors();
          return 0; 0;
      }
   
      VideoCapture capture(filename);
      if (!capture.isOpened()){
          //打开视频输入错误
  cerr << "无法打开文件！" << endl;
          return 0; 0;
      }
   
      Mat frame, roi, hsv_roi, mask;
      //获取视频的第一帧
  capture >> frame;
   
      //设置窗口的初始位置
      Rect track_window(300, 200, 100, 50); // 简单地硬编码值
   
      //设置用于跟踪的 ROI
  roi = frame(track_window);
  cvtColor(roi, hsv_roi, COLOR_BGR2HSV);
  inRange(hsv_roi, Scalar(0, 60, 32), Scalar(180, 255, 255), mask);
   
      float range_[] = {0, 180};
      const float* range[] = {range_};
      Mat roi_hist;
      int histSize[] = {180};
      int channels[] = {0};
      calcHist(&hsv_roi, 1, channels, mask, roi_hist, 1, histSize, range);
      normalize(roi_hist, roi_hist, 0, 255, NORM_MINMAX);
   
      // 设置终止条件，要么 10 次迭代，要么至少移动 1 个点
      TermCriteria term_crit(TermCriteria::EPS | TermCriteria::COUNT, 10, 1);
   
      while(true){
          Mat hsv, dst;
  capture >> frame;
          if (frame.empty())
              break;;
          cvtColor(frame, hsv, COLOR_BGR2HSV);
          calcBackProject(&hsv, 1, channels, roi_hist, dst, range);
   
          // 应用camshift获取新位置
          RotatedRect rot_rect = CamShift(dst, track_window, term_crit);
   
          // 在图像上绘制
          Point2f points[4];
  rot_rect.points(points);
          for (int i = 0; i < 4; i++)
              line(frame, points[i], points[(i+1)%4], 255, 2);
          imshow("img2", frame);
   
          int keyboard = waitKey(30);
          if (keyboard == 'q' || keyboard == 27)
              break;;
      }
  }

Python

• 可下载代码：点击 此处
• 代码概览

  import numpy as np
  import cv2 as cv
  import argparse
   
  parser = argparse.ArgumentParser(description='此示例演示了camshift算法。'
  示例文件可从此处下载：\
  https://www.bogotobogo.com/python/OpenCV_Python/images/mean_shift_tracking/slow_traffic_small.mp4')
  parser.add_argument('image', type=str, help='图像文件路径')
  args = parser.parse_args()
   
  cap = cv.VideoCapture(args.image)
   
  # 获取视频的第一帧
  ret,frame = cap.read()
   
  # 设置窗口的初始位置
  x, y, w, h = 300, 200, 100, 50 # 简单地硬编码值
  track_window = (x, y, w, h)
   
  # 设置用于跟踪的 ROI
  roi = frame[y:y+h, x:x+w]
  hsv_roi = cv.cvtColor(roi, cv.COLOR_BGR2HSV)
  mask = cv.inRange(hsv_roi, np.array((0., 60.,32.)), np.array((180.,255.,255.)))
  roi_hist = cv.calcHist([hsv_roi],[0],mask,[180],[0,180])
  cv.normalize(roi_hist,roi_hist,0,255,cv.NORM_MINMAX)
   
  # 设置终止条件，10 次迭代或至少移动 1 个点
  term_crit = ( cv.TERM_CRITERIA_EPS | cv.TERM_CRITERIA_COUNT, 10, 1 )
   
  while(1)
  ret, frame = cap.read()
   
      if ret == True
  hsv = cv.cvtColor(frame, cv.COLOR_BGR2HSV)
  dst = cv.calcBackProject([hsv],[0],roi_hist,[0,180],1)
   
          # 应用camshift获取新位置
  ret, track_window = cv.CamShift(dst, track_window, term_crit)
   
          # 在图像上绘制
  pts = cv.boxPoints(ret)
  pts = np.int0(pts)
  img2 = cv.polylines(frame,[pts],True, 255,2)
          cv.imshow('img2',img2)
   
  k = cv.waitKey(30) & 0xff
          if k == 27
              break;
      else:
          break;

Java

• 可下载代码：点击 此处
• 代码概览

  import java.util.Arrays;
  import org.opencv.core.*;
  import org.opencv.highgui.HighGui;
  import org.opencv.imgproc.Imgproc;
  import org.opencv.video.Video;
  import org.opencv.videoio.VideoCapture;
   
   
  class Camshift {
      public void run(String[] args) {
  String filename = args[0];
  VideoCapture capture = new VideoCapture(filename);
          if (!capture.isOpened()) {
  System.out.println("无法打开文件!");
  System.exit(-1);
          }
   
  Mat frame = new Mat(), hsv_roi = new Mat(), mask = new Mat(), roi;
   
          // 获取视频的第一帧
  capture.read(frame);
   
          // 设置窗口的初始位置
  Rect track_window = new Rect(300, 200, 100, 50);
   
          //设置用于跟踪的 ROI
  roi = new Mat(frame, track_window);
  Imgproc.cvtColor(roi, hsv_roi, Imgproc.COLOR_BGR2HSV);
  Core.inRange(hsv_roi, new Scalar(0, 60, 32), new Scalar(180, 255, 255), mask);
   
  MatOfFloat range = new MatOfFloat(0, 256);
  Mat roi_hist = new Mat();
  MatOfInt histSize = new MatOfInt(180);
  MatOfInt channels = new MatOfInt(0);
  Imgproc.calcHist(Arrays.asList(hsv_roi), channels, mask, roi_hist, histSize, range);
  Core.normalize(roi_hist, roi_hist, 0, 255, Core.NORM_MINMAX);
   
          // 设置终止条件，要么 10 次迭代，要么至少移动 1 个点
  TermCriteria term_crit = new TermCriteria(TermCriteria.EPS | TermCriteria.COUNT, 10, 1);
   
          while (true) {
  Mat hsv = new Mat() , dst = new Mat();
  capture.read(frame);
              if (frame.empty()) {
                  break;;
              }
  Imgproc.cvtColor(frame, hsv, Imgproc.COLOR_BGR2HSV);
  Imgproc.calcBackProject(Arrays.asList(hsv), channels, roi_hist, dst, range, 1);
   
              // 应用camshift获取新位置
  RotatedRect rot_rect = Video.CamShift(dst, track_window, term_crit);
   
              // 在图像上绘制
  Point[] points = new Point[4];
  rot_rect.points(points);
              for (int i = 0; i < 4 ;i++) {
  Imgproc.line(frame, points[i], points[(i+1)%4], new Scalar(255, 0, 0),2);
              }
   
  HighGui.imshow("img2", frame);
              int keyboard = HighGui.waitKey(30);
              if (keyboard == 'q'|| keyboard == 27) {
                  break;;
              }
          }
  System.exit(0);
      }
  }
   
  public class CamshiftDemo {
      public static void main(String[] args) {
  System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
          new Camshift().run(args);
      }
  }

结果的三个帧如下所示

图像

更多资源

1. 关于 Camshift 的法语维基百科页面。（两个动画取自此处）
2. Bradski, G.R., "Real time face and object tracking as a component of a perceptual user interface," Applications of Computer Vision, 1998. WACV '98. Proceedings., Fourth IEEE Workshop on , vol., no., pp.214,219, 19-21 Oct 1998

练习

1. OpenCV带有一个Python 示例，用于camshift的交互式演示。使用它，修改它，理解它。