Meanshift 和 Camshift

目录

• 目标
• 均值漂移
  • OpenCV中的均值漂移
• Camshift
  • OpenCV中的Camshift
• 附加资源
• 练习

上一个教程： 如何使用背景减除方法
下一个教程： 光流

目标

在本章中，

• 我们将学习使用均值漂移（Meanshift）和Camshift算法在视频中跟踪物体。

均值漂移

均值漂移的原理很简单。假设你有一组点（它可以是像直方图反向投影那样的像素分布）。你有一个小窗口（可能是一个圆形），你需要将这个窗口移动到像素密度最大（或点数最多）的区域。这在下面的简单图像中有所说明：

image

初始窗口显示为蓝色圆形，名为“C1”。其原始中心用蓝色矩形标记，名为“C1_o”。但是，如果你找到该窗口内点的质心，你将得到点“C1_r”（用小的蓝色圆形标记），这是窗口的实际质心。显然它们不匹配。因此，移动你的窗口，使新窗口的圆心与上一个质心匹配。再次找到新的质心。很可能，它仍然不匹配。所以再次移动，并继续迭代，直到窗口中心和其质心落在相同的位置（或在小的期望误差范围内）。这样，最终你得到的是一个具有最大像素分布的窗口。它用绿色圆形标记，名为“C2”。如图像所示，它包含最大数量的点。整个过程在下面的静态图像中演示：

image

因此，我们通常传递直方图反向投影图像和初始目标位置。当物体移动时，移动显然会反映在直方图反向投影图像中。结果，均值漂移算法会将我们的窗口移动到密度最大的新位置。

OpenCV中的均值漂移

要在OpenCV中使用均值漂移，首先我们需要设置目标，找到其直方图，以便我们可以在每一帧上反向投影目标以计算均值漂移。我们还需要提供窗口的初始位置。对于直方图，这里只考虑色调（Hue）。此外，为了避免低光照引起的错误值，使用 `cv.inRange()` 函数丢弃低光照值。

C++

• 可下载代码：点击此处
• 代码速览

  #include <iostream>
  #include <opencv2/imgcodecs.hpp>
  #include <opencv2/imgproc.hpp>
  #include <opencv2/videoio.hpp>
  #include <opencv2/highgui.hpp>
  #include <opencv2/video.hpp>
   
  using namespace cv;
  using namespace std;
   
  int main(int argc, char **argv)
  {
      const string about =
          "This sample demonstrates the meanshift algorithm.\n"
          "The example file can be downloaded from:\n"
          " https://www.bogotobogo.com/python/OpenCV_Python/images/mean_shift_tracking/slow_traffic_small.mp4";
      const string keys =
          "{ h help | | 打印此帮助消息 }"
          "{ @image |<none>| path to image file }";
      CommandLineParser parser(argc, argv, keys);
  parser.about(about);
      if (parser.has("help"))
      {
  parser.printMessage();
          return 0;
      }
      string filename = parser.get<string>("@image");
      if (!parser.check())
      {
  parser.printErrors();
          return 0;
      }
   
      VideoCapture capture(filename);
      if (!capture.isOpened()){
          //error in opening the video input
  cerr << "Unable to open file!" << endl;
          return 0;
      }
   
      Mat frame, roi, hsv_roi, mask;
      // 获取视频的第一帧
  capture >> frame;
   
      // 设置窗口的初始位置
      Rect track_window(300, 200, 100, 50); // 简单硬编码的值
   
      // 设置跟踪的ROI
  roi = frame(track_window);
  cvtColor(roi, hsv_roi, COLOR_BGR2HSV);
  inRange(hsv_roi, Scalar(0, 60, 32), Scalar(180, 255, 255), mask);
   
      float range_[] = {0, 180};
      const float* range[] = {range_};
      Mat roi_hist;
      int histSize[] = {180};
      int channels[] = {0};
      calcHist(&hsv_roi, 1, channels, mask, roi_hist, 1, histSize, range);
      normalize(roi_hist, roi_hist, 0, 255, NORM_MINMAX);
   
      // 设置终止条件，可以是10次迭代或移动至少1个像素
      TermCriteria term_crit(TermCriteria::EPS | TermCriteria::COUNT, 10, 1);
   
      while(true){
          Mat hsv, dst;
  capture >> frame;
          if (frame.empty())
              break;
          cvtColor(frame, hsv, COLOR_BGR2HSV);
          calcBackProject(&hsv, 1, channels, roi_hist, dst, range);
   
          // 应用均值漂移获取新位置
          meanShift(dst, track_window, term_crit);
   
          // 在图像上绘制
          rectangle(frame, track_window, 255, 2);
          imshow("img2", frame);
   
          int keyboard = waitKey(30);
          if (keyboard == 'q' || keyboard == 27)
              break;
      }
  }

Python

• 可下载代码：点击此处
• 代码速览

  import numpy as np
  import cv2 as cv
  import argparse
   
  parser = argparse.ArgumentParser(description='This sample demonstrates the meanshift algorithm. \
  The example file can be downloaded from: \
  https://www.bogotobogo.com/python/OpenCV_Python/images/mean_shift_tracking/slow_traffic_small.mp4')
  parser.add_argument('image', type=str, help='path to image file')
  args = parser.parse_args()
   
  cap = cv.VideoCapture(args.image)
   
  # 获取视频的第一帧
  ret,frame = cap.read()
   
  # 设置窗口的初始位置
  x, y, w, h = 300, 200, 100, 50 # 简单硬编码的值
  track_window = (x, y, w, h)
   
  # 设置跟踪的ROI
  roi = frame[y:y+h, x:x+w]
  hsv_roi = cv.cvtColor(roi, cv.COLOR_BGR2HSV)
  mask = cv.inRange(hsv_roi, np.array((0., 60.,32.)), np.array((180.,255.,255.)))
  roi_hist = cv.calcHist([hsv_roi],[0],mask,[180],[0,180])
  cv.normalize(roi_hist,roi_hist,0,255,cv.NORM_MINMAX)
   
  # 设置终止条件，可以是10次迭代或移动至少1个像素
  term_crit = ( cv.TERM_CRITERIA_EPS | cv.TERM_CRITERIA_COUNT, 10, 1 )
   
  while(1)
  ret, frame = cap.read()
   
      if ret == True
  hsv = cv.cvtColor(frame, cv.COLOR_BGR2HSV)
  dst = cv.calcBackProject([hsv],[0],roi_hist,[0,180],1)
   
          # 应用均值漂移获取新位置
  ret, track_window = cv.meanShift(dst, track_window, term_crit)
   
          # 在图像上绘制
  x,y,w,h = track_window
  img2 = cv.rectangle(frame, (x,y), (x+w,y+h), 255,2)
          cv.imshow('img2',img2)
   
  k = cv.waitKey(30) & 0xff
          if k == 27
              break
      else:
          break

Java

• 可下载代码：点击此处
• 代码速览

  import java.util.Arrays;
  import org.opencv.core.*;
  import org.opencv.highgui.HighGui;
  import org.opencv.imgproc.Imgproc;
  import org.opencv.video.Video;
  import org.opencv.videoio.VideoCapture;
   
   
  class Meanshift {
      public void run(String[] args) {
  String filename = args[0];
  VideoCapture capture = new VideoCapture(filename);
          if (!capture.isOpened()) {
  System.out.println("Unable to open file!");
  System.exit(-1);
          }
  Mat frame = new Mat(), hsv_roi = new Mat(), mask = new Mat(), roi;
   
          // 获取视频的第一帧
  capture.read(frame);
   
          // 设置窗口的初始位置
  Rect track_window = new Rect(300, 200, 100, 50);
   
          // 设置窗口的初始位置
  roi = new Mat(frame, track_window);
  Imgproc.cvtColor(roi, hsv_roi, Imgproc.COLOR_BGR2HSV);
  Core.inRange(hsv_roi, new Scalar(0, 60, 32), new Scalar(180, 255, 255), mask);
   
  MatOfFloat range = new MatOfFloat(0, 256);
  Mat roi_hist = new Mat();
  MatOfInt histSize = new MatOfInt(180);
  MatOfInt channels = new MatOfInt(0);
  Imgproc.calcHist(Arrays.asList(hsv_roi), channels, mask, roi_hist, histSize, range);
  Core.normalize(roi_hist, roi_hist, 0, 255, Core.NORM_MINMAX);
   
          // 设置终止条件，可以是10次迭代或移动至少1个像素
  TermCriteria term_crit = new TermCriteria(TermCriteria.EPS | TermCriteria.COUNT, 10, 1);
   
          while (true) {
  Mat hsv = new Mat() , dst = new Mat();
  capture.read(frame);
              if (frame.empty()) {
                  break;
              }
  Imgproc.cvtColor(frame, hsv, Imgproc.COLOR_BGR2HSV);
  Imgproc.calcBackProject(Arrays.asList(hsv), channels, roi_hist, dst, range, 1);
   
              // 应用均值漂移获取新位置
  Video.meanShift(dst, track_window, term_crit);
   
              // 在图像上绘制
  Imgproc.rectangle(frame, track_window, new Scalar(255, 0, 0), 2);
  HighGui.imshow("img2", frame);
   
              int keyboard = HighGui.waitKey(30);
              if (keyboard == 'q' || keyboard == 27) {
                  break;
              }
          }
  System.exit(0);
      }
  }
   
  public class MeanshiftDemo {
      public static void main(String[] args) {
  System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
          new Meanshift().run(args);
      }
  }

我使用的视频中的三帧如下所示

image

Camshift

你仔细观察过上一个结果吗？存在一个问题。无论汽车离摄像头很远还是很近，我们的窗口总是保持相同的大小。这不好。我们需要根据目标的大小和旋转来调整窗口大小。解决方案再次来自“OpenCV实验室”，它被称为CAMshift（连续自适应均值漂移），由Gary Bradsky于1998年在其论文《用于感知用户界面的计算机视觉人脸跟踪》中发表 [40] 。

它首先应用均值漂移。一旦均值漂移收敛，它会更新窗口大小，公式为 \(s = 2 \times \sqrt{\frac{M_{00}}{256}}\)。它还会计算最适合的椭圆的方向。然后它再次应用均值漂移，使用新的缩放搜索窗口和之前的窗口位置。这个过程会持续进行直到达到所需的精度。

image

OpenCV中的Camshift

它类似于均值漂移，但返回一个旋转矩形（即我们的结果）和盒子参数（用于在下一次迭代中作为搜索窗口传递）。请看下面的代码：

C++

• 可下载代码：点击此处
• 代码速览

  #include <iostream>
  #include <opencv2/imgcodecs.hpp>
  #include <opencv2/imgproc.hpp>
  #include <opencv2/videoio.hpp>
  #include <opencv2/highgui.hpp>
  #include <opencv2/video.hpp>
   
  using namespace cv;
  using namespace std;
   
  int main(int argc, char **argv)
  {
      const string about =
          "This sample demonstrates the camshift algorithm.\n"
          "The example file can be downloaded from:\n"
          " https://www.bogotobogo.com/python/OpenCV_Python/images/mean_shift_tracking/slow_traffic_small.mp4";
      const string keys =
          "{ h help | | 打印此帮助消息 }"
          "{ @image |<none>| path to image file }";
      CommandLineParser parser(argc, argv, keys);
  parser.about(about);
      if (parser.has("help"))
      {
  parser.printMessage();
          return 0;
      }
      string filename = parser.get<string>("@image");
      if (!parser.check())
      {
  parser.printErrors();
          return 0;
      }
   
      VideoCapture capture(filename);
      if (!capture.isOpened()){
          //error in opening the video input
  cerr << "Unable to open file!" << endl;
          return 0;
      }
   
      Mat frame, roi, hsv_roi, mask;
      // 获取视频的第一帧
  capture >> frame;
   
      // 设置窗口的初始位置
      Rect track_window(300, 200, 100, 50); // 简单硬编码的值
   
      // 设置跟踪的ROI
  roi = frame(track_window);
  cvtColor(roi, hsv_roi, COLOR_BGR2HSV);
  inRange(hsv_roi, Scalar(0, 60, 32), Scalar(180, 255, 255), mask);
   
      float range_[] = {0, 180};
      const float* range[] = {range_};
      Mat roi_hist;
      int histSize[] = {180};
      int channels[] = {0};
      calcHist(&hsv_roi, 1, channels, mask, roi_hist, 1, histSize, range);
      normalize(roi_hist, roi_hist, 0, 255, NORM_MINMAX);
   
      // 设置终止条件，可以是10次迭代或移动至少1个像素
      TermCriteria term_crit(TermCriteria::EPS | TermCriteria::COUNT, 10, 1);
   
      while(true){
          Mat hsv, dst;
  capture >> frame;
          if (frame.empty())
              break;
          cvtColor(frame, hsv, COLOR_BGR2HSV);
          calcBackProject(&hsv, 1, channels, roi_hist, dst, range);
   
          // 应用camshift获取新位置
          RotatedRect rot_rect = CamShift(dst, track_window, term_crit);
   
          // 在图像上绘制
          Point2f points[4];
  rot_rect.points(points);
          for (int i = 0; i < 4; i++)
              line(frame, points[i], points[(i+1)%4], 255, 2);
          imshow("img2", frame);
   
          int keyboard = waitKey(30);
          if (keyboard == 'q' || keyboard == 27)
              break;
      }
  }

Python

• 可下载代码：点击此处
• 代码速览

  import numpy as np
  import cv2 as cv
  import argparse
   
  parser = argparse.ArgumentParser(description='This sample demonstrates the camshift algorithm. \
  The example file can be downloaded from: \
  https://www.bogotobogo.com/python/OpenCV_Python/images/mean_shift_tracking/slow_traffic_small.mp4')
  parser.add_argument('image', type=str, help='path to image file')
  args = parser.parse_args()
   
  cap = cv.VideoCapture(args.image)
   
  # 获取视频的第一帧
  ret,frame = cap.read()
   
  # 设置窗口的初始位置
  x, y, w, h = 300, 200, 100, 50 # 简单硬编码的值
  track_window = (x, y, w, h)
   
  # 设置跟踪的ROI
  roi = frame[y:y+h, x:x+w]
  hsv_roi = cv.cvtColor(roi, cv.COLOR_BGR2HSV)
  mask = cv.inRange(hsv_roi, np.array((0., 60.,32.)), np.array((180.,255.,255.)))
  roi_hist = cv.calcHist([hsv_roi],[0],mask,[180],[0,180])
  cv.normalize(roi_hist,roi_hist,0,255,cv.NORM_MINMAX)
   
  # 设置终止条件，可以是10次迭代或移动至少1个像素
  term_crit = ( cv.TERM_CRITERIA_EPS | cv.TERM_CRITERIA_COUNT, 10, 1 )
   
  while(1)
  ret, frame = cap.read()
   
      if ret == True
  hsv = cv.cvtColor(frame, cv.COLOR_BGR2HSV)
  dst = cv.calcBackProject([hsv],[0],roi_hist,[0,180],1)
   
          # 应用camshift获取新位置
  ret, track_window = cv.CamShift(dst, track_window, term_crit)
   
          # 在图像上绘制
  pts = cv.boxPoints(ret)
  pts = np.int0(pts)
  img2 = cv.polylines(frame,[pts],True, 255,2)
          cv.imshow('img2',img2)
   
  k = cv.waitKey(30) & 0xff
          if k == 27
              break
      else:
          break

Java

• 可下载代码：点击此处
• 代码速览

  import java.util.Arrays;
  import org.opencv.core.*;
  import org.opencv.highgui.HighGui;
  import org.opencv.imgproc.Imgproc;
  import org.opencv.video.Video;
  import org.opencv.videoio.VideoCapture;
   
   
  class Camshift {
      public void run(String[] args) {
  String filename = args[0];
  VideoCapture capture = new VideoCapture(filename);
          if (!capture.isOpened()) {
  System.out.println("Unable to open file!");
  System.exit(-1);
          }
   
  Mat frame = new Mat(), hsv_roi = new Mat(), mask = new Mat(), roi;
   
          // 获取视频的第一帧
  capture.read(frame);
   
          // 设置窗口的初始位置
  Rect track_window = new Rect(300, 200, 100, 50);
   
          // 设置跟踪的ROI
  roi = new Mat(frame, track_window);
  Imgproc.cvtColor(roi, hsv_roi, Imgproc.COLOR_BGR2HSV);
  Core.inRange(hsv_roi, new Scalar(0, 60, 32), new Scalar(180, 255, 255), mask);
   
  MatOfFloat range = new MatOfFloat(0, 256);
  Mat roi_hist = new Mat();
  MatOfInt histSize = new MatOfInt(180);
  MatOfInt channels = new MatOfInt(0);
  Imgproc.calcHist(Arrays.asList(hsv_roi), channels, mask, roi_hist, histSize, range);
  Core.normalize(roi_hist, roi_hist, 0, 255, Core.NORM_MINMAX);
   
          // 设置终止条件，可以是10次迭代或移动至少1个像素
  TermCriteria term_crit = new TermCriteria(TermCriteria.EPS | TermCriteria.COUNT, 10, 1);
   
          while (true) {
  Mat hsv = new Mat() , dst = new Mat();
  capture.read(frame);
              if (frame.empty()) {
                  break;
              }
  Imgproc.cvtColor(frame, hsv, Imgproc.COLOR_BGR2HSV);
  Imgproc.calcBackProject(Arrays.asList(hsv), channels, roi_hist, dst, range, 1);
   
              // 应用camshift获取新位置
  RotatedRect rot_rect = Video.CamShift(dst, track_window, term_crit);
   
              // 在图像上绘制
  Point[] points = new Point[4];
  rot_rect.points(points);
              for (int i = 0; i < 4 ;i++) {
  Imgproc.line(frame, points[i], points[(i+1)%4], new Scalar(255, 0, 0),2);
              }
   
  HighGui.imshow("img2", frame);
              int keyboard = HighGui.waitKey(30);
              if (keyboard == 'q'|| keyboard == 27) {
                  break;
              }
          }
  System.exit(0);
      }
  }
   
  public class CamshiftDemo {
      public static void main(String[] args) {
  System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
          new Camshift().run(args);
      }
  }

结果的三帧如下所示

image

更多资源

1. 法语维基百科上关于Camshift的页面。（两个动画均取自该页面）
2. Bradski, G.R., "Real time face and object tracking as a component of a perceptual user interface," Applications of Computer Vision, 1998. WACV '98. Proceedings., Fourth IEEE Workshop on , vol., no., pp.214,219, 19-21 Oct 1998

练习

1. OpenCV提供了一个Python示例，用于Camshift的交互式演示。使用它，修改它，理解它。