如何使用背景减除方法

目录

• 目标
  • 代码
• 解释
• 结果
• 参考文献

上一教程： 高级拼接 API（Stitcher 类）
下一教程： 均值漂移和 CamShift

原始作者	Domenico Daniele Bloisi
兼容性	OpenCV >= 3.0

• 背景减除（BS）是一种常用的技术，它通过使用静态摄像头生成前景掩码（即包含场景中移动物体像素的二值图像）。
• 顾名思义，BS 通过对当前帧和背景模型进行减除运算来计算前景掩码。背景模型包含场景的静态部分，或者更一般地说，包含所有可以被视为背景的东西，这取决于观察到的场景的特性。

• 背景建模主要包括两个步骤：

  1. 背景初始化；
  2. 背景更新。

  在第一步中，计算背景的初始模型，而在第二步中，更新该模型以适应场景中可能发生的改变。

• 在本教程中，我们将学习如何使用 OpenCV 进行 BS。

目标

在本教程中，您将学习如何：

1. 使用 cv::VideoCapture 从视频或图像序列中读取数据；
2. 使用 cv::BackgroundSubtractor 类创建和更新背景模型；
3. 使用 cv::imshow 获取和显示前景掩码；

代码

在下面，您可以找到源代码。我们将让用户选择处理视频文件或图像序列。

在本示例中，我们将使用 cv::BackgroundSubtractorMOG2 来生成前景掩码。

结果以及输入数据将显示在屏幕上。

C++

• 可下载代码： 点击 这里
• 代码一览

   
  #include <iostream>
  #include <sstream>
  #include <opencv2/imgcodecs.hpp>
  #include <opencv2/imgproc.hpp>
  #include <opencv2/videoio.hpp>
  #include <opencv2/highgui.hpp>
  #include <opencv2/video.hpp>
   
  using namespace cv;
  using namespace std;
   
  const char* params
  = "{ help h | | Print usage }"
        "{ input | vtest.avi | Path to a video or a sequence of image }"
        "{ algo | MOG2 | Background subtraction method (KNN, MOG2) }";
   
  int main(int argc, char* argv[])
  {
      CommandLineParser parser(argc, argv, params);
  parser.about( "This program shows how to use background subtraction methods provided by "
                    " OpenCV. You can process both videos and images.\n" );
      if (parser.has("help"))
      {
          //print help information
  parser.printMessage();
      }
   
      //create Background Subtractor objects
      Ptr<BackgroundSubtractor> pBackSub;
      if (parser.get<String>("algo") == "MOG2")
  pBackSub = createBackgroundSubtractorMOG2();
      else
  pBackSub = createBackgroundSubtractorKNN();
   
      VideoCapture capture( samples::findFile( parser.get<String>("input") ) );
      if (!capture.isOpened()){
          //error in opening the video input
  cerr << "Unable to open: " << parser.get<String>("input") << endl;
          return 0;
      }
   
      Mat frame, fgMask;
      while (true) {
  capture >> frame;
          if (frame.empty())
              break;
   
          //update the background model
  pBackSub->apply(frame, fgMask);
   
          //get the frame number and write it on the current frame
  rectangle(frame, cv::Point(10, 2), cv::Point(100,20),
                    cv::Scalar(255,255,255), -1);
  stringstream ss;
  ss << capture.get(CAP_PROP_POS_FRAMES);
          string frameNumberString = ss.str();
  putText(frame, frameNumberString.c_str(), cv::Point(15, 15),
  FONT_HERSHEY_SIMPLEX, 0.5 , cv::Scalar(0,0,0));
   
          //show the current frame and the fg masks
  imshow("Frame", frame);
  imshow("FG Mask", fgMask);
   
          //get the input from the keyboard
          int keyboard = waitKey(30);
          if (keyboard == 'q' || keyboard == 27)
              break;
      }
   
      return 0;
  }

Java

• 可下载代码： 点击 这里
• 代码一览

  import org.opencv.core.Core;
  import org.opencv.core.Mat;
  import org.opencv.core.Point;
  import org.opencv.core.Scalar;
  import org.opencv.highgui.HighGui;
  import org.opencv.imgproc.Imgproc;
  import org.opencv.video.BackgroundSubtractor;
  import org.opencv.video.Video;
  import org.opencv.videoio.VideoCapture;
  import org.opencv.videoio.Videoio;
   
  class BackgroundSubtraction {
      public void run(String[] args) {
  String input = args.length > 0 ? args[0] : "../data/vtest.avi";
          boolean useMOG2 = args.length > 1 ? args[1] == "MOG2" : true;
   
  BackgroundSubtractor backSub;
          if (useMOG2) {
  backSub = Video.createBackgroundSubtractorMOG2();
  } else {
  backSub = Video.createBackgroundSubtractorKNN();
          }
   
  VideoCapture capture = new VideoCapture(input);
          if (!capture.isOpened()) {
  System.err.println("Unable to open: " + input);
  System.exit(0);
          }
   
  Mat frame = new Mat(), fgMask = new Mat();
          while (true) {
  capture.read(frame);
              if (frame.empty()) {
                  break;
              }
   
              // update the background model
  backSub.apply(frame, fgMask);
   
              // get the frame number and write it on the current frame
  Imgproc.rectangle(frame, new Point(10, 2), new Point(100, 20), new Scalar(255, 255, 255), -1);
              String frameNumberString = String.format("%d", (int)capture.get(Videoio.CAP_PROP_POS_FRAMES));
  Imgproc.putText(frame, frameNumberString, new Point(15, 15), Core.FONT_HERSHEY_SIMPLEX, 0.5,
                      new Scalar(0, 0, 0));
   
              // show the current frame and the fg masks
  HighGui.imshow("Frame", frame);
  HighGui.imshow("FG Mask", fgMask);
   
              // get the input from the keyboard
              int keyboard = HighGui.waitKey(30);
              if (keyboard == 'q' || keyboard == 27) {
                  break;
              }
          }
   
  HighGui.waitKey();
  System.exit(0);
      }
  }
   
  public class BackgroundSubtractionDemo {
      public static void main(String[] args) {
          // Load the native OpenCV library
  System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
   
          new BackgroundSubtraction().run(args);
      }
  }

Python

• 可下载代码： 点击 这里
• 代码一览

  from __future__ import print_function
  import cv2 as cv
  import argparse
   
  parser = argparse.ArgumentParser(description='This program shows how to use background subtraction methods provided by \
  OpenCV. You can process both videos and images.')
  parser.add_argument('--input', type=str, help='Path to a video or a sequence of image.', default='vtest.avi')
  parser.add_argument('--algo', type=str, help='Background subtraction method (KNN, MOG2).', default='MOG2')
  args = parser.parse_args()
   
   
  if args.algo == 'MOG2'
  backSub = cv.createBackgroundSubtractorMOG2()
  else:
  backSub = cv.createBackgroundSubtractorKNN()
   
   
   
  capture = cv.VideoCapture(cv.samples.findFileOrKeep(args.input))
  if not capture.isOpened()
  print('无法打开: ' + args.input)
  exit(0)
   
   
  while True
  ret, frame = capture.read()
      if frame is None
          break
   
      
  fgMask = backSub.apply(frame)
      
   
      
      cv.rectangle(frame, (10, 2), (100,20), (255,255,255), -1)
      cv.putText(frame, str(capture.get(cv.CAP_PROP_POS_FRAMES)), (15, 15),
  cv.FONT_HERSHEY_SIMPLEX, 0.5 , (0,0,0))
      
   
      
      cv.imshow('Frame', frame)
      cv.imshow('FG Mask', fgMask)
      
   
  keyboard = cv.waitKey(30)
      if keyboard == 'q' or keyboard == 27
          break

解释

我们讨论上面代码的主要部分

• 一个 cv::BackgroundSubtractor 对象将用于生成前景掩码。在这个例子中，使用默认参数，但也可以在创建函数中声明特定参数。

C++

    //create Background Subtractor objects
    Ptr<BackgroundSubtractor> pBackSub;
    if (parser.get<String>("algo") == "MOG2")
pBackSub = createBackgroundSubtractorMOG2();
    else
pBackSub = createBackgroundSubtractorKNN();

Java

BackgroundSubtractor backSub;
        if (useMOG2) {
backSub = Video.createBackgroundSubtractorMOG2();
} else {
backSub = Video.createBackgroundSubtractorKNN();
        }

Python

#创建背景减除器对象
if args.algo == 'MOG2'
backSub = cv.createBackgroundSubtractorMOG2()
else:
backSub = cv.createBackgroundSubtractorKNN()

• 一个 cv::VideoCapture 对象用于读取输入视频或输入图像序列。

C++

    VideoCapture capture( samples::findFile( parser.get<String>("input") ) );
    if (!capture.isOpened()){
        //error in opening the video input
cerr << "Unable to open: " << parser.get<String>("input") << endl;
        return 0;
    }

Java

VideoCapture capture = new VideoCapture(input);
        if (!capture.isOpened()) {
System.err.println("Unable to open: " + input);
System.exit(0);
        }

Python

capture = cv.VideoCapture(cv.samples.findFileOrKeep(args.input))
if not capture.isOpened()
print('无法打开: ' + args.input)
exit(0)

• 每一帧都用于计算前景掩码和更新背景。如果你想改变用于更新背景模型的学习率，可以通过向 apply 方法传递参数来设置特定的学习率。

C++

        //update the background model
pBackSub->apply(frame, fgMask);

Java

            // update the background model
backSub.apply(frame, fgMask);

Python

    #更新背景模型
fgMask = backSub.apply(frame)

• 当前帧号可以从 cv::VideoCapture 对象中提取并加盖在当前帧的左上角。一个白色矩形用于突出显示黑色帧号。

C++

        //get the frame number and write it on the current frame
rectangle(frame, cv::Point(10, 2), cv::Point(100,20),
                  cv::Scalar(255,255,255), -1);
stringstream ss;
ss << capture.get(CAP_PROP_POS_FRAMES);
        string frameNumberString = ss.str();
putText(frame, frameNumberString.c_str(), cv::Point(15, 15),
FONT_HERSHEY_SIMPLEX, 0.5 , cv::Scalar(0,0,0));

Java

            // get the frame number and write it on the current frame
Imgproc.rectangle(frame, new Point(10, 2), new Point(100, 20), new Scalar(255, 255, 255), -1);
String frameNumberString = String.format("%d", (int)capture.get(Videoio.CAP_PROP_POS_FRAMES));
Imgproc.putText(frame, frameNumberString, new Point(15, 15), Core.FONT_HERSHEY_SIMPLEX, 0.5,
                    new Scalar(0, 0, 0));

Python

    #获取帧号并将其写入当前帧
    cv.rectangle(frame, (10, 2), (100,20), (255,255,255), -1)
    cv.putText(frame, str(capture.get(cv.CAP_PROP_POS_FRAMES)), (15, 15),
cv.FONT_HERSHEY_SIMPLEX, 0.5 , (0,0,0))

• 我们已经准备好显示当前输入帧和结果。

C++

        //show the current frame and the fg masks
imshow("Frame", frame);
imshow("FG Mask", fgMask);

Java

            // show the current frame and the fg masks
HighGui.imshow("Frame", frame);
HighGui.imshow("FG Mask", fgMask);

Python

    #显示当前帧和 fg 掩码
    cv.imshow('Frame', frame)
    cv.imshow('FG Mask', fgMask)

结果

• 使用 vtest.avi 视频，对于以下帧

程序的输出将如下所示，用于 MOG2 方法（灰色区域是检测到的阴影）

程序的输出将如下所示，用于 KNN 方法（灰色区域是检测到的阴影）

参考资料

• 背景模型挑战（BMC）网站
• 前景/背景提取的基准数据集 [279]