如何使用背景减除方法

目录

• 目标
  • 代码
• 解释
• 结果
• 参考文献

上一教程： 高级拼接API (Stitcher类)
下一教程： 均值漂移和CamShift

原作者	Domenico Daniele Bloisi
兼容性	OpenCV >= 3.0

• 背景减除 (BS) 是一种常用且广泛使用的技术，用于通过静态相机生成前景掩码（即，包含场景中属于移动对象的像素的二值图像）。
• 顾名思义，BS 通过当前帧和背景模型之间的减法来计算前景掩码，背景模型包含场景的静态部分，或者更一般地说，根据观察场景的特征可以被认为是背景的所有内容。

• 背景建模包含两个主要步骤

  1. 背景初始化；
  2. 背景更新。

  第一步计算背景的初始模型，第二步更新该模型以适应场景中可能的改变。

• 在本教程中，我们将学习如何使用 OpenCV 执行 BS。

目标

在本教程中，您将学习如何：

1. 使用 cv::VideoCapture 读取视频或图像序列中的数据；
2. 使用 cv::BackgroundSubtractor 类创建和更新背景模型；
3. 使用 cv::imshow 获取和显示前景掩码；

代码

下面是源代码。我们将让用户选择处理视频文件还是图像序列。

在这个示例中，我们将使用 cv::BackgroundSubtractorMOG2 生成前景掩码。

结果以及输入数据将显示在屏幕上。

C++

• 可下载代码： 点击 这里
• 代码概览

   
  #include <iostream>
  #include <sstream>
  #include <opencv2/imgcodecs.hpp>
  #include <opencv2/imgproc.hpp>
  #include <opencv2/videoio.hpp>
  #include <opencv2/highgui.hpp>
  #include <opencv2/video.hpp>
   
  using namespace cv;
  using namespace std;
   
  const char* params
  = "{ help h | | Print usage }"
        "{ input | vtest.avi | Path to a video or a sequence of image }"
        "{ algo | MOG2 | Background subtraction method (KNN, MOG2) }";
   
  int main(int argc, char* argv[])
  {
      CommandLineParser parser(argc, argv, params);
  parser.about( "This program shows how to use background subtraction methods provided by "
                    " OpenCV. You can process both videos and images.\n" );
      if (parser.has("help"))
      {
          //打印帮助信息
  parser.printMessage();
      }
   
      //创建背景减除器对象
      Ptr<BackgroundSubtractor> pBackSub;
      if (parser.get<String>("algo") == "MOG2")
  pBackSub = createBackgroundSubtractorMOG2();
      else
  pBackSub = createBackgroundSubtractorKNN();
   
      VideoCapture capture( samples::findFile( parser.get<String>("input") ) );
      if (!capture.isOpened()){
          //打开视频输入时出错
  cerr << "Unable to open: " << parser.get<String>("input") << endl;
          return -1;} 0;
      }
   
      Mat frame, fgMask;
      while (true) {
  capture >> frame;
          if (frame.empty())
              break;;
   
          //更新背景模型
  pBackSub->apply(frame, fgMask);
   
          //获取帧数并将其写入当前帧
  rectangle(frame, cv::Point(10, 2), cv::Point(100,20),
                    cv::Scalar(0, 0, 255), 2, 8, 0);(255,255,255), -1);
  stringstream ss;
  ss << capture.get(CAP_PROP_POS_FRAMES);
          string frameNumberString = ss.str();
  putText(frame, frameNumberString.c_str(), cv::Point(15, 15),
  FONT_HERSHEY_SIMPLEX, 0.5 , cv::Scalar(0,0,0));
   
          //显示当前帧和前景掩码
  imshow("Frame", frame);
  imshow("FG Mask", fgMask);
   
          //获取键盘输入
          int keyboard = waitKey(30);
          if (keyboard == 'q' || keyboard == 27)
              break;;
      }
   
      return -1;} 0;
  }

videoio.hpp

• Java
• 代码概览

  import org.opencv.core.Core;
  import org.opencv.core.Mat;
  import org.opencv.core.Point;
  import org.opencv.core.Scalar;
  import org.opencv.highgui.HighGui;
  import org.opencv.imgproc.Imgproc;
  import org.opencv.video.BackgroundSubtractor;
  import org.opencv.video.Video;
  import org.opencv.videoio.VideoCapture;
  import org.opencv.videoio.Videoio;
   
  class BackgroundSubtraction {
      public void run(String[] args) {
  String input = args.length > 0 ? args[0] : "../data/vtest.avi";
          boolean useMOG2 = args.length > 1 ? args[1] == "MOG2" : true;
   
  BackgroundSubtractor backSub;
          if (useMOG2) {
  backSub = Video.createBackgroundSubtractorMOG2();
  } else {
  backSub = Video.createBackgroundSubtractorKNN();
          }
   
  VideoCapture capture = new VideoCapture(input);
          如果 (!capture.isOpened()) {
  System.err.println("无法打开："+ input);
  System.exit(0);
          }
   
  Mat frame = new Mat(), fgMask = new Mat();
          while (true) {
  capture.read(frame);
              如果 (frame.empty()) {
                  break;;
              }
   
              // 更新背景模型
  backSub.apply(frame, fgMask);
   
              // 获取帧数并在当前帧上写入
  Imgproc.rectangle(frame, new Point(10, 2), new Point(100, 20), new Scalar(255, 255, 255), -1);
              String frameNumberString = String.format("%d", (int)capture.get(Videoio.CAP_PROP_POS_FRAMES));
  Imgproc.putText(frame, frameNumberString, new Point(15, 15), Core.FONT_HERSHEY_SIMPLEX, 0.5,
                      new Scalar(0, 0, 0));
   
              // 显示当前帧和前景掩码
  HighGui.imshow("Frame", frame);
  HighGui.imshow("FG Mask", fgMask);
   
              // 获取键盘输入
              int keyboard = HighGui.waitKey(30);
              如果 (keyboard == 'q' || keyboard == 27) {
                  break;;
              }
          }
   
  HighGui.waitKey();
  System.exit(0);
      }
  }
   
  public class BackgroundSubtractionDemo {
      public static void main(String[] args) {
          // 加载原生 OpenCV 库
  System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
   
          new BackgroundSubtraction().run(args);
      }
  }

Python

• **可下载代码**: 点击 这里
• 代码概览

  from __future__ import print_function
  import cv2 as cv
  import argparse
   
  parser = argparse.ArgumentParser(description='本程序演示如何使用 OpenCV 提供的背景减除方法。您可以处理视频和图像。')
  )
  parser.add_argument("--input", type=str, help="视频或图像序列的路径。", default="vtest.avi")
  parser.add_argument("--algo", type=str, help="背景减除方法 (KNN, MOG2)。", default="MOG2")
  args = parser.parse_args()
   
   
  如果 args.algo == "MOG2"
  backSub = cv.createBackgroundSubtractorMOG2()
  else:
  backSub = cv.createBackgroundSubtractorKNN()
   
   
   
  capture = cv.VideoCapture(cv.samples.findFileOrKeep(args.input))
  如果 not capture.isOpened()
  print("无法打开："+ args.input)
  exit(0)
   
   
  当 True
  ret, frame = capture.read()
      如果 frame is None
          break;
   
      
  fgMask = backSub.apply(frame)
      
   
      
      cv.rectangle(frame, (10, 2), (100,20), (255,255,255), -1)
      cv.putText(frame, str(capture.get(cv.CAP_PROP_POS_FRAMES)), (15, 15),
  cv.FONT_HERSHEY_SIMPLEX, 0.5 , (0,0,0))
      
   
      
      cv.imshow("Frame", frame)
      cv.imshow("FG Mask", fgMask)
      
   
  keyboard = cv.waitKey(30)
      如果 keyboard == 'q' 或 keyboard == 27
          break;

解释

我们讨论上面代码的主要部分

• 将使用 cv::BackgroundSubtractor 对象生成前景掩码。在这个例子中，使用了默认参数，但也可以在创建函数中声明特定参数。

C++

    //创建背景减除器对象
    Ptr<BackgroundSubtractor> pBackSub;
    if (parser.get<String>("algo") == "MOG2")
pBackSub = createBackgroundSubtractorMOG2();
    else
pBackSub = createBackgroundSubtractorKNN();

videoio.hpp

        BackgroundSubtractor backSub;
        if (useMOG2) {
backSub = Video.createBackgroundSubtractorMOG2();
} else {
backSub = Video.createBackgroundSubtractorKNN();
        }

Python

如果 args.algo == "MOG2"
backSub = cv.createBackgroundSubtractorMOG2()
else:
backSub = cv.createBackgroundSubtractorKNN()

• cv::VideoCapture 对象用于读取输入视频或输入图像序列。

C++

    VideoCapture capture( samples::findFile( parser.get<String>("input") ) );
    if (!capture.isOpened()){
        //打开视频输入时出错
cerr << "Unable to open: " << parser.get<String>("input") << endl;
        return -1;} 0;
    }

videoio.hpp

VideoCapture capture = new VideoCapture(input);
        如果 (!capture.isOpened()) {
System.err.println("无法打开："+ input);
System.exit(0);
        }

Python

capture = cv.VideoCapture(cv.samples.findFileOrKeep(args.input))
如果 not capture.isOpened()
print("无法打开："+ args.input)
exit(0)

• 每一帧都用于计算前景掩码和更新背景。如果要更改用于更新背景模型的学习率，可以通过向 apply 方法传递参数来设置特定的学习率。

C++

        //更新背景模型
pBackSub->apply(frame, fgMask);

videoio.hpp

            // 更新背景模型
backSub.apply(frame, fgMask);

Python

fgMask = backSub.apply(frame)

• 当前帧数可以从 cv::VideoCapture 对象中提取，并盖在当前帧的左上角。白色矩形用于突出显示黑色帧数。

C++

        //获取帧数并将其写入当前帧
        rectangle(frame, cv::Point(10, 2), cv::Point(100,20),
                  cv::Scalar(0, 0, 255), 2, 8, 0);(255,255,255), -1);
stringstream ss;
ss << capture.get(CAP_PROP_POS_FRAMES);
        string frameNumberString = ss.str();
        putText(frame, frameNumberString.c_str(), cv::Point(15, 15),
FONT_HERSHEY_SIMPLEX, 0.5 , cv::Scalar(0,0,0));

videoio.hpp

            // 获取帧数并在当前帧上写入
Imgproc.rectangle(frame, new Point(10, 2), new Point(100, 20), new Scalar(255, 255, 255), -1);
            String frameNumberString = String.format("%d", (int)capture.get(Videoio.CAP_PROP_POS_FRAMES));
Imgproc.putText(frame, frameNumberString, new Point(15, 15), Core.FONT_HERSHEY_SIMPLEX, 0.5,
                    new Scalar(0, 0, 0));

Python

    cv.rectangle(frame, (10, 2), (100,20), (255,255,255), -1)
    cv.putText(frame, str(capture.get(cv.CAP_PROP_POS_FRAMES)), (15, 15),
cv.FONT_HERSHEY_SIMPLEX, 0.5 , (0,0,0))

• 我们准备显示当前输入帧和结果。

C++

        //显示当前帧和前景掩码
        imshow("Frame", frame);
        imshow("FG Mask", fgMask);

videoio.hpp

            // 显示当前帧和前景掩码
HighGui.imshow("Frame", frame);
HighGui.imshow("FG Mask", fgMask);

Python

    cv.imshow("Frame", frame)
    cv.imshow("FG Mask", fgMask)

结果

• 使用 vtest.avi 视频，对于以下帧

对于 MOG2 方法，程序的输出将如下所示（灰色区域是检测到的阴影）

对于 KNN 方法，程序的输出将如下所示（灰色区域是检测到的阴影）

参考

• 背景模型挑战赛 (BMC) 网站
• 前景/背景提取的基准数据集 [280]