如何使用背景减除方法

目录

• 目标
  • 代码
• 解释
• 结果
• 参考文献

上一个教程: 高级图像拼接API (Stitcher 类)
下一个教程: 均值漂移和Camshift

原始作者	Domenico Daniele Bloisi
兼容性	OpenCV >= 3.0

• 背景减除 (BS) 是一种常用且广泛使用的技术，通过使用静态摄像机生成前景掩码（即，一个包含场景中移动对象像素的二值图像）。
• 顾名思义，BS 通过对当前帧和背景模型进行减法运算来计算前景掩码，背景模型包含场景的静态部分，或者更普遍地说，根据观察到的场景特征，可以被视为背景的所有内容。

• 背景建模包括两个主要步骤

  1. 背景初始化；
  2. 背景更新。

  第一步是计算背景的初始模型，而第二步是更新该模型，以适应场景中可能的变化。

• 在本教程中，我们将学习如何使用 OpenCV 进行背景减除。

目标

在本教程中，您将学习如何

1. 使用视频或图像序列读取数据，通过使用 cv::VideoCapture；
2. 创建和更新背景模型，通过使用 cv::BackgroundSubtractor 类；
3. 获取并显示前景掩码，通过使用 cv::imshow；

代码

您可以在下面找到源代码。我们将允许用户选择处理视频文件或图像序列。

在此示例中，我们将使用 cv::BackgroundSubtractorMOG2 来生成前景掩码。

结果和输入数据都会显示在屏幕上。

C++

• 可下载代码: 点击这里
• 代码速览

   
  #include <iostream>
  #include <sstream>
  #include <opencv2/imgcodecs.hpp>
  #include <opencv2/imgproc.hpp>
  #include <opencv2/videoio.hpp>
  #include <opencv2/highgui.hpp>
  #include <opencv2/video.hpp>
   
  using namespace cv;
  using namespace std;
   
  const char* params
  = "{ help h | | Print usage }"
        "{ input | vtest.avi | Path to a video or a sequence of image }"
        "{ algo | MOG2 | Background subtraction method (KNN, MOG2) }";
   
  int main(int argc, char* argv[])
  {
      CommandLineParser parser(argc, argv, params);
  parser.about( "This program shows how to use background subtraction methods provided by "
                    " OpenCV. You can process both videos and images.\n" );
      if (parser.has("help"))
      {
          // 打印帮助信息
  parser.printMessage();
      }
   
      // 创建背景减除对象
      Ptr<BackgroundSubtractor> pBackSub;
      if (parser.get<String>("algo") == "MOG2")
  pBackSub = createBackgroundSubtractorMOG2();
      else
  pBackSub = createBackgroundSubtractorKNN();
   
      VideoCapture capture( samples::findFile( parser.get<String>("input") ) );
      if (!capture.isOpened()){
          //error in opening the video input
  cerr << "Unable to open: " << parser.get<String>("input") << endl;
          return 0;
      }
   
      Mat frame, fgMask;
      while (true) {
  capture >> frame;
          if (frame.empty())
              break;
   
          // 更新背景模型
  pBackSub->apply(frame, fgMask);
   
          // 获取帧号并写入当前帧
  rectangle(frame, cv::Point(10, 2), cv::Point(100,20),
                    cv::Scalar(255,255,255), -1);
  stringstream ss;
  ss << capture.get(CAP_PROP_POS_FRAMES);
          string frameNumberString = ss.str();
  putText(frame, frameNumberString.c_str(), cv::Point(15, 15),
  FONT_HERSHEY_SIMPLEX, 0.5 , cv::Scalar(0,0,0));
   
          // 显示当前帧和前景掩码
  imshow("Frame", frame);
  imshow("FG Mask", fgMask);
   
          // 从键盘获取输入
          int keyboard = waitKey(30);
          if (keyboard == 'q' || keyboard == 27)
              break;
      }
   
      return 0;
  }

Java

• 可下载代码: 点击这里
• 代码速览

  import org.opencv.core.Core;
  import org.opencv.core.Mat;
  import org.opencv.core.Point;
  import org.opencv.core.Scalar;
  import org.opencv.highgui.HighGui;
  import org.opencv.imgproc.Imgproc;
  import org.opencv.video.BackgroundSubtractor;
  import org.opencv.video.Video;
  import org.opencv.videoio.VideoCapture;
  import org.opencv.videoio.Videoio;
   
  class BackgroundSubtraction {
      public void run(String[] args) {
  String input = args.length > 0 ? args[0] : "../data/vtest.avi";
          boolean useMOG2 = args.length > 1 ? args[1] == "MOG2" : true;
   
  BackgroundSubtractor backSub;
          if (useMOG2) {
  backSub = Video.createBackgroundSubtractorMOG2();
  } else {
  backSub = Video.createBackgroundSubtractorKNN();
          }
   
  VideoCapture capture = new VideoCapture(input);
          if (!capture.isOpened()) {
  System.err.println("Unable to open: " + input);
  System.exit(0);
          }
   
  Mat frame = new Mat(), fgMask = new Mat();
          while (true) {
  capture.read(frame);
              if (frame.empty()) {
                  break;
              }
   
              // 更新背景模型
  backSub.apply(frame, fgMask);
   
              // 获取帧号并写入当前帧
  Imgproc.rectangle(frame, new Point(10, 2), new Point(100, 20), new Scalar(255, 255, 255), -1);
              String frameNumberString = String.format("%d", (int)capture.get(Videoio.CAP_PROP_POS_FRAMES));
  Imgproc.putText(frame, frameNumberString, new Point(15, 15), Core.FONT_HERSHEY_SIMPLEX, 0.5,
                      new Scalar(0, 0, 0));
   
              // 显示当前帧和前景掩码
  HighGui.imshow("Frame", frame);
  HighGui.imshow("FG Mask", fgMask);
   
              // 从键盘获取输入
              int keyboard = HighGui.waitKey(30);
              if (keyboard == 'q' || keyboard == 27) {
                  break;
              }
          }
   
  HighGui.waitKey();
  System.exit(0);
      }
  }
   
  public class BackgroundSubtractionDemo {
      public static void main(String[] args) {
          // 加载本地 OpenCV 库
  System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
   
          new BackgroundSubtraction().run(args);
      }
  }

Python

• 可下载代码: 点击这里
• 代码速览

  from __future__ import print_function
  import cv2 as cv
  import argparse
   
  parser = argparse.ArgumentParser(description='此程序演示了如何使用 OpenCV 提供的背景减除方法。\
  您可以同时处理视频和图像。')
  parser.add_argument('--input', type=str, help='视频或图像序列的路径。', default='vtest.avi')
  parser.add_argument('--algo', type=str, help='背景减除方法 (KNN, MOG2)。', default='MOG2')
  args = parser.parse_args()
   
   
  if args.algo == 'MOG2'
  backSub = cv.createBackgroundSubtractorMOG2()
  else:
  backSub = cv.createBackgroundSubtractorKNN()
   
   
   
  capture = cv.VideoCapture(cv.samples.findFileOrKeep(args.input))
  if not capture.isOpened()
  print('无法打开: ' + args.input)
  exit(0)
   
   
  while True
  ret, frame = capture.read()
      if frame is None
          break
   
      
  fgMask = backSub.apply(frame)
      
   
      
      cv.rectangle(frame, (10, 2), (100,20), (255,255,255), -1)
      cv.putText(frame, str(capture.get(cv.CAP_PROP_POS_FRAMES)), (15, 15),
  cv.FONT_HERSHEY_SIMPLEX, 0.5 , (0,0,0))
      
   
      
      cv.imshow('Frame', frame)
      cv.imshow('FG Mask', fgMask)
      
   
  keyboard = cv.waitKey(30)
      if keyboard == 'q' or keyboard == 27
          break

解释

我们讨论上面代码的主要部分

• 一个 cv::BackgroundSubtractor 对象将用于生成前景掩码。在此示例中，使用了默认参数，但也可以在创建函数中声明特定参数。

C++

    // 创建背景减除对象
    Ptr<BackgroundSubtractor> pBackSub;
    if (parser.get<String>("algo") == "MOG2")
pBackSub = createBackgroundSubtractorMOG2();
    else
pBackSub = createBackgroundSubtractorKNN();

Java

        BackgroundSubtractor backSub;
        if (useMOG2) {
backSub = Video.createBackgroundSubtractorMOG2();
} else {
backSub = Video.createBackgroundSubtractorKNN();
        }

Python

if args.algo == 'MOG2'
backSub = cv.createBackgroundSubtractorMOG2()
else:
backSub = cv.createBackgroundSubtractorKNN()

• 一个 cv::VideoCapture 对象用于读取输入视频或输入图像序列。

C++

    VideoCapture capture( samples::findFile( parser.get<String>("input") ) );
    if (!capture.isOpened()){
        //error in opening the video input
cerr << "Unable to open: " << parser.get<String>("input") << endl;
        return 0;
    }

Java

VideoCapture capture = new VideoCapture(input);
        if (!capture.isOpened()) {
System.err.println("Unable to open: " + input);
System.exit(0);
        }

Python

capture = cv.VideoCapture(cv.samples.findFileOrKeep(args.input))
if not capture.isOpened()
print('无法打开: ' + args.input)
exit(0)

• 每一帧都用于计算前景掩码和更新背景。如果要更改用于更新背景模型的学习率，可以通过向 apply 方法传递参数来设置特定的学习率。

C++

        // 更新背景模型
pBackSub->apply(frame, fgMask);

Java

            // 更新背景模型
backSub.apply(frame, fgMask);

Python

fgMask = backSub.apply(frame)

• 当前帧号可以从 cv::VideoCapture 对象中提取，并标记在当前帧的左上角。使用一个白色矩形来突出显示黑色的帧号。

C++

        // 获取帧号并写入当前帧
        rectangle(frame, cv::Point(10, 2), cv::Point(100,20),
                  cv::Scalar(255,255,255), -1);
stringstream ss;
ss << capture.get(CAP_PROP_POS_FRAMES);
        string frameNumberString = ss.str();
        putText(frame, frameNumberString.c_str(), cv::Point(15, 15),
FONT_HERSHEY_SIMPLEX, 0.5 , cv::Scalar(0,0,0));

Java

            // 获取帧号并写入当前帧
Imgproc.rectangle(frame, new Point(10, 2), new Point(100, 20), new Scalar(255, 255, 255), -1);
            String frameNumberString = String.format("%d", (int)capture.get(Videoio.CAP_PROP_POS_FRAMES));
Imgproc.putText(frame, frameNumberString, new Point(15, 15), Core.FONT_HERSHEY_SIMPLEX, 0.5,
                    new Scalar(0, 0, 0));

Python

    cv.rectangle(frame, (10, 2), (100,20), (255,255,255), -1)
    cv.putText(frame, str(capture.get(cv.CAP_PROP_POS_FRAMES)), (15, 15),
cv.FONT_HERSHEY_SIMPLEX, 0.5 , (0,0,0))

• 我们准备好显示当前的输入帧和结果。

C++

        // 显示当前帧和前景掩码
        imshow("Frame", frame);
        imshow("FG Mask", fgMask);

Java

            // 显示当前帧和前景掩码
HighGui.imshow("Frame", frame);
HighGui.imshow("FG Mask", fgMask);

Python

    cv.imshow('Frame', frame)
    cv.imshow('FG Mask', fgMask)

结果

• 使用 vtest.avi 视频，对于以下帧

MOG2 方法的程序输出如下所示（灰色区域是检测到的阴影）

KNN 方法的程序输出如下所示（灰色区域是检测到的阴影）

参考文献

• 背景模型挑战赛 (BMC) 网站
• 用于前景/背景提取的基准数据集 [283]