反向投影

目录

• 目标
• 理论
  • 什么是反向投影？
  • 它是如何工作的？
• 代码
• 解释
• 结果

上一个教程： 直方图比较
下一个教程： 模板匹配

原始作者	Ana Huamán
兼容性	OpenCV >= 3.0

目标

在本教程中，您将学习

• 什么是反向投影及其用处
• 如何使用OpenCV函数 cv::calcBackProject 计算反向投影
• 如何使用OpenCV函数 cv::mixChannels 混合图像的不同通道

理论

什么是反向投影？

• 反向投影是一种记录给定图像的像素与直方图模型中像素分布匹配程度的方法。
• 简单来说：对于反向投影，你计算一个特征的直方图模型，然后用它在图像中查找这个特征。
• 应用示例：如果你有一个肤色直方图（比如，一个色相-饱和度直方图），那么你可以用它在图像中查找肤色区域。

它是如何工作的？

• 我们以皮肤为例进行解释。
• 假设你已经根据下图获取了一个肤色直方图（色相-饱和度）。旁边的直方图将作为我们的模型直方图（我们知道它代表肤色的一个样本）。你应用了蒙版来只捕获皮肤区域的直方图：

• 现在，让我们想象你得到另一张手部图像（测试图像），如下图所示：（及其相应的直方图）：

• 我们要做的是使用我们的模型直方图（我们知道它代表肤色）来检测测试图像中的皮肤区域。以下是步骤：
  1. 对于测试图像中的每个像素（即 \(p(i,j)\)），收集数据并找到该像素对应的直方图bin位置（即 \(( h_{i,j}, s_{i,j} )\)）。
  2. 在对应的bin（\(( h_{i,j}, s_{i,j} )\)）中查找模型直方图，并读取bin值。
  3. 将此bin值存储到新图像（反向投影）中。另外，你可能需要先对模型直方图进行归一化，以便测试图像的输出对你可见。
  4. 应用上述步骤，我们得到测试图像的以下反向投影图像：

1. 从统计学角度看，存储在反向投影中的值表示测试图像中像素属于皮肤区域的概率，这是基于我们使用的模型直方图。例如，在我们的测试图像中，较亮的区域更有可能是皮肤区域（实际也确实如此），而较暗的区域概率较低（请注意，这些“暗”区域属于有阴影的表面，这反过来会影响检测）。

代码

• 此程序的作用是什么？
  • 加载图像
  • 将原始图像转换为HSV格式，并仅分离出色相通道用于直方图（使用OpenCV函数 cv::mixChannels）
  • 允许用户输入用于直方图计算的bin数量。
  • 计算直方图（如果bin改变则更新）和同一图像的反向投影。
  • 在窗口中显示反向投影和直方图。

C++

• 可下载代码:
  • 点击 这里 获取基本版本（本教程中解释的）。
  • 对于稍微高级一点的功能（使用H-S直方图和floodFill定义皮肤区域的蒙版），你可以查看 改进的演示
  • ...或者你也可以随时查看samples中经典的 camshiftdemo。
• 代码速览

   
  #include "opencv2/imgproc.hpp"
  #include "opencv2/imgcodecs.hpp"
  #include "opencv2/highgui.hpp"
   
  #include <iostream>
   
  using namespace cv;
  using namespace std;
   
  Mat hue;
  int bins = 25;
   
  void Hist_and_Backproj(int, void* );
   
  int main( int argc, char* argv[] )
  {
      CommandLineParser parser( argc, argv, "{@input |Back_Projection_Theory0.jpg| input image}" );
  samples::addSamplesDataSearchSubDirectory("doc/tutorials/imgproc/histograms/back_projection/images");
      Mat src = imread(samples::findFile(parser.get<String>( "@input" )) );
      if( src.empty() )
      {
  cout << "Could not open or find the image!\n" << endl;
  cout << "Usage: " << argv[0] << " <Input image>" << endl;
          return -1;
      }
   
      Mat hsv;
  cvtColor( src, hsv, COLOR_BGR2HSV );
   
  hue.create(hsv.size(), hsv.depth());
      int ch[] = { 0, 0 };
  mixChannels( &hsv, 1, &hue, 1, ch, 1 );
   
      const char* window_image = "Source image";
  namedWindow( window_image );
  createTrackbar("* Hue bins: ", window_image, &bins, 180, Hist_and_Backproj );
  Hist_and_Backproj(0, 0);
   
  imshow( window_image, src );
      // Wait until user exits the program
  cv::Mat::empty
   
      return 0;
  }
   
  void Hist_and_Backproj(int, void* )
  {
      int histSize = MAX( bins, 2 );
      float hue_range[] = { 0, 180 };
      const float* ranges[] = { hue_range };
   
      Mat hist;
      calcHist( &hue, 1, 0, Mat(), hist, 1, &histSize, ranges, true, false );
      normalize( hist, hist, 0, 255, NORM_MINMAX, -1, Mat() );
   
      Mat backproj;
      calcBackProject( &hue, 1, 0, hist, backproj, ranges, 1, true );
   
      imshow( "BackProj", backproj );
   
      int w = 400, h = 400;
      int bin_w = cvRound( (double) w / histSize );
      Mat histImg = Mat::zeros( h, w, CV_8UC3 );
   
      for (int i = 0; i < bins; i++)
      {
          rectangle( histImg, Point( i*bin_w, h ), Point( (i+1)*bin_w, h - cvRound( hist.at<float>(i)*h/255.0 ) ),
                     Scalar( 0, 0, 255 ), FILLED );
      }
   
      imshow( "Histogram", histImg );
  }

Java

• 可下载代码:
  • 点击 这里 获取基本版本（本教程中解释的）。
  • 对于稍微高级一点的功能（使用H-S直方图和floodFill定义皮肤区域的蒙版），你可以查看 改进的演示
  • ...或者你也可以随时查看samples中经典的 camshiftdemo。
• 代码速览

  import java.awt.BorderLayout;
  import java.awt.Container;
  import java.awt.Image;
  import java.util.Arrays;
  import java.util.List;
   
  import javax.swing.BoxLayout;
  import javax.swing.ImageIcon;
  import javax.swing.JFrame;
  import javax.swing.JLabel;
  import javax.swing.JPanel;
  import javax.swing.JSlider;
  import javax.swing.event.ChangeEvent;
  import javax.swing.event.ChangeListener;
   
  import org.opencv.core.Core;
  import org.opencv.core.CvType;
  import org.opencv.core.Mat;
  import org.opencv.core.MatOfFloat;
  import org.opencv.core.MatOfInt;
  import org.opencv.core.Point;
  import org.opencv.core.Scalar;
  import org.opencv.highgui.HighGui;
  import org.opencv.imgcodecs.Imgcodecs;
  import org.opencv.imgproc.Imgproc;
   
  class CalcBackProject1 {
      private Mat hue;
      private Mat histImg = new Mat();
      private JFrame frame;
      private JLabel imgLabel;
      private JLabel backprojLabel;
      private JLabel histImgLabel;
      private static final int MAX_SLIDER = 180;
      private int bins = 25;
   
      public CalcBackProject1(String[] args) {
          if (args.length != 1) {
  System.err.println("You must supply one argument that corresponds to the path to the image.");
  System.exit(0);
          }
   
  Mat src = Imgcodecs.imread(args[0]);
          if (src.empty()) {
  System.err.println("Empty image: " + args[0]);
  System.exit(0);
          }
   
  Mat hsv = new Mat();
  Imgproc.cvtColor(src, hsv, Imgproc.COLOR_BGR2HSV);
   
  hue = new Mat(hsv.size(), hsv.depth());
  Core.mixChannels(Arrays.asList(hsv), Arrays.asList(hue), new MatOfInt(0, 0));
   
          // Create and set up the window.
  frame = new JFrame("Back Projection 1 demo");
  frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
          // Set up the content pane.
  Image img = HighGui.toBufferedImage(src);
  addComponentsToPane(frame.getContentPane(), img);
          // Use the content pane's default BorderLayout. No need for
          // setLayout(new BorderLayout());
          // Display the window.
  frame.pack();
  frame.setVisible(true);
      }
   
      private void addComponentsToPane(Container pane, Image img) {
          if (!(pane.getLayout() instanceof BorderLayout)) {
  pane.add(new JLabel("Container doesn't use BorderLayout!"));
              return;
          }
   
  JPanel sliderPanel = new JPanel();
  sliderPanel.setLayout(new BoxLayout(sliderPanel, BoxLayout.PAGE_AXIS));
   
  sliderPanel.add(new JLabel("* Hue bins: "));
  JSlider slider = new JSlider(0, MAX_SLIDER, bins);
  slider.setMajorTickSpacing(25);
  slider.setMinorTickSpacing(5);
  slider.setPaintTicks(true);
  slider.setPaintLabels(true);
  slider.addChangeListener(new ChangeListener() {
  @Override
              public void stateChanged(ChangeEvent e) {
  JSlider source = (JSlider) e.getSource();
  bins = source.getValue();
  update();
              }
          });
  sliderPanel.add(slider);
  pane.add(sliderPanel, BorderLayout.PAGE_START);
   
  JPanel imgPanel = new JPanel();
  imgLabel = new JLabel(new ImageIcon(img));
  imgPanel.add(imgLabel);
   
  backprojLabel = new JLabel();
  imgPanel.add(backprojLabel);
   
  histImgLabel = new JLabel();
  imgPanel.add(histImgLabel);
  pane.add(imgPanel, BorderLayout.CENTER);
      }
   
      private void update() {
          int histSize = Math.max(bins, 2);
          float[] hueRange = {0, 180};
   
  Mat hist = new Mat();
  List<Mat> hueList = Arrays.asList(hue);
  Imgproc.calcHist(hueList, new MatOfInt(0), new Mat(), hist, new MatOfInt(histSize), new MatOfFloat(hueRange), false);
  Core.normalize(hist, hist, 0, 255, Core.NORM_MINMAX);
   
  Mat backproj = new Mat();
  Imgproc.calcBackProject(hueList, new MatOfInt(0), hist, backproj, new MatOfFloat(hueRange), 1);
   
  Image backprojImg = HighGui.toBufferedImage(backproj);
  backprojLabel.setIcon(new ImageIcon(backprojImg));
   
          int w = 400, h = 400;
          int binW = (int) Math.round((double) w / histSize);
  histImg = Mat.zeros(h, w, CvType.CV_8UC3);
   
          float[] histData = new float[(int) (hist.total() * hist.channels())];
  hist.get(0, 0, histData);
          for (int i = 0; i < bins; i++) {
  Imgproc.rectangle(histImg, new Point(i * binW, h),
                      new Point((i + 1) * binW, h - Math.round(histData[i] * h / 255.0)), new Scalar(0, 0, 255), Imgproc.FILLED);
          }
  Image histImage = HighGui.toBufferedImage(histImg);
  histImgLabel.setIcon(new ImageIcon(histImage));
   
  frame.repaint();
  frame.pack();
      }
  }
   
  public class CalcBackProjectDemo1 {
      public static void main(String[] args) {
          // 加载本地 OpenCV 库
  System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
   
          // Schedule a job for the event dispatch thread
          // creating and showing this application's GUI.
  javax.swing.SwingUtilities.invokeLater(new Runnable() {
  @Override
              public void run() {
                  new CalcBackProject1(args);
              }
          });
      }
  }

Python

• 可下载代码:
  • 点击 这里 获取基本版本（本教程中解释的）。
  • 对于稍微高级一点的功能（使用H-S直方图和floodFill定义皮肤区域的蒙版），你可以查看 改进的演示
  • ...或者你也可以随时查看samples中经典的 camshiftdemo。
• 代码速览

  from __future__ import print_function
  from __future__ import division
  import cv2 as cv
  import numpy as np
  import argparse
   
  def Hist_and_Backproj(val)
      
  bins = val
  histSize = max(bins, 2)
  ranges = [0, 180] # hue_range
      
   
      
  hist = cv.calcHist([hue], [0], None, [histSize], ranges, accumulate=False)
      cv.normalize(hist, hist, alpha=0, beta=255, norm_type=cv.NORM_MINMAX)
      
   
      
  backproj = cv.calcBackProject([hue], [0], hist, ranges, scale=1)
      
   
      
      cv.imshow('BackProj', backproj)
      
   
      
  w = 400
  h = 400
  bin_w = int(round(w / histSize))
  histImg = np.zeros((h, w, 3), dtype=np.uint8)
   
      for i in range(bins)
          cv.rectangle(histImg, (i*bin_w, h), ( (i+1)*bin_w, h - int(np.round( hist[i]*h/255.0 )) ), (0, 0, 255), cv.FILLED)
   
      cv.imshow('Histogram', histImg)
      
   
   
  parser = argparse.ArgumentParser(description='Code for Back Projection tutorial.')
  parser.add_argument('--input', help='Path to input image.', default='home.jpg')
  args = parser.parse_args()
   
  src = cv.imread(cv.samples.findFile(args.input))
  if src is None
  print('Could not open or find the image:', args.input)
  exit(0)
   
   
   
  hsv = cv.cvtColor(src, cv.COLOR_BGR2HSV)
   
   
   
  ch = (0, 0)
  hue = np.empty(hsv.shape, hsv.dtype)
  cv.mixChannels([hsv], [hue], ch)
   
   
   
  window_image = 'Source image'
  cv.namedWindow(window_image)
  bins = 25
  cv.createTrackbar('* Hue bins: ', window_image, bins, 180, Hist_and_Backproj )
  Hist_and_Backproj(bins)
   
   
   
  cv.imshow(window_image, src)
  cv.waitKey()
   

解释

• 读取输入图像

  C++

      CommandLineParser parser( argc, argv, "{@input |Back_Projection_Theory0.jpg| input image}" );
  samples::addSamplesDataSearchSubDirectory("doc/tutorials/imgproc/histograms/back_projection/images");
      Mat src = imread(samples::findFile(parser.get<String>( "@input" )) );
      if( src.empty() )
      {
  cout << "Could not open or find the image!\n" << endl;
  cout << "Usage: " << argv[0] << " <Input image>" << endl;
          return -1;
      }

  Java

          if (args.length != 1) {
  System.err.println("You must supply one argument that corresponds to the path to the image.");
  System.exit(0);
          }
   
  Mat src = Imgcodecs.imread(args[0]);
          if (src.empty()) {
  System.err.println("Empty image: " + args[0]);
  System.exit(0);
          }

  Python

  parser = argparse.ArgumentParser(description='Code for Back Projection tutorial.')
  parser.add_argument('--input', help='Path to input image.', default='home.jpg')
  args = parser.parse_args()
   
  src = cv.imread(cv.samples.findFile(args.input))
  if src is None
  print('Could not open or find the image:', args.input)
  exit(0)

• 将其转换为HSV格式

  C++

      Mat hsv;
      cvtColor( src, hsv, COLOR_BGR2HSV );

  Java

  Mat hsv = new Mat();
  Imgproc.cvtColor(src, hsv, Imgproc.COLOR_BGR2HSV);

  Python

  hsv = cv.cvtColor(src, cv.COLOR_BGR2HSV)

• 对于本教程，我们将仅使用色相值来构建我们的一维直方图（如果你想使用更标准的H-S直方图，其效果更好，请查看上面链接中的更高级代码）。

  C++

  hue.create(hsv.size(), hsv.depth());
      int ch[] = { 0, 0 };
      mixChannels( &hsv, 1, &hue, 1, ch, 1 );

  Java

  hue = new Mat(hsv.size(), hsv.depth());
  Core.mixChannels(Arrays.asList(hsv), Arrays.asList(hue), new MatOfInt(0, 0));

  Python

  ch = (0, 0)
  hue = np.empty(hsv.shape, hsv.dtype)
  cv.mixChannels([hsv], [hue], ch)

• 如你所见，我们使用函数 cv::mixChannels 从hsv图像中只获取通道0（色相）。它接受以下参数：
  • &hsv: 要从中复制通道的源数组
  • 1: 源数组的数量
  • &hue: 复制通道的目标数组
  • 1: 目标数组的数量
  • ch[] = {0,0}: 指示通道如何复制的索引对数组。在这种情况下，&hsv的色相(0)通道被复制到&hue的0通道（单通道）。
  • 1: 索引对的数量

• 为用户创建一个轨迹条以输入bin值。轨迹条上的任何更改都将调用 Hist_and_Backproj 回调函数。

  C++

      const char* window_image = "Source image";
      namedWindow( window_image );
      createTrackbar("* Hue bins: ", window_image, &bins, 180, Hist_and_Backproj );
  Hist_and_Backproj(0, 0);

  Java

  JPanel sliderPanel = new JPanel();
  sliderPanel.setLayout(new BoxLayout(sliderPanel, BoxLayout.PAGE_AXIS));
   
  sliderPanel.add(new JLabel("* Hue bins: "));
  JSlider slider = new JSlider(0, MAX_SLIDER, bins);
  slider.setMajorTickSpacing(25);
  slider.setMinorTickSpacing(5);
  slider.setPaintTicks(true);
  slider.setPaintLabels(true);
  slider.addChangeListener(new ChangeListener() {
  @Override
              public void stateChanged(ChangeEvent e) {
  JSlider source = (JSlider) e.getSource();
  bins = source.getValue();
  update();
              }
          });
  sliderPanel.add(slider);
  pane.add(sliderPanel, BorderLayout.PAGE_START);

  Python

  window_image = 'Source image'
  cv.namedWindow(window_image)
  bins = 25
  cv.createTrackbar('* Hue bins: ', window_image, bins, 180, Hist_and_Backproj )
  Hist_and_Backproj(bins)

• 显示图像并等待用户退出程序

  C++

      imshow( window_image, src );
      // Wait until user exits the program
      waitKey();

  Java

          // Use the content pane's default BorderLayout. No need for
          // setLayout(new BorderLayout());
          // Display the window.
  frame.pack();
  frame.setVisible(true);

  Python

  cv.imshow(window_image, src)
  cv.waitKey()

• Hist_and_Backproj 函数： 初始化 cv::calcHist 所需的参数。bin的数量来自轨迹条。

  C++

      int histSize = MAX( bins, 2 );
      float hue_range[] = { 0, 180 };
      const float* ranges[] = { hue_range };

  Java

          int histSize = Math.max(bins, 2);
          float[] hueRange = {0, 180};

  Python

  bins = val
  histSize = max(bins, 2)
  ranges = [0, 180] # hue_range

• 计算直方图并将其归一化到 \([0,255]\) 范围。

  C++

      Mat hist;
      calcHist( &hue, 1, 0, Mat(), hist, 1, &histSize, ranges, true, false );
      normalize( hist, hist, 0, 255, NORM_MINMAX, -1, Mat() );

  Java

  Mat hist = new Mat();
  List<Mat> hueList = Arrays.asList(hue);
  Imgproc.calcHist(hueList, new MatOfInt(0), new Mat(), hist, new MatOfInt(histSize), new MatOfFloat(hueRange), false);
  Core.normalize(hist, hist, 0, 255, Core.NORM_MINMAX);

  Python

  hist = cv.calcHist([hue], [0], None, [histSize], ranges, accumulate=False)
      cv.normalize(hist, hist, alpha=0, beta=255, norm_type=cv.NORM_MINMAX)

• 通过调用函数 cv::calcBackProject 获取同一图像的反向投影。

  C++

      Mat backproj;
      calcBackProject( &hue, 1, 0, hist, backproj, ranges, 1, true );

  Java

  Mat backproj = new Mat();
  Imgproc.calcBackProject(hueList, new MatOfInt(0), hist, backproj, new MatOfFloat(hueRange), 1);

  Python

  backproj = cv.calcBackProject([hue], [0], hist, ranges, scale=1)

• 所有参数都是已知的（与计算直方图时使用的相同），我们只添加了backproj矩阵，它将存储源图像（&hue）的反向投影。

• 显示backproj

  C++

      imshow( "BackProj", backproj );

  Java

  Image backprojImg = HighGui.toBufferedImage(backproj);
  backprojLabel.setIcon(new ImageIcon(backprojImg));

  Python

      cv.imshow('BackProj', backproj)

• 绘制图像的一维色相直方图

  C++

      int w = 400, h = 400;
      int bin_w = cvRound( (double) w / histSize );
      Mat histImg = Mat::zeros( h, w, CV_8UC3 );
   
      for (int i = 0; i < bins; i++)
      {
          rectangle( histImg, Point( i*bin_w, h ), Point( (i+1)*bin_w, h - cvRound( hist.at<float>(i)*h/255.0 ) ),
                     Scalar( 0, 0, 255 ), FILLED );
      }
   
      imshow( "Histogram", histImg );

  Java

          int w = 400, h = 400;
          int binW = (int) Math.round((double) w / histSize);
  histImg = Mat.zeros(h, w, CvType.CV_8UC3);
   
          float[] histData = new float[(int) (hist.total() * hist.channels())];
  hist.get(0, 0, histData);
          for (int i = 0; i < bins; i++) {
  Imgproc.rectangle(histImg, new Point(i * binW, h),
                      new Point((i + 1) * binW, h - Math.round(histData[i] * h / 255.0)), new Scalar(0, 0, 255), Imgproc.FILLED);
          }
  Image histImage = HighGui.toBufferedImage(histImg);
  histImgLabel.setIcon(new ImageIcon(histImage));

  Python

  w = 400
  h = 400
  bin_w = int(round(w / histSize))
  histImg = np.zeros((h, w, 3), dtype=np.uint8)
   
      for i in range(bins)
          cv.rectangle(histImg, (i*bin_w, h), ( (i+1)*bin_w, h - int(np.round( hist[i]*h/255.0 )) ), (0, 0, 255), cv.FILLED)
   
      cv.imshow('Histogram', histImg)

结果

以下是使用示例图像（你猜怎么着？另一只手）的输出。你可以调整bin值，你会观察到它如何影响结果：