反向投影

目录

• 目标
• 原理
  • 什么是反向投影？
  • 它是如何工作的？
• 代码
• 原理解释
• 结果

上一篇教程： 直方图比较
下一篇教程： 模板匹配

原作者	Ana Huamán
兼容性	OpenCV >= 3.0

目标

在本教程中你将学习

• 什么是反向投影及其用途
• 如何使用 OpenCV 函数 cv::calcBackProject 计算反向投影
• 如何使用 OpenCV 函数 cv::mixChannels 混合图像的不同通道

理论

什么是反向投影？

• 反向投影是一种记录给定图像的像素与直方图模型中的像素分布拟合程度的方法。
• 简单来说：反向投影是先计算一个特征的直方图模型，然后用这个模型在图像中查找该特征。
• 应用示例：如果你有一个肤色直方图（例如，一个色调-饱和度直方图），那么你可以用它来在图像中查找肤色区域。

它是如何工作的？

• 我们将通过皮肤示例来解释。
• 假设你根据下图得到了一个皮肤直方图（色调-饱和度）。旁边的直方图将是我们的模型直方图（我们知道它代表了肤色的样本）。你应用了某种蒙版来只捕获皮肤区域的直方图：

• 现在，假设你得到了另一只手图像（测试图像），如下所示：（及其对应的直方图）：

• 我们要做的就是利用我们的模型直方图（我们知道它代表了肤色）来检测测试图像中的肤色区域。步骤如下：
  1. 在测试图像的每个像素（即 \(p(i,j)\)）上，收集数据并找到该像素对应的 bin 位置（即 \(( h_{i,j}, s_{i,j} )\)）。
  2. 在对应的 bin - \(( h_{i,j}, s_{i,j} )\) - 中查找模型直方图并读取 bin 值。
  3. 将此 bin 值存储在新图像（BackProjection）中。此外，你可能需要先对模型直方图进行归一化，以便测试图像的输出对你来说是可见的。
  4. 应用以上步骤，我们为测试图像获得了以下反向投影图像：

1. 从统计学角度来看，BackProjection 中存储的值代表了测试图像中的像素属于皮肤区域的概率，基于我们使用的模型直方图。例如，在我们的测试图像中，较亮的区域更有可能是肤色区域（正如它们实际那样），而较暗的区域概率较低（请注意，这些“暗”区域属于受到阴影影响的表面，这会影响检测）。

代码

• 这个程序做什么？
  • 加载图像
  • 将原始图像转换为 HSV 格式，并仅分离出用于直方图的色调通道（使用 OpenCV 函数 cv::mixChannels）。
  • 允许用户输入用于直方图计算的 bin 数量。
  • 计算直方图（并在 bin 更改时进行更新）以及同一图像的反向投影。
  • 在窗口中显示反向投影和直方图。

C++

• 可下载代码:
  • 单击 此处 查看基础版本（本教程中已解释）。
  • 有关更高级的功能（使用 H-S 直方图和 floodFill 来定义肤色区域的蒙版），您可以查看 改进版演示。
  • 或者，你也可以随时在 samples 中查看经典的 camshiftdemo。
• 代码概览

   
  #include "opencv2/imgproc.hpp"
  #include "opencv2/imgcodecs.hpp"
  #include "opencv2/highgui.hpp"
   
  #include <iostream>
   
  using namespace cv;
  using namespace std;
   
  Mat hue;
  int bins = 25;
   
  void Hist_and_Backproj(int, void* );
   
  int main( int argc, char* argv[] )
  {
      CommandLineParser parser( argc, argv, "{@input |Back_Projection_Theory0.jpg| input image}" );
  samples::addSamplesDataSearchSubDirectory("doc/tutorials/imgproc/histograms/back_projection/images");
      Mat src = imread(samples::findFile(parser.get<String>( "@input" )) );
      if( src.empty() )
      {
  cout << "无法打开或找到图像！\n" << endl;
  cout << "用法: " << argv[0] << " <输入图像>" << endl;
          return -1;
      }
   
      Mat hsv;
  cvtColor( src, hsv, COLOR_BGR2HSV );
   
  hue.create(hsv.size(), hsv.depth());
      int ch[] = { 0, 0 };
  mixChannels( &hsv, 1, &hue, 1, ch, 1 );
   
      const char* window_image = "Source image";
  namedWindow( window_image );
  createTrackbar("* Hue bins: ", window_image, &bins, 180, Hist_and_Backproj );
  Hist_and_Backproj(0, 0);
   
  imshow( window_image, src );
      // Wait until user exits the program
  waitKey();
   
      return 0;
  }
   
  void Hist_and_Backproj(int, void* )
  {
      int histSize = MAX( bins, 2 );
      float hue_range[] = { 0, 180 };
      const float* ranges[] = { hue_range };
   
      Mat hist;
      calcHist( &hue, 1, 0, Mat(), hist, 1, &histSize, ranges, true, false );
      normalize( hist, hist, 0, 255, NORM_MINMAX, -1, Mat() );
   
      Mat backproj;
      calcBackProject( &hue, 1, 0, hist, backproj, ranges, 1, true );
   
      imshow( "BackProj", backproj );
   
      int w = 400, h = 400;
      int bin_w = cvRound( (double) w / histSize );
      Mat histImg = Mat::zeros( h, w, CV_8UC3 );
   
      for (int i = 0; i < bins; i++)
      {
          rectangle( histImg, Point( i*bin_w, h ), Point( (i+1)*bin_w, h - cvRound( hist.at<float>(i)*h/255.0 ) ),
                     Scalar( 0, 0, 255 ), FILLED );
      }
   
      imshow( "Histogram", histImg );
  }

Java

• 可下载代码:
  • 单击 此处 查看基础版本（本教程中已解释）。
  • 有关更高级的功能（使用 H-S 直方图和 floodFill 来定义肤色区域的蒙版），您可以查看 改进版演示。
  • 或者，你也可以随时在 samples 中查看经典的 camshiftdemo。
• 代码概览

  import java.awt.BorderLayout;
  import java.awt.Container;
  import java.awt.Image;
  import java.util.Arrays;
  import java.util.List;
   
  import javax.swing.BoxLayout;
  import javax.swing.ImageIcon;
  import javax.swing.JFrame;
  import javax.swing.JLabel;
  import javax.swing.JPanel;
  import javax.swing.JSlider;
  import javax.swing.event.ChangeEvent;
  import javax.swing.event.ChangeListener;
   
  import org.opencv.core.Core;
  import org.opencv.core.CvType;
  import org.opencv.core.Mat;
  import org.opencv.core.MatOfFloat;
  import org.opencv.core.MatOfInt;
  import org.opencv.core.Point;
  import org.opencv.core.Scalar;
  import org.opencv.highgui.HighGui;
  import org.opencv.imgcodecs.Imgcodecs;
  import org.opencv.imgproc.Imgproc;
   
  class CalcBackProject1 {
      private Mat hue;
      private Mat histImg = new Mat();
      private JFrame frame;
      private JLabel imgLabel;
      private JLabel backprojLabel;
      private JLabel histImgLabel;
      private static final int MAX_SLIDER = 180;
      private int bins = 25;
   
      public CalcBackProject1(String[] args) {
          if (args.length != 1) {
  System.err.println("You must supply one argument that corresponds to the path to the image.");
  System.exit(0);
          }
   
  Mat src = Imgcodecs.imread(args[0]);
          if (src.empty()) {
  System.err.println("Empty image: " + args[0]);
  System.exit(0);
          }
   
  Mat hsv = new Mat();
  Imgproc.cvtColor(src, hsv, Imgproc.COLOR_BGR2HSV);
   
  hue = new Mat(hsv.size(), hsv.depth());
  Core.mixChannels(Arrays.asList(hsv), Arrays.asList(hue), new MatOfInt(0, 0));
   
          // 创建并设置窗口。
  frame = new JFrame("Back Projection 1 demo");
  frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
          // 设置内容窗格。
  Image img = HighGui.toBufferedImage(src);
  addComponentsToPane(frame.getContentPane(), img);
          // 使用内容窗格的默认 BorderLayout。无需
          // setLayout(new BorderLayout());
          // 显示窗口。
  frame.pack();
  frame.setVisible(true);
      }
   
      private void addComponentsToPane(Container pane, Image img) {
          if (!(pane.getLayout() instanceof BorderLayout)) {
  pane.add(new JLabel("容器未使用 BorderLayout！"));
              return;
          }
   
  JPanel sliderPanel = new JPanel();
  sliderPanel.setLayout(new BoxLayout(sliderPanel, BoxLayout.PAGE_AXIS));
   
  sliderPanel.add(new JLabel("* Hue bins: "));
  JSlider slider = new JSlider(0, MAX_SLIDER, bins);
  slider.setMajorTickSpacing(25);
  slider.setMinorTickSpacing(5);
  slider.setPaintTicks(true);
  slider.setPaintLabels(true);
  slider.addChangeListener(new ChangeListener() {
  @Override
              public void stateChanged(ChangeEvent e) {
  JSlider source = (JSlider) e.getSource();
  bins = source.getValue();
  update();
              }
          });
  sliderPanel.add(slider);
  pane.add(sliderPanel, BorderLayout.PAGE_START);
   
  JPanel imgPanel = new JPanel();
  imgLabel = new JLabel(new ImageIcon(img));
  imgPanel.add(imgLabel);
   
  backprojLabel = new JLabel();
  imgPanel.add(backprojLabel);
   
  histImgLabel = new JLabel();
  imgPanel.add(histImgLabel);
  pane.add(imgPanel, BorderLayout.CENTER);
      }
   
      private void update() {
          int histSize = Math.max(bins, 2);
          float[] hueRange = {0, 180};
   
  Mat hist = new Mat();
  List<Mat> hueList = Arrays.asList(hue);
  Imgproc.calcHist(hueList, new MatOfInt(0), new Mat(), hist, new MatOfInt(histSize), new MatOfFloat(hueRange), false);
  Core.normalize(hist, hist, 0, 255, Core.NORM_MINMAX);
   
  Mat backproj = new Mat();
  Imgproc.calcBackProject(hueList, new MatOfInt(0), hist, backproj, new MatOfFloat(hueRange), 1);
   
  Image backprojImg = HighGui.toBufferedImage(backproj);
  backprojLabel.setIcon(new ImageIcon(backprojImg));
   
          int w = 400, h = 400;
          int binW = (int) Math.round((double) w / histSize);
  histImg = Mat.zeros(h, w, CvType.CV_8UC3);
   
          float[] histData = new float[(int) (hist.total() * hist.channels())];
  hist.get(0, 0, histData);
          for (int i = 0; i < bins; i++) {
  Imgproc.rectangle(histImg, new Point(i * binW, h),
                      new Point((i + 1) * binW, h - Math.round(histData[i] * h / 255.0)), new Scalar(0, 0, 255), Imgproc.FILLED);
          }
  Image histImage = HighGui.toBufferedImage(histImg);
  histImgLabel.setIcon(new ImageIcon(histImage));
   
  frame.repaint();
  frame.pack();
      }
  }
   
  public class CalcBackProjectDemo1 {
      public static void main(String[] args) {
          // 加载本地 OpenCV 库
  System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
   
          // 安排事件调度线程上的作业
          // 创建并显示此应用程序的 GUI。
  javax.swing.SwingUtilities.invokeLater(new Runnable() {
  @Override
              public void run() {
                  new CalcBackProject1(args);
              }
          });
      }
  }

Python

• 可下载代码:
  • 单击 此处 查看基础版本（本教程中已解释）。
  • 有关更高级的功能（使用 H-S 直方图和 floodFill 来定义肤色区域的蒙版），您可以查看 改进版演示。
  • 或者，你也可以随时在 samples 中查看经典的 camshiftdemo。
• 代码概览

  from __future__ import print_function
  from __future__ import division
  import cv2 as cv
  import numpy as np
  import argparse
   
  def Hist_and_Backproj(val)
      
  bins = val
  histSize = max(bins, 2)
  ranges = [0, 180] # hue_range
      
   
      
  hist = cv.calcHist([hue], [0], None, [histSize], ranges, accumulate=False)
      cv.normalize(hist, hist, alpha=0, beta=255, norm_type=cv.NORM_MINMAX)
      
   
      
  backproj = cv.calcBackProject([hue], [0], hist, ranges, scale=1)
      
   
      
      cv.imshow('BackProj', backproj)
      
   
      
  w = 400
  h = 400
  bin_w = int(round(w / histSize))
  histImg = np.zeros((h, w, 3), dtype=np.uint8)
   
      for i in range(bins)
          cv.rectangle(histImg, (i*bin_w, h), ( (i+1)*bin_w, h - int(np.round( hist[i]*h/255.0 )) ), (0, 0, 255), cv.FILLED)
   
      cv.imshow('Histogram', histImg)
      
   
   
  parser = argparse.ArgumentParser(description='Code for Back Projection tutorial.')
  parser.add_argument('--input', help='Path to input image.', default='home.jpg')
  args = parser.parse_args()
   
  src = cv.imread(cv.samples.findFile(args.input))
  if src is None
  print('无法打开或找到图像:', args.input)
  exit(0)
   
   
   
  hsv = cv.cvtColor(src, cv.COLOR_BGR2HSV)
   
   
   
  ch = (0, 0)
  hue = np.empty(hsv.shape, hsv.dtype)
  cv.mixChannels([hsv], [hue], ch)
   
   
   
  window_image = 'Source image'
  cv.namedWindow(window_image)
  bins = 25
  cv.createTrackbar('* Hue bins: ', window_image, bins, 180, Hist_and_Backproj )
  Hist_and_Backproj(bins)
   
   
   
  cv.imshow(window_image, src)
  cv.waitKey()
   

说明

• 读取输入图像

  C++

      CommandLineParser parser( argc, argv, "{@input |Back_Projection_Theory0.jpg| input image}" );
  samples::addSamplesDataSearchSubDirectory("doc/tutorials/imgproc/histograms/back_projection/images");
      Mat src = imread(samples::findFile(parser.get<String>( "@input" )) );
      if( src.empty() )
      {
  cout << "无法打开或找到图像！\n" << endl;
  cout << "用法: " << argv[0] << " <输入图像>" << endl;
          return -1;
      }

  Java

          if (args.length != 1) {
  System.err.println("You must supply one argument that corresponds to the path to the image.");
  System.exit(0);
          }
   
  Mat src = Imgcodecs.imread(args[0]);
          if (src.empty()) {
  System.err.println("Empty image: " + args[0]);
  System.exit(0);
          }

  Python

  parser = argparse.ArgumentParser(description='Code for Back Projection tutorial.')
  parser.add_argument('--input', help='Path to input image.', default='home.jpg')
  args = parser.parse_args()
   
  src = cv.imread(cv.samples.findFile(args.input))
  if src is None
  print('无法打开或找到图像:', args.input)
  exit(0)

• 将其转换为 HSV 格式

  C++

      Mat hsv;
      cvtColor( src, hsv, COLOR_BGR2HSV );

  Java

  Mat hsv = new Mat();
  Imgproc.cvtColor(src, hsv, Imgproc.COLOR_BGR2HSV);

  Python

  hsv = cv.cvtColor(src, cv.COLOR_BGR2HSV)

• 在本教程中，我们将仅使用色调值来创建一维直方图（如果您想使用更标准的 H-S 直方图，它会产生更好的结果，请参阅上面的链接中的更高级代码）。

  C++

  hue.create(hsv.size(), hsv.depth());
      int ch[] = { 0, 0 };
      mixChannels( &hsv, 1, &hue, 1, ch, 1 );

  Java

  hue = new Mat(hsv.size(), hsv.depth());
  Core.mixChannels(Arrays.asList(hsv), Arrays.asList(hue), new MatOfInt(0, 0));

  Python

  ch = (0, 0)
  hue = np.empty(hsv.shape, hsv.dtype)
  cv.mixChannels([hsv], [hue], ch)

• 如您所见，我们使用函数 cv::mixChannels 来仅获取 HSV 图像的通道 0（色调）。它接收以下参数：
  • &hsv: 源数组，将从中复制通道。
  • 1: 源数组的数量。
  • &hue: 目标数组，将复制通道到其中。
  • 1: 目标数组的数量。
  • ch[] = {0,0}: 指示通道如何复制的索引对数组。在这种情况下，&hsv 的色调 (0) 通道被复制到 &hue 的 0 通道（单通道）。
  • 1: 索引对的数量。

• 创建一个滑块供用户输入 bin 值。滑块的任何更改都会调用 **Hist_and_Backproj** 回调函数。

  C++

      const char* window_image = "Source image";
      namedWindow( window_image );
      createTrackbar("* Hue bins: ", window_image, &bins, 180, Hist_and_Backproj );
  Hist_and_Backproj(0, 0);

  Java

  JPanel sliderPanel = new JPanel();
  sliderPanel.setLayout(new BoxLayout(sliderPanel, BoxLayout.PAGE_AXIS));
   
  sliderPanel.add(new JLabel("* Hue bins: "));
  JSlider slider = new JSlider(0, MAX_SLIDER, bins);
  slider.setMajorTickSpacing(25);
  slider.setMinorTickSpacing(5);
  slider.setPaintTicks(true);
  slider.setPaintLabels(true);
  slider.addChangeListener(new ChangeListener() {
  @Override
              public void stateChanged(ChangeEvent e) {
  JSlider source = (JSlider) e.getSource();
  bins = source.getValue();
  update();
              }
          });
  sliderPanel.add(slider);
  pane.add(sliderPanel, BorderLayout.PAGE_START);

  Python

  window_image = 'Source image'
  cv.namedWindow(window_image)
  bins = 25
  cv.createTrackbar('* Hue bins: ', window_image, bins, 180, Hist_and_Backproj )
  Hist_and_Backproj(bins)

• 显示图像并等待用户退出程序。

  C++

      imshow( window_image, src );
      // Wait until user exits the program
      waitKey();

  Java

          // 使用内容窗格的默认 BorderLayout。无需
          // setLayout(new BorderLayout());
          // 显示窗口。
  frame.pack();
  frame.setVisible(true);

  Python

  cv.imshow(window_image, src)
  cv.waitKey()

• Hist_and_Backproj 函数：初始化 **cv::calcHist** 所需的参数。 bin 的数量来自滑块。

  C++

      int histSize = MAX( bins, 2 );
      float hue_range[] = { 0, 180 };
      const float* ranges[] = { hue_range };

  Java

          int histSize = Math.max(bins, 2);
          float[] hueRange = {0, 180};

  Python

  bins = val
  histSize = max(bins, 2)
  ranges = [0, 180] # hue_range

• 计算直方图并将其归一化到 \([0,255]\) 范围。

  C++

      Mat hist;
      calcHist( &hue, 1, 0, Mat(), hist, 1, &histSize, ranges, true, false );
      normalize( hist, hist, 0, 255, NORM_MINMAX, -1, Mat() );

  Java

  Mat hist = new Mat();
  List<Mat> hueList = Arrays.asList(hue);
  Imgproc.calcHist(hueList, new MatOfInt(0), new Mat(), hist, new MatOfInt(histSize), new MatOfFloat(hueRange), false);
  Core.normalize(hist, hist, 0, 255, Core.NORM_MINMAX);

  Python

  hist = cv.calcHist([hue], [0], None, [histSize], ranges, accumulate=False)
      cv.normalize(hist, hist, alpha=0, beta=255, norm_type=cv.NORM_MINMAX)

• 通过调用函数 cv::calcBackProject 获取同一图像的反向投影。

  C++

      Mat backproj;
      calcBackProject( &hue, 1, 0, hist, backproj, ranges, 1, true );

  Java

  Mat backproj = new Mat();
  Imgproc.calcBackProject(hueList, new MatOfInt(0), hist, backproj, new MatOfFloat(hueRange), 1);

  Python

  backproj = cv.calcBackProject([hue], [0], hist, ranges, scale=1)

• 所有参数都已知（与计算直方图时使用的参数相同），只是我们添加了 backproj 矩阵，它将存储源图像（&hue）的反向投影。

• 显示反向投影。

  C++

      imshow( "BackProj", backproj );

  Java

  Image backprojImg = HighGui.toBufferedImage(backproj);
  backprojLabel.setIcon(new ImageIcon(backprojImg));

  Python

      cv.imshow('BackProj', backproj)

• 绘制图像的一维色调直方图。

  C++

      int w = 400, h = 400;
      int bin_w = cvRound( (double) w / histSize );
      Mat histImg = Mat::zeros( h, w, CV_8UC3 );
   
      for (int i = 0; i < bins; i++)
      {
          rectangle( histImg, Point( i*bin_w, h ), Point( (i+1)*bin_w, h - cvRound( hist.at<float>(i)*h/255.0 ) ),
                     Scalar( 0, 0, 255 ), FILLED );
      }
   
      imshow( "Histogram", histImg );

  Java

          int w = 400, h = 400;
          int binW = (int) Math.round((double) w / histSize);
  histImg = Mat.zeros(h, w, CvType.CV_8UC3);
   
          float[] histData = new float[(int) (hist.total() * hist.channels())];
  hist.get(0, 0, histData);
          for (int i = 0; i < bins; i++) {
  Imgproc.rectangle(histImg, new Point(i * binW, h),
                      new Point((i + 1) * binW, h - Math.round(histData[i] * h / 255.0)), new Scalar(0, 0, 255), Imgproc.FILLED);
          }
  Image histImage = HighGui.toBufferedImage(histImg);
  histImgLabel.setIcon(new ImageIcon(histImage));

  Python

  w = 400
  h = 400
  bin_w = int(round(w / histSize))
  histImg = np.zeros((h, w, 3), dtype=np.uint8)
   
      for i in range(bins)
          cv.rectangle(histImg, (i*bin_w, h), ( (i+1)*bin_w, h - int(np.round( hist[i]*h/255.0 )) ), (0, 0, 255), cv.FILLED)
   
      cv.imshow('Histogram', histImg)

结果

这是使用示例图像（猜猜是什么？又是一只手）。你可以尝试不同的 bin 值，观察它们如何影响结果：