反向投影

目录

• 目标
• 理论
  • 什么是反向投影？
  • 它是如何工作的？
• 代码
• 解释
• 结果

上一篇教程： 直方图比较
下一篇教程： 模板匹配

原作者	Ana Huamán
兼容性	OpenCV >= 3.0

目标

在本教程中，您将学习

• 什么是反向投影以及为什么它有用
• 如何使用 OpenCV 函数 cv::calcBackProject 计算反向投影
• 如何使用 OpenCV 函数 cv::mixChannels 混合图像的不同通道

理论

什么是反向投影？

• 反向投影是一种记录给定图像的像素与直方图模型中像素分布的匹配程度的方法。
• 简单来说：对于反向投影，您计算特征的直方图模型，然后使用它在图像中查找此特征。
• 应用示例：如果您有肤色直方图（例如，色相-饱和度直方图），则可以使用它来查找图像中的肤色区域。

它是如何工作的？

• 我们用皮肤示例来解释这一点
• 假设您根据下图获得了皮肤直方图（色相-饱和度）。旁边的直方图将成为我们的模型直方图（我们知道它代表皮肤色调样本）。您应用了一些掩码来仅捕获皮肤区域的直方图：

• 现在，让我们假设您获得另一个手的图像（测试图像）如下所示：（及其相应的直方图）：

• 我们要做的是使用我们的模型直方图（我们知道它代表皮肤色调）来检测测试图像中的皮肤区域。以下是步骤
  1. 在测试图像的每个像素（即\(p(i,j)\)）中，收集数据并找到该像素的相应 bin 位置（即\(( h_{i,j}, s_{i,j} )\)）。
  2. 在相应 bin \(( h_{i,j}, s_{i,j} )\) 中查找模型直方图，并读取 bin 值。
  3. 将此 bin 值存储在新图像（反向投影）中。此外，您可能需要先对模型直方图进行归一化，以便您可以看到测试图像的输出。
  4. 应用上述步骤，我们得到测试图像的以下反向投影图像。

1. 从统计学的角度来看，反向投影中存储的值表示基于我们使用的模型直方图，测试图像中像素属于皮肤区域的概率。例如，在我们的测试图像中，较亮的区域更有可能是皮肤区域（实际上它们确实如此），而较暗的区域概率较小（请注意，这些“暗”区域属于表面上有一些阴影的区域，这反过来会影响检测）。

代码

• 这个程序做什么？
  • 加载图像
  • 将原始图像转换为 HSV 格式，并仅分离用于直方图的色相通道（使用 OpenCV 函数 cv::mixChannels）
  • 允许用户输入直方图计算中使用的 bin 数量。
  • 计算直方图（如果 bin 发生更改则更新它）以及同一图像的反向投影。
  • 在窗口中显示反向投影和直方图。

C++

• 可下载代码:
  • 点击 这里 获取基本版本（在本教程中解释）。
  • 对于稍微高级一点的内容（使用 H-S 直方图和 floodFill 来定义皮肤区域的掩码），您可以查看 改进的演示
  • …或者您可以随时查看示例中的经典 camshiftdemo。
• 代码概览

   
  #include "opencv2/imgproc.hpp"
  #include "opencv2/imgcodecs.hpp"
  #include "opencv2/highgui.hpp"
   
  #include <iostream>
   
  using namespace cv;
  using namespace std;
   
  Mat hue;
  int bins = 25;
   
  void Hist_and_Backproj(int, void* );
   
  int main( int argc, char* argv[] )
  {
      CommandLineParser parser( argc, argv, "{@input |Back_Projection_Theory0.jpg| input image}" );
  samples::addSamplesDataSearchSubDirectory("doc/tutorials/imgproc/histograms/back_projection/images");
      Mat src = imread(samples::findFile(parser.get<String>( "@input" )) );
      if( src.empty() )
      {
  cout << "Could not open or find the image!\n" << endl;
  cout << "Usage: " << argv[0] << " <Input image>" << endl;
          return -1; -1;
      }
   
      Mat hsv;
  cvtColor( src, hsv, COLOR_BGR2HSV );
   
  hue.create(hsv.size(), hsv.depth());
      int ch[] = { 0, 0 };
  mixChannels( &hsv, 1, &hue, 1, ch, 1 );
   
      const char* window_image = "Source image";
  namedWindow( window_image );
  createTrackbar("* Hue bins: ", window_image, &bins, 180, Hist_and_Backproj );
  Hist_and_Backproj(0, 0);
   
  imshow( window_image, src );
      // 等待用户退出程序
  waitKey();
   
      return -1; 0;
  }
   
  void Hist_and_Backproj(int, void* )
  {
      int histSize = MAX( bins, 2 );
      float hue_range[] = { 0, 180 };
      const float* ranges[] = { hue_range };
   
      Mat hist;
      calcHist( &hue, 1, 0, Mat(), hist, 1, &histSize, ranges, true, false );
      normalize( hist, hist, 0, 255, NORM_MINMAX, -1, Mat() );
   
      Mat backproj;
      calcBackProject( &hue, 1, 0, hist, backproj, ranges, 1, true );
   
      imshow( "BackProj", backproj );
   
      int w = 400, h = 400;
      int bin_w = cvRound( (double) w / histSize );
      Mat histImg = Mat::zeros( h, w, CV_8UC3 );
   
      for (int i = 0; i < bins; i++)
      {
          rectangle( histImg, Point( i*bin_w, h ), Point( (i+1)*bin_w, h - cvRound( hist.at<float>(i)*h/255.0 ) ),
                     Scalar( 0, 0, 255 ), FILLED );
      }
   
      imshow( "Histogram", histImg );
  }

Java

• 可下载代码:
  • 点击这里查看基本版本（本教程中已解释）。
  • 对于稍微复杂一点的内容（使用H-S直方图和floodFill来定义皮肤区域的掩码），您可以查看改进的演示
  • …或者您可以随时查看示例中的经典 camshiftdemo。
• 代码概览

  import java.awt.BorderLayout;
  import java.awt.Container;
  import java.awt.Image;
  import java.util.Arrays;
  import java.util.List;
   
  import javax.swing.BoxLayout;
  import javax.swing.ImageIcon;
  import javax.swing.JFrame;
  import javax.swing.JLabel;
  import javax.swing.JPanel;
  import javax.swing.JSlider;
  import javax.swing.event.ChangeEvent;
  import javax.swing.event.ChangeListener;
   
  import org.opencv.core.Core;
  import org.opencv.core.CvType;
  import org.opencv.core.Mat;
  import org.opencv.core.MatOfFloat;
  import org.opencv.core.MatOfInt;
  import org.opencv.core.Point;
  import org.opencv.core.Scalar;
  import org.opencv.highgui.HighGui;
  import org.opencv.imgcodecs.Imgcodecs;
  import org.opencv.imgproc.Imgproc;
   
  class CalcBackProject1 {
      private Mat hue;
      private Mat histImg = new Mat();
      private JFrame frame;
      private JLabel imgLabel;
      private JLabel backprojLabel;
      private JLabel histImgLabel;
      private static final int MAX_SLIDER = 180;
      private int bins = 25;
   
      public CalcBackProject1(String[] args) {
          if (args.length != 1) {
  System.err.println("您必须提供一个参数，该参数对应于图像的路径。");
  System.exit(0);
          }
   
  Mat src = Imgcodecs.imread(args[0]);
          if (src.empty()) {
  System.err.println("空图像："+ args[0]);
  System.exit(0);
          }
   
  Mat hsv = new Mat();
  Imgproc.cvtColor(src, hsv, Imgproc.COLOR_BGR2HSV);
   
  hue = new Mat(hsv.size(), hsv.depth());
  Core.mixChannels(Arrays.asList(hsv), Arrays.asList(hue), new MatOfInt(0, 0));
   
          // 创建并设置窗口。
  frame = new JFrame("反向投影1演示");
  frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
          // 设置内容窗格。
  Image img = HighGui.toBufferedImage(src);
  addComponentsToPane(frame.getContentPane(), img);
          // 使用内容窗格的默认BorderLayout。无需
          // setLayout(new BorderLayout());
          // 显示窗口。
  frame.pack();
  frame.setVisible(true);
      }
   
      private void addComponentsToPane(Container pane, Image img) {
          if (!(pane.getLayout() instanceof BorderLayout)) {
  pane.add(new JLabel("容器不使用BorderLayout！"));
              return -1;;
          }
   
  JPanel sliderPanel = new JPanel();
  sliderPanel.setLayout(new BoxLayout(sliderPanel, BoxLayout.PAGE_AXIS));
   
  sliderPanel.add(new JLabel("* 色调区间："));
  JSlider slider = new JSlider(0, MAX_SLIDER, bins);
  slider.setMajorTickSpacing(25);
  slider.setMinorTickSpacing(5);
  slider.setPaintTicks(true);
  slider.setPaintLabels(true);
  slider.addChangeListener(new ChangeListener() {
  @Override
              public void stateChanged(ChangeEvent e) {
  JSlider source = (JSlider) e.getSource();
  bins = source.getValue();
  update();
              }
          });
  sliderPanel.add(slider);
  pane.add(sliderPanel, BorderLayout.PAGE_START);
   
  JPanel imgPanel = new JPanel();
  imgLabel = new JLabel(new ImageIcon(img));
  imgPanel.add(imgLabel);
   
  backprojLabel = new JLabel();
  imgPanel.add(backprojLabel);
   
  histImgLabel = new JLabel();
  imgPanel.add(histImgLabel);
  pane.add(imgPanel, BorderLayout.CENTER);
      }
   
      private void update() {
          int histSize = Math.max(bins, 2);
          float[] hueRange = {0, 180};
   
  Mat hist = new Mat();
  List hueList = Arrays.asList(hue);
  Imgproc.calcHist(hueList, new MatOfInt(0), new Mat(), hist, new MatOfInt(histSize), new MatOfFloat(hueRange), false);
  Core.normalize(hist, hist, 0, 255, Core.NORM_MINMAX);
   
  Mat backproj = new Mat();
  Imgproc.calcBackProject(hueList, new MatOfInt(0), hist, backproj, new MatOfFloat(hueRange), 1);
   
  Image backprojImg = HighGui.toBufferedImage(backproj);
  backprojLabel.setIcon(new ImageIcon(backprojImg));
   
          int w = 400, h = 400;
          int binW = (int) Math.round((double) w / histSize);
  histImg = Mat.zeros(h, w, CvType.CV_8UC3);
   
          float[] histData = new float[(int) (hist.total() * hist.channels())];
  hist.get(0, 0, histData);
          for (int i = 0; i < bins; i++) {
  Imgproc.rectangle(histImg, new Point(i * binW, h),
                      new Point((i + 1) * binW, h - Math.round(histData[i] * h / 255.0)), new Scalar(0, 0, 255), Imgproc.FILLED);
          }
  Image histImage = HighGui.toBufferedImage(histImg);
  histImgLabel.setIcon(new ImageIcon(histImage));
   
  frame.repaint();
  frame.pack();
      }
  }
   
  public class CalcBackProjectDemo1 {
      public static void main(String[] args) {
          // 加载原生OpenCV库
  System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
   
          // 为事件分发线程安排一个任务
          // 创建并显示此应用程序的GUI。
  javax.swing.SwingUtilities.invokeLater(new Runnable() {
  @Override
              public void run() {
                  new CalcBackProject1(args);
              }
          });
      }
  }

Python

• 可下载代码:
  • 点击这里查看基础版本（本教程中已解释）。
  • 对于稍微高级一点的内容（使用H-S直方图和floodFill定义皮肤区域的掩码），您可以查看改进的演示
  • …或者您可以随时查看示例中的经典 camshiftdemo。
• 代码概览

  from __future__ import print_function
  from __future__ import division
  import cv2 as cv
  import numpy as np
  import argparse
   
  def Hist_and_Backproj(val)
      
  bins = val
  histSize = max(bins, 2)
  ranges = [0, 180] # hue_range
      
   
      
  hist = cv.calcHist([hue], [0], None, [histSize], ranges, accumulate=False)
      cv.normalize(hist, hist, alpha=0, beta=255, norm_type=cv.NORM_MINMAX)
      
   
      
  backproj = cv.calcBackProject([hue], [0], hist, ranges, scale=1)
      
   
      
      cv.imshow('BackProj', backproj)
      
   
      
  w = 400
  h = 400
  bin_w = int(round(w / histSize))
  histImg = np.zeros((h, w, 3), dtype=np.uint8)
   
      for i in range(bins)
          cv.rectangle(histImg, (i*bin_w, h), ( (i+1)*bin_w, h - int(np.round( hist[i]*h/255.0 )) ), (0, 0, 255), cv.FILLED)
   
      cv.imshow('Histogram', histImg)
      
   
   
  parser = argparse.ArgumentParser(description='反向投影教程代码。')
  parser.add_argument('--input', help='输入图像路径。', default='home.jpg')
  args = parser.parse_args()
   
  src = cv.imread(cv.samples.findFile(args.input))
  if src is None
  print('无法打开或找到图像：', args.input)
  exit(0)
   
   
   
  hsv = cv.cvtColor(src, cv.COLOR_BGR2HSV)
   
   
   
  ch = (0, 0)
  hue = np.empty(hsv.shape, hsv.dtype)
  cv.mixChannels([hsv], [hue], ch)
   
   
   
  window_image = '源图像'
  cv.namedWindow(window_image)
  bins = 25
  cv.createTrackbar('* 色相bin数: ', window_image, bins, 180, Hist_and_Backproj )
  Hist_and_Backproj(bins)
   
   
   
  cv.imshow(window_image, src)
  cv.waitKey()
   

解释

• 读取输入图像

  C++

      CommandLineParser parser( argc, argv, "{@input |Back_Projection_Theory0.jpg| input image}" );
  samples::addSamplesDataSearchSubDirectory("doc/tutorials/imgproc/histograms/back_projection/images");
      Mat src = imread(samples::findFile(parser.get("@input") ));
      if( src.empty() )
      {
  cout << "Could not open or find the image!\n" << endl;
  cout << "Usage: " << argv[0] << " <Input image>" << endl;
          return -1; -1;
      }

  Java

          if (args.length != 1) {
  System.err.println("您必须提供一个参数，该参数对应于图像的路径。");
  System.exit(0);
          }
   
  Mat src = Imgcodecs.imread(args[0]);
          if (src.empty()) {
  System.err.println("空图像："+ args[0]);
  System.exit(0);
          }

  Python

  parser = argparse.ArgumentParser(description='反向投影教程代码。')
  parser.add_argument('--input', help='输入图像路径。', default='home.jpg')
  args = parser.parse_args()
   
  src = cv.imread(cv.samples.findFile(args.input))
  if src is None
  print('无法打开或找到图像：', args.input)
  exit(0)

• 将其转换为HSV格式

  C++

      Mat hsv;
      cvtColor( src, hsv, COLOR_BGR2HSV );

  Java

  Mat hsv = new Mat();
  Imgproc.cvtColor(src, hsv, Imgproc.COLOR_BGR2HSV);

  Python

  hsv = cv.cvtColor(src, cv.COLOR_BGR2HSV)

• 本教程中，我们将仅使用色相 (Hue) 值来创建一维直方图（如果您想使用更标准的 H-S 直方图以获得更好的结果，请查看上方链接中的更高级代码）。

  C++

  hue.create(hsv.size(), hsv.depth());
      int ch[] = { 0, 0 };
      mixChannels( &hsv, 1, &hue, 1, ch, 1 );

  Java

  hue = new Mat(hsv.size(), hsv.depth());
  Core.mixChannels(Arrays.asList(hsv), Arrays.asList(hue), new MatOfInt(0, 0));

  Python

  ch = (0, 0)
  hue = np.empty(hsv.shape, hsv.dtype)
  cv.mixChannels([hsv], [hue], ch)

• 如您所见，我们使用函数 cv::mixChannels 从 hsv 图像中获取仅通道 0（色相）。它获取以下参数：
  • &hsv: 将从中复制通道的源数组
  • 1: 源数组的数量
  • &hue: 已复制通道的目标数组
  • 1: 目标数组的数量
  • ch[] = {0,0}: 指示如何复制通道的索引对数组。在本例中，&hsv 的色相 (0) 通道被复制到 &hue 的 0 通道（单通道）。
  • 1: 索引对的数量

• 创建一个轨迹条，供用户输入 bin 值。轨迹条的任何更改都会调用 Hist_and_Backproj 回调函数。

  C++

      const char* window_image = "Source image";
      namedWindow( window_image );
      createTrackbar("* 色相 bin 数: ", window_image, &bins, 180, Hist_and_Backproj );
  Hist_and_Backproj(0, 0);

  Java

  JPanel sliderPanel = new JPanel();
  sliderPanel.setLayout(new BoxLayout(sliderPanel, BoxLayout.PAGE_AXIS));
   
  sliderPanel.add(new JLabel("* 色调区间："));
  JSlider slider = new JSlider(0, MAX_SLIDER, bins);
  slider.setMajorTickSpacing(25);
  slider.setMinorTickSpacing(5);
  slider.setPaintTicks(true);
  slider.setPaintLabels(true);
  slider.addChangeListener(new ChangeListener() {
  @Override
              public void stateChanged(ChangeEvent e) {
  JSlider source = (JSlider) e.getSource();
  bins = source.getValue();
  update();
              }
          });
  sliderPanel.add(slider);
  pane.add(sliderPanel, BorderLayout.PAGE_START);

  Python

  window_image = '源图像'
  cv.namedWindow(window_image)
  bins = 25
  cv.createTrackbar('* 色相bin数: ', window_image, bins, 180, Hist_and_Backproj )
  Hist_and_Backproj(bins)

• 显示图像并等待用户退出程序

  C++

      imshow( window_image, src );
      // 等待用户退出程序
      waitKey();

  Java

          // 使用内容窗格的默认BorderLayout。无需
          // setLayout(new BorderLayout());
          // 显示窗口。
  frame.pack();
  frame.setVisible(true);

  Python

  cv.imshow(window_image, src)
  cv.waitKey()

• Hist_and_Backproj 函数: 初始化 cv::calcHist 所需的参数。bin 的数量来自轨迹条。

  C++

      int histSize = MAX( bins, 2 );
      float hue_range[] = { 0, 180 };
      const float* ranges[] = { hue_range };

  Java

          int histSize = Math.max(bins, 2);
          float[] hueRange = {0, 180};

  Python

  bins = val
  histSize = max(bins, 2)
  ranges = [0, 180] # hue_range

• 计算直方图并将其归一化到 \[0,255] 范围内。

  C++

      Mat hist;
      calcHist( &hue, 1, 0, Mat(), hist, 1, &histSize, ranges, true, false );
      normalize( hist, hist, 0, 255, NORM_MINMAX, -1, Mat() );

  Java

  Mat hist = new Mat();
  List hueList = Arrays.asList(hue);
  Imgproc.calcHist(hueList, new MatOfInt(0), new Mat(), hist, new MatOfInt(histSize), new MatOfFloat(hueRange), false);
  Core.normalize(hist, hist, 0, 255, Core.NORM_MINMAX);

  Python

  hist = cv.calcHist([hue], [0], None, [histSize], ranges, accumulate=False)
      cv.normalize(hist, hist, alpha=0, beta=255, norm_type=cv.NORM_MINMAX)

• 通过调用函数 cv::calcBackProject 获取同一图像的反投影。

  C++

      Mat backproj;
      calcBackProject( &hue, 1, 0, hist, backproj, ranges, 1, true );

  Java

  Mat backproj = new Mat();
  Imgproc.calcBackProject(hueList, new MatOfInt(0), hist, backproj, new MatOfFloat(hueRange), 1);

  Python

  backproj = cv.calcBackProject([hue], [0], hist, ranges, scale=1)

• 所有参数都是已知的（与计算直方图时使用的相同），我们只添加 backproj 矩阵，它将存储源图像 (&hue) 的反投影。

• 显示反投影。

  C++

      imshow( "BackProj", backproj );

  Java

  Image backprojImg = HighGui.toBufferedImage(backproj);
  backprojLabel.setIcon(new ImageIcon(backprojImg));

  Python

      cv.imshow('BackProj', backproj)

• 绘制图像的一维色相直方图。

  C++

      int w = 400, h = 400;
      int bin_w = cvRound( (double) w / histSize );
      Mat histImg = Mat::zeros( h, w, CV_8UC3 );
   
      for (int i = 0; i < bins; i++)
      {
          rectangle( histImg, Point( i*bin_w, h ), Point( (i+1)*bin_w, h - cvRound( hist.at<float>(i)*h/255.0 ) ),
                     Scalar( 0, 0, 255 ), FILLED );
      }
   
      imshow( "Histogram", histImg );

  Java

          int w = 400, h = 400;
          int binW = (int) Math.round((double) w / histSize);
  histImg = Mat.zeros(h, w, CvType.CV_8UC3);
   
          float[] histData = new float[(int) (hist.total() * hist.channels())];
  hist.get(0, 0, histData);
          for (int i = 0; i < bins; i++) {
  Imgproc.rectangle(histImg, new Point(i * binW, h),
                      new Point((i + 1) * binW, h - Math.round(histData[i] * h / 255.0)), new Scalar(0, 0, 255), Imgproc.FILLED);
          }
  Image histImage = HighGui.toBufferedImage(histImg);
  histImgLabel.setIcon(new ImageIcon(histImage));

  Python

  w = 400
  h = 400
  bin_w = int(round(w / histSize))
  histImg = np.zeros((h, w, 3), dtype=np.uint8)
   
      for i in range(bins)
          cv.rectangle(histImg, (i*bin_w, h), ( (i+1)*bin_w, h - int(np.round( hist[i]*h/255.0 )) ), (0, 0, 255), cv.FILLED)
   
      cv.imshow('Histogram', histImg)

结果

以下是使用示例图像（猜猜是什么？另一只手）的输出结果。您可以更改 bin 值，并观察它如何影响结果：