目标

在本教程中，您将学习

什么是反向投影以及它为什么有用
如何使用 OpenCV 函数 cv::calcBackProject 计算反向投影
如何使用 OpenCV 函数 cv::mixChannels 混合图像的不同通道

理论

什么是反向投影？

反向投影是一种记录给定图像中的像素与直方图模型中像素分布的匹配程度的方法。
简而言之：对于反向投影，您计算特征的直方图模型，然后使用它在图像中查找该特征。
应用示例：如果您有肤色直方图（例如，色调-饱和度直方图），那么您可以使用它在图像中找到肤色区域。

它是如何工作的？

我们使用皮肤示例来解释这一点。
假设您根据下图获取了皮肤直方图（色调-饱和度）。除了直方图之外，将是我们模型直方图（我们知道它代表皮肤色调的样本）。您应用了一些蒙版来仅捕获皮肤区域的直方图：
现在，假设您获得另一张手部图像（测试图像），如下所示：（及其相应的直方图）：
我们要做的是使用我们模型直方图（我们知道它代表皮肤色调）来检测测试图像中的皮肤区域。以下是步骤
1. 在测试图像的每个像素（即 \(p(i,j)\) ）中，收集数据并找到该像素的相应 bin 位置（即 \(( h_{i,j}, s_{i,j} )\) ）。
2. 在相应 bin 中查找模型直方图 - \(( h_{i,j}, s_{i,j} )\) - 并读取 bin 值。
3. 将该 bin 值存储在新图像（反向投影）中。此外，您可能需要先考虑归一化模型直方图，这样测试图像的输出对于您来说是可见的。
4. 应用上述步骤，我们得到测试图像的反向投影图像如下

从统计学角度来看，存储在反向投影中的值代表测试图像中的像素属于皮肤区域的概率，这基于我们使用的模型直方图。例如，在我们的测试图像中，更亮的区域更有可能成为皮肤区域（就像它们实际上那样），而更暗的区域的概率较小（注意，这些“暗”区域属于表面，这些表面上有一些阴影，反过来会影响检测）。

代码

该程序做什么？
- 加载图像
- 将原始图像转换为 HSV 格式，并仅分离用于直方图的色调通道（使用 OpenCV 函数 cv::mixChannels ）
- 允许用户输入要用于计算直方图的 bin 数量。
- 计算直方图（如果 bin 发生变化则更新它）以及相同图像的反向投影。
- 在窗口中显示反向投影和直方图。

可下载的代码:
- 单击此处获取基本版本（在本教程中进行了解释）。
- 对于稍微复杂一些的东西（使用 H-S 直方图和 floodFill 来定义皮肤区域的蒙版），您可以查看改进的演示
- ...或者您始终可以查看样本中的经典camshiftdemo。
代码概览

#include "opencv2/imgproc.hpp"

#include "opencv2/imgcodecs.hpp"

#include "opencv2/highgui.hpp"

#include <iostream>

using namespace cv;

using namespace std;

Mat hue;

int bins = 25;

void Hist_and_Backproj(int, void* );

int main( int argc, char* argv[] )

{

CommandLineParser parser( argc, argv, "{@input |Back_Projection_Theory0.jpg| input image}" );

samples::addSamplesDataSearchSubDirectory("doc/tutorials/imgproc/histograms/back_projection/images");

Mat src = imread(samples::findFile(parser.get<String>( "@input" )) );

if( src.empty() )

{

cout << "无法打开或找到图像！\n" << endl;

cout << "用法: " << argv[0] << " <输入图像>" << endl;

return -1;

}

Mat hsv;

cvtColor( src, hsv, COLOR_BGR2HSV );

hue.create(hsv.size(), hsv.depth());

int ch[] = { 0, 0 };

mixChannels( &hsv, 1, &hue, 1, ch, 1 );

const char* window_image = "源图像";

namedWindow( window_image );

createTrackbar("* 色调 bin: ", window_image, &bins, 180, Hist_and_Backproj );

Hist_and_Backproj(0, 0);

imshow( window_image, src );

// 等待用户退出程序

waitKey();

return 0;

}

void Hist_and_Backproj(int, void* )

{

int histSize = MAX( bins, 2 );

float hue_range[] = { 0, 180 };

const float* ranges[] = { hue_range };

Mat hist;

calcHist( &hue, 1, 0, Mat(), hist, 1, &histSize, ranges, true, false );

normalize( hist, hist, 0, 255, NORM_MINMAX, -1, Mat() );

Mat backproj;

calcBackProject( &hue, 1, 0, hist, backproj, ranges, 1, true );

imshow( "反向投影", backproj );

int w = 400, h = 400;

int bin_w = cvRound( (double) w / histSize );

Mat histImg = Mat::zeros( h, w, CV_8UC3 );

for (int i = 0; i < bins; i++)

{

rectangle( histImg, Point( i*bin_w, h ), Point( (i+1)*bin_w, h - cvRound( hist.at<float>(i)*h/255.0 ) ),

Scalar( 0, 0, 255 ), FILLED );

}

imshow( "直方图", histImg );

}

cv::CommandLineParser
用于命令行解析的类。
定义 utility.hpp:820

cv::Mat
n 维密集数组类
定义 mat.hpp:812

cv::Mat::size
MatSize size
定义 mat.hpp:2160

cv::Mat::create
void create(int rows, int cols, int type)
如果需要，分配新的数组数据。

cv::Mat::depth
int depth() const
返回矩阵元素的深度。

cv::Mat::at
_Tp & at(int i0=0)
返回对指定数组元素的引用。

cv::Mat::empty
bool empty() const
如果数组没有元素，则返回 true。

cv::Point_< int >

cv::Scalar_< double >

cv::normalize
void normalize(InputArray src, InputOutputArray dst, double alpha=1, double beta=0, int norm_type=NORM_L2, int dtype=-1, InputArray mask=noArray())
归一化数组的范数或值范围。

cv::String
std::string String
定义 cvstd.hpp:151

CV_8UC3
#define CV_8UC3
定义 interface.h:90

cvRound
int cvRound(double value)
将浮点数四舍五入到最接近的整数。
定义 fast_math.hpp:200

MAX
#define MAX(a, b)
定义 cvdef.h:517

cv::imshow
void imshow(const String &winname, InputArray mat)
在指定窗口中显示图像。

cv::rectangle
void rectangle(InputOutputArray img, Point pt1, Point pt2, const Scalar &color, int thickness=1, int lineType=LINE_8, int shift=0)
绘制简单的、粗的或填充的直立矩形。

cv::calcBackProject
void calcBackProject(const Mat *images, int nimages, const int *channels, InputArray hist, OutputArray backProject, const float **ranges, double scale=1, bool uniform=true)
计算直方图的反向投影。

cv::calcHist
void calcHist(const Mat *images, int nimages, const int *channels, InputArray mask, OutputArray hist, int dims, const int *histSize, const float **ranges, bool uniform=true, bool accumulate=false)
计算一组数组的直方图。

highgui.hpp

main
int main(int argc, char *argv[])
定义 highgui_qt.cpp:3

imgcodecs.hpp

imgproc.hpp

cv
与磁盘上的文件关联的文件存储的“黑盒”表示。
定义 core.hpp:102

std
STL 命名空间。

可下载的代码:
- 单击此处获取基本版本（在本教程中进行了解释）。
- 对于稍微复杂一些的东西（使用 H-S 直方图和 floodFill 来定义皮肤区域的蒙版），您可以查看改进的演示
- ...或者您始终可以查看样本中的经典camshiftdemo。
代码概览
import java.awt.BorderLayout;

import java.awt.Container;

import java.awt.Image;

import java.util.Arrays;

导入 java.util.List;

导入 javax.swing.BoxLayout;

导入 javax.swing.ImageIcon;

导入 javax.swing.JFrame;

导入 javax.swing.JLabel;

导入 javax.swing.JPanel;

导入 javax.swing.JSlider;

导入 javax.swing.event.ChangeEvent;

导入 javax.swing.event.ChangeListener;

导入 org.opencv.core.Core;

导入 org.opencv.core.CvType;

导入 org.opencv.core.Mat;

导入 org.opencv.core.MatOfFloat;

导入 org.opencv.core.MatOfInt;

导入 org.opencv.core.Point;

导入 org.opencv.core.Scalar;

导入 org.opencv.highgui.HighGui;

导入 org.opencv.imgcodecs.Imgcodecs;

导入 org.opencv.imgproc.Imgproc;

类 CalcBackProject1 {

私有 Mat hue;

私有 Mat histImg = 新 Mat();

私有 JFrame frame;

私有 JLabel imgLabel;

私有 JLabel backprojLabel;

私有 JLabel histImgLabel;

静态最终 int MAX_SLIDER = 180;

私有 int bins = 25;

公有 CalcBackProject1(String[] args) {

如果 (args.length != 1) {

System.err.println("您必须提供一个参数，对应于图像的路径。");

System.exit(0);

}

Mat src = Imgcodecs.imread(args[0]);

如果 (src.empty()) {

System.err.println("空图像: " + args[0]);

System.exit(0);

}

Mat hsv = 新 Mat();

Imgproc.cvtColor(src, hsv, Imgproc.COLOR_BGR2HSV);

hue = 新 Mat(hsv.size(), hsv.depth());

Core.mixChannels(Arrays.asList(hsv), Arrays.asList(hue), 新 MatOfInt(0, 0));

// 创建并设置窗口。

frame = 新 JFrame("反向投影 1 演示");

frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);

// 设置内容窗格。

Image img = HighGui.toBufferedImage(src);

addComponentsToPane(frame.getContentPane(), img);

// 使用内容窗格的默认 BorderLayout。无需

// setLayout(new BorderLayout());

// 显示窗口。

frame.pack();

frame.setVisible(真);

}

私有无效 addComponentsToPane(Container pane, Image img) {

如果 (!(pane.getLayout() instanceof BorderLayout)) {

pane.add(新 JLabel("容器不使用 BorderLayout!"));

return;

}

JPanel sliderPanel = 新 JPanel();

sliderPanel.setLayout(新 BoxLayout(sliderPanel, BoxLayout.PAGE_AXIS));

sliderPanel.add(新 JLabel("* 色调箱: "));

JSlider slider = 新 JSlider(0, MAX_SLIDER, bins);

slider.setMajorTickSpacing(25);

slider.setMinorTickSpacing(5);

slider.setPaintTicks(真);

slider.setPaintLabels(真);

slider.addChangeListener(新 ChangeListener() {

@Override

公有无效 stateChanged(ChangeEvent e) {

JSlider source = (JSlider) e.getSource();

bins = source.getValue();

update();

}

});

sliderPanel.add(slider);

pane.add(sliderPanel, BorderLayout.PAGE_START);

JPanel imgPanel = 新 JPanel();

imgLabel = 新 JLabel(新 ImageIcon(img));

imgPanel.add(imgLabel);

backprojLabel = 新 JLabel();

imgPanel.add(backprojLabel);

histImgLabel = 新 JLabel();

imgPanel.add(histImgLabel);

pane.add(imgPanel, BorderLayout.CENTER);

}

私有无效 update() {

int histSize = Math.max(bins, 2);

浮点型[] hueRange = {0, 180};

Mat hist = 新 Mat();

List<Mat> hueList = Arrays.asList(hue);

Imgproc.calcHist(hueList, 新 MatOfInt(0), 新 Mat(), hist, 新 MatOfInt(histSize), 新 MatOfFloat(hueRange), 假);

Core.normalize(hist, hist, 0, 255, Core.NORM_MINMAX);

Mat backproj = 新 Mat();

Imgproc.calcBackProject(hueList, 新 MatOfInt(0), hist, backproj, 新 MatOfFloat(hueRange), 1);

Image backprojImg = HighGui.toBufferedImage(backproj);

backprojLabel.setIcon(新 ImageIcon(backprojImg));

int w = 400, h = 400;

int binW = (int) Math.round((双精度型) w / histSize);

histImg = Mat.zeros(h, w, CvType.CV_8UC3);

浮点型[] histData = 新浮点型[(int) (hist.total() * hist.channels())];

hist.get(0, 0, histData);

为了 (int i = 0; i < bins; i++) {

Imgproc.rectangle(histImg, 新点(i * binW, h),

新点((i + 1) * binW, h - Math.round(histData[i] * h / 255.0)), 新标量(0, 0, 255), Imgproc.FILLED);

}

Image histImage = HighGui.toBufferedImage(histImg);

histImgLabel.setIcon(新 ImageIcon(histImage));

frame.repaint();

frame.pack();

}

}

公有类 CalcBackProjectDemo1 {

公有静态无效主(String[] args) {

// 加载本机 OpenCV 库

System.loadLibrary(Core.NATIVE_LIBRARY_NAME);

// 为事件分派线程安排一项工作

// 创建并显示此应用程序的 GUI。

javax.swing.SwingUtilities.invokeLater(新 Runnable() {

@Override

公有无效 run() {

新 CalcBackProject1(args);

}

});

}

}

cv::Point
Point2i Point
定义 types.hpp:209

cv::Scalar
Scalar_< double > Scalar
定义 types.hpp:702

可下载的代码:
- 点击这里获取基本版本（在本教程中解释）。
- 对于稍微复杂的东西（使用 H-S 直方图和 floodFill 定义皮肤区域的掩码），您可以查看改进的演示
- ...或者您始终可以查看样本中的经典camshiftdemo。
代码概览
从 __future__ 导入 print_function

从 __future__ 导入 division

导入 cv2 作为 cv

导入 numpy 作为 np

导入 argparse

定义 Hist_and_Backproj(val)

bins = val

histSize = max(bins, 2)

ranges = [0, 180] # 色调范围

hist = cv.calcHist([hue], [0], 无, [histSize], ranges, accumulate=假)

cv.normalize(hist, hist, alpha=0, beta=255, norm_type=cv.NORM_MINMAX)

backproj = cv.calcBackProject([hue], [0], hist, ranges, scale=1)

cv.imshow('反向投影', backproj)

w = 400

h = 400

bin_w = int(round(w / histSize))

histImg = np.zeros((h, w, 3), dtype=np.uint8)

为了 i 在 range(bins)

cv.rectangle(histImg, (i*bin_w, h), ( (i+1)*bin_w, h - int(np.round( hist[i]*h/255.0 )) ), (0, 0, 255), cv.FILLED)

cv.imshow('直方图', histImg)

parser = argparse.ArgumentParser(description='反向投影教程的代码。')

parser.add_argument('--input', help='输入图像的路径。', default='home.jpg')

args = parser.parse_args()

src = cv.imread(cv.samples.findFile(args.input))

如果 src 是无

print('无法打开或找到图像:', args.input)

exit(0)

hsv = cv.cvtColor(src, cv.COLOR_BGR2HSV)

ch = (0, 0)

hue = np.empty(hsv.shape, hsv.dtype)

cv.mixChannels([hsv], [hue], ch)

window_image = '源图像'

cv.namedWindow(window_image)

bins = 25

cv.createTrackbar('* 色调箱: ', window_image, bins, 180, Hist_and_Backproj )

Hist_and_Backproj(bins)

cv.imshow(window_image, src)

cv.waitKey()

cv::mixChannels
void mixChannels(const Mat *src, size_t nsrcs, Mat *dst, size_t ndsts, const int *fromTo, size_t npairs)
将指定的通道从输入数组复制到输出数组的指定通道。

cv::samples::findFile
cv::String findFile(const cv::String &relative_path, bool required=true, bool silentMode=false)
尝试查找请求的数据文件。

cv::waitKey
int waitKey(int delay=0)
等待按下键。

cv::namedWindow
void namedWindow(const String &winname, int flags=WINDOW_AUTOSIZE)
创建一个窗口。

cv::createTrackbar
int createTrackbar(const String &trackbarname, const String &winname, int *value, int count, TrackbarCallback onChange=0, void *userdata=0)
创建一个轨迹栏并将其附加到指定的窗口。

cv::imread
CV_EXPORTS_W Mat imread(const String &filename, int flags=IMREAD_COLOR)
从文件加载图像。

cv::cvtColor
void cvtColor(InputArray src, OutputArray dst, int code, int dstCn=0)
将图像从一种颜色空间转换为另一种颜色空间。

解释

读取输入图像

C++

CommandLineParser parser( argc, argv, "{@input |Back_Projection_Theory0.jpg| input image}" );

samples::addSamplesDataSearchSubDirectory("doc/tutorials/imgproc/histograms/back_projection/images");

Mat src = imread(samples::findFile(parser.get<String>( "@input" )) );

if( src.empty() )

{

cout << "无法打开或找到图像！\n" << endl;

cout << "用法: " << argv[0] << " <输入图像>" << endl;

return -1;

}

Java

如果 (args.length != 1) {

System.err.println("您必须提供一个参数，对应于图像的路径。");

System.exit(0);

}

Mat src = Imgcodecs.imread(args[0]);

如果 (src.empty()) {

System.err.println("空图像: " + args[0]);

System.exit(0);

}

Python

parser = argparse.ArgumentParser(description='反向投影教程的代码。')

parser.add_argument('--input', help='输入图像的路径。', default='home.jpg')

args = parser.parse_args()

src = cv.imread(cv.samples.findFile(args.input))

如果 src 是无

print('无法打开或找到图像:', args.input)

exit(0)
将其转换为 HSV 格式

C++

Mat hsv;

cvtColor( src, hsv, COLOR_BGR2HSV );

Java

Mat hsv = 新 Mat();

Imgproc.cvtColor(src, hsv, Imgproc.COLOR_BGR2HSV);

Python

hsv = cv.cvtColor(src, cv.COLOR_BGR2HSV)
在本教程中，我们只使用色调值作为我们的 1-D 直方图（如果您想使用更标准的 H-S 直方图，它会产生更好的结果，请查看上面的链接中的更高级代码）

C++

hue.create(hsv.size(), hsv.depth());

int ch[] = { 0, 0 };

mixChannels( &hsv, 1, &hue, 1, ch, 1 );

Java

hue = 新 Mat(hsv.size(), hsv.depth());

Core.mixChannels(Arrays.asList(hsv), Arrays.asList(hue), 新 MatOfInt(0, 0));

Python

ch = (0, 0)

hue = np.empty(hsv.shape, hsv.dtype)

cv.mixChannels([hsv], [hue], ch)
如您所见，我们使用函数 cv::mixChannels 从 hsv 图像中仅获取通道 0（色调）。它获取以下参数
- &hsv: 将从中复制通道的源数组
- 1: 源数组的数量
- &hue: 复制通道的目标数组
- 1: 目标数组的数量
- ch[] = {0,0}: 指示如何复制通道的索引对数组。在本例中，&hsv 的色调 (0) 通道正在被复制到 &hue 的 0 通道（1 通道）
- 1: 索引对的数量
创建允许用户输入箱值的轨迹栏。轨迹栏上的任何更改都意味着调用 Hist_and_Backproj 回调函数。

C++

const char* window_image = "源图像";

namedWindow( window_image );

createTrackbar("* 色调 bin: ", window_image, &bins, 180, Hist_and_Backproj );

Hist_and_Backproj(0, 0);

Java

JPanel sliderPanel = 新 JPanel();

sliderPanel.setLayout(新 BoxLayout(sliderPanel, BoxLayout.PAGE_AXIS));

sliderPanel.add(新 JLabel("* 色调箱: "));

JSlider slider = 新 JSlider(0, MAX_SLIDER, bins);

slider.setMajorTickSpacing(25);

slider.setMinorTickSpacing(5);

slider.setPaintTicks(真);

slider.setPaintLabels(真);

slider.addChangeListener(新 ChangeListener() {

@Override

公有无效 stateChanged(ChangeEvent e) {

JSlider source = (JSlider) e.getSource();

bins = source.getValue();

update();

}

});

sliderPanel.add(slider);

pane.add(sliderPanel, BorderLayout.PAGE_START);

Python

window_image = '源图像'

cv.namedWindow(window_image)

bins = 25

cv.createTrackbar('* 色调箱: ', window_image, bins, 180, Hist_and_Backproj )

Hist_and_Backproj(bins)
显示图像并等待用户退出程序

C++

imshow( window_image, src );

// 等待用户退出程序

waitKey();

Java

// 使用内容窗格的默认 BorderLayout。无需

// setLayout(new BorderLayout());

// 显示窗口。

frame.pack();

frame.setVisible(真);

Python

cv.imshow(window_image, src)

cv.waitKey()
Hist_and_Backproj 函数： 初始化 cv::calcHist 所需的参数。轨迹条提供箱子数量。

C++

int histSize = MAX( bins, 2 );

float hue_range[] = { 0, 180 };

const float* ranges[] = { hue_range };

Java

int histSize = Math.max(bins, 2);

浮点型[] hueRange = {0, 180};

Python

bins = val

histSize = max(bins, 2)

ranges = [0, 180] # 色调范围
计算直方图并将其归一化到 [0,255] 范围

C++

Mat hist;

calcHist( &hue, 1, 0, Mat(), hist, 1, &histSize, ranges, true, false );

normalize( hist, hist, 0, 255, NORM_MINMAX, -1, Mat() );

Java

Mat hist = 新 Mat();

List<Mat> hueList = Arrays.asList(hue);

Imgproc.calcHist(hueList, 新 MatOfInt(0), 新 Mat(), hist, 新 MatOfInt(histSize), 新 MatOfFloat(hueRange), 假);

Core.normalize(hist, hist, 0, 255, Core.NORM_MINMAX);

Python

hist = cv.calcHist([hue], [0], 无, [histSize], ranges, accumulate=假)

cv.normalize(hist, hist, alpha=0, beta=255, norm_type=cv.NORM_MINMAX)
通过调用 cv::calcBackProject 函数获取相同图像的反向投影

C++

Mat backproj;

calcBackProject( &hue, 1, 0, hist, backproj, ranges, 1, true );

Java

Mat backproj = 新 Mat();

Imgproc.calcBackProject(hueList, 新 MatOfInt(0), hist, backproj, 新 MatOfFloat(hueRange), 1);

Python

backproj = cv.calcBackProject([hue], [0], hist, ranges, scale=1)
所有参数都是已知的（与计算直方图时使用的一样），我们只添加了 backproj 矩阵，它将存储源图像 (&hue) 的反向投影
显示 backproj

C++

imshow( "BackProj", backproj );

Java

Image backprojImg = HighGui.toBufferedImage(backproj);

backprojLabel.setIcon(新 ImageIcon(backprojImg));

Python

cv.imshow('反向投影', backproj)
绘制图像的一维色调直方图

C++

int w = 400, h = 400;

int bin_w = cvRound( (double) w / histSize );

Mat histImg = Mat::zeros( h, w, CV_8UC3 );

for (int i = 0; i < bins; i++)

{

rectangle( histImg, Point( i*bin_w, h ), Point( (i+1)*bin_w, h - cvRound( hist.at<float>(i)*h/255.0 ) ),

Scalar( 0, 0, 255 ), FILLED );

}

imshow( "Histogram", histImg );

Java

int w = 400, h = 400;

int binW = (int) Math.round((双精度型) w / histSize);

histImg = Mat.zeros(h, w, CvType.CV_8UC3);

浮点型[] histData = 新浮点型[(int) (hist.total() * hist.channels())];

hist.get(0, 0, histData);

为了 (int i = 0; i < bins; i++) {

Imgproc.rectangle(histImg, new Point(i * binW, h),

new Point((i + 1) * binW, h - Math.round(histData[i] * h / 255.0)), new Scalar(0, 0, 255), Imgproc.FILLED);

}

Image histImage = HighGui.toBufferedImage(histImg);

histImgLabel.setIcon(新 ImageIcon(histImage));

Python

w = 400

h = 400

bin_w = int(round(w / histSize))

histImg = np.zeros((h, w, 3), dtype=np.uint8)

为了 i 在 range(bins)

cv.rectangle(histImg, (i*bin_w, h), ( (i+1)*bin_w, h - int(np.round( hist[i]*h/255.0 )) ), (0, 0, 255), cv.FILLED)

cv.imshow('直方图', histImg)

结果

以下是使用示例图像（猜猜看？另一只手）的输出。你可以玩弄箱子值，你会观察到它如何影响结果：


原作者	Ana Huamán
兼容性	OpenCV >= 3.0

目录

目标

理论

什么是反向投影？

它是如何工作的？

代码

解释

结果