目标

在本教程中，您将学习如何：

使用 OpenCV 函数 cv::warpAffine 实现简单的重新映射例程。
使用 OpenCV 函数 cv::getRotationMatrix2D 获取一个 \(2 \times 3\) 的旋转矩阵。

理论

什么是仿射变换？

一种可以表示为矩阵乘法（线性变换）后跟向量加法（平移）形式的变换。
从上面可以看出，我们可以使用仿射变换来表达：
1. 旋转（线性变换）
2. 平移（向量加法）
3. 缩放操作（线性变换）
您可以看到，本质上，仿射变换表示两幅图像之间的关系。
表示仿射变换的常用方法是使用一个 \(2 \times 3\) 矩阵。

\[ A = \begin{bmatrix} a_{00} & a_{01} \\ a_{10} & a_{11} \end{bmatrix}_{2 \times 2} B = \begin{bmatrix} b_{00} \\ b_{10} \end{bmatrix}_{2 \times 1} \]

\[ M = \begin{bmatrix} A & B \end{bmatrix} = \begin{bmatrix} a_{00} & a_{01} & b_{00} \\ a_{10} & a_{11} & b_{10} \end{bmatrix}_{2 \times 3} \]

考虑到我们想使用 \(A\) 和 \(B\) 来变换一个 2D 向量 \(X = \begin{bmatrix}x \\ y\end{bmatrix}\)，我们可以用以下方法做到：

\(T = A \cdot \begin{bmatrix}x \\ y\end{bmatrix} + B\) 或 \(T = M \cdot [x, y, 1]^{T}\)

\[T = \begin{bmatrix} a_{00}x + a_{01}y + b_{00} \\ a_{10}x + a_{11}y + b_{10} \end{bmatrix}\]

如何获得仿射变换？

我们提到仿射变换基本上是两幅图像之间的关系。关于这种关系的信息大致可以通过两种方式获得：
1. 我们知道 \(X\) 和 \(T\)，并且我们也知道它们是相关的。那么我们的任务就是找到 \(M\)。
2. 我们知道 \(M\) 和 \(X\)。为了获得 \(T\)，我们只需要应用 \(T = M \cdot X\)。我们关于 \(M\) 的信息可能是显式的（即具有 2x3 矩阵），也可能来自点之间的几何关系。
让我们更好地解释一下 (b)。由于 \(M\) 关联两幅图像，我们可以分析最简单的情况，即它关联两幅图像中的三个点。看下图：

点 1、2 和 3（在图像 1 中形成一个三角形）被映射到图像 2，仍然形成一个三角形，但现在它们发生了显著的变化。如果我们用这 3 个点找到仿射变换（您可以随意选择它们），那么我们就可以将这个找到的关系应用于图像中的所有像素。

代码

这个程序做什么？
- 加载图像
- 将仿射变换应用于图像。此变换是从三个点之间的关系中获得的。为此，我们使用函数 cv::warpAffine。
- 在图像变换后，对其应用旋转。此旋转相对于图像中心。
- 等待用户退出程序

教程代码如下所示。您也可以从这里下载。

#include "opencv2/imgcodecs.hpp"

#include "opencv2/highgui.hpp"

#include "opencv2/imgproc.hpp"

#include <iostream>

using namespace cv;

using namespace std;

int main( int argc, char** argv )

{

CommandLineParser parser( argc, argv, "{@input | lena.jpg | input image}" );

Mat src = imread( samples::findFile( parser.get<String>( "@input" ) ) );

if( src.empty() )

{

cout << "无法打开或找到图像！\n" << endl;

cout << "用法：" << argv[0] << " <输入图像>" << endl;

return -1; -1;

}

Point2f srcTri[3];

srcTri[0] = Point2f( 0.f, 0.f );

srcTri[1] = Point2f( src.cols - 1.f, 0.f );

srcTri[2] = Point2f( 0.f, src.rows - 1.f );

Point2f dstTri[3];

dstTri[0] = Point2f( 0.f, src.rows*0.33f );

dstTri[1] = Point2f( src.cols*0.85f, src.rows*0.25f );

dstTri[2] = Point2f( src.cols*0.15f, src.rows*0.7f );

Mat warp_mat = getAffineTransform( srcTri, dstTri );

Mat warp_dst = Mat::zeros( src.rows, src.cols, src.type() );

warpAffine(src, warp_dst, warp_mat, warp_dst.size() );

Point center = Point( warp_dst.cols/2, warp_dst.rows/2 );

double angle = -50.0;

double scale = 0.6;

Mat rot_mat = getRotationMatrix2D( center, angle, scale );

Mat warp_rotate_dst;

warpAffine( warp_dst, warp_rotate_dst, rot_mat, warp_dst.size() );

imshow( "Source image", src );

imshow( "Warp", warp_dst );

imshow( "Warp + Rotate", warp_rotate_dst );

waitKey();

return -1; 0;

}

cv::CommandLineParser
用于命令行解析。
定义 utility.hpp:890

cv::Mat
n维稠密数组类
定义 mat.hpp:829

cv::Mat::size
MatSize size
定义 mat.hpp:2177

cv::Mat::cols
int cols
定义 mat.hpp:2155

cv::Mat::empty
bool empty() const
如果数组没有元素，则返回true。

cv::Mat::rows
int rows
行和列的数量，当矩阵维度超过2时为(-1, -1)
定义 mat.hpp:2155

cv::Mat::type
int type() const
返回矩阵元素的类型。

cv::Point_< float >

cv::String
std::string String
定义 cvstd.hpp:151

highgui.hpp

main
int main(int argc, char *argv[])
定义 highgui_qt.cpp:3

imgcodecs.hpp

imgproc.hpp

cv
定义 core.hpp:107

std
STL命名空间。

教程代码如下所示。您也可以在此处下载。
from __future__ import print_function

import cv2 as cv

import numpy as np

import argparse

parser = argparse.ArgumentParser(description='仿射变换教程代码。')

parser.add_argument('--input', help='输入图像路径。', default='lena.jpg')

args = parser.parse_args()

src = cv.imread(cv.samples.findFile(args.input))

if src is None

print('无法打开或找到图像：', args.input)

exit(0)

srcTri = np.array( [[0, 0], [src.shape[1] - 1, 0], [0, src.shape[0] - 1]] ).astype(np.float32)

dstTri = np.array( [[0, src.shape[1]*0.33], [src.shape[1]*0.85, src.shape[0]*0.25], [src.shape[1]*0.15, src.shape[0]*0.7]] ).astype(np.float32)

warp_mat = cv.getAffineTransform(srcTri, dstTri)

warp_dst = cv.warpAffine(src, warp_mat, (src.shape[1], src.shape[0]))

# 扭曲后旋转图像

center = (warp_dst.shape[1]//2, warp_dst.shape[0]//2)

angle = -50

scale = 0.6

rot_mat = cv.getRotationMatrix2D( center, angle, scale )

warp_rotate_dst = cv.warpAffine(warp_dst, rot_mat, (warp_dst.shape[1], warp_dst.shape[0]))

cv.imshow('Source image', src)

cv.imshow('Warp', warp_dst)

cv.imshow('Warp + Rotate', warp_rotate_dst)

cv.waitKey()

cv::samples::findFile
cv::String findFile(const cv::String &relative_path, bool required=true, bool silentMode=false)
尝试查找请求的数据文件。

cv::imshow
void imshow(const String &winname, InputArray mat)
在指定的窗口中显示图像。

cv::waitKey
int waitKey(int delay=0)
等待按下键。

cv::imread
CV_EXPORTS_W Mat imread(const String &filename, int flags=IMREAD_COLOR_BGR)
从文件中加载图像。

cv::warpAffine
void warpAffine(InputArray src, OutputArray dst, InputArray M, Size dsize, int flags=INTER_LINEAR, int borderMode=BORDER_CONSTANT, const Scalar &borderValue=Scalar())
将仿射变换应用于图像。

cv::getAffineTransform
Mat getAffineTransform(const Point2f src[], const Point2f dst[])
根据三对对应点计算仿射变换。

cv::getRotationMatrix2D
Mat getRotationMatrix2D(Point2f center, double angle, double scale)
计算二维旋转的仿射矩阵。
定义 imgproc.hpp:2589

说明

加载图像

C++

CommandLineParser parser( argc, argv, "{@input | lena.jpg | input image}" );

Mat src = imread( samples::findFile( parser.get<String>( "@input" ) ) );

if( src.empty() )

{

cout << "无法打开或找到图像！\n" << endl;

cout << "用法：" << argv[0] << " <输入图像>" << endl;

return -1; -1;

}

Java

String filename = args.length > 0 ? args[0] : "../data/lena.jpg";

Mat src = Imgcodecs.imread(filename);

if (src.empty()) {

System.err.println("Cannot read image: " + filename);

System.exit(0);

}

Python

parser = argparse.ArgumentParser(description='仿射变换教程代码。')

parser.add_argument('--input', help='输入图像路径。', default='lena.jpg')

args = parser.parse_args()

src = cv.imread(cv.samples.findFile(args.input))

if src is None

print('无法打开或找到图像：', args.input)

exit(0)
仿射变换：如上所述，我们需要两组3个点来推导出仿射变换关系。请看

C++

Point2f srcTri[3];

srcTri[0] = Point2f( 0.f, 0.f );

srcTri[1] = Point2f( src.cols - 1.f, 0.f );

srcTri[2] = Point2f( 0.f, src.rows - 1.f );

Point2f dstTri[3];

dstTri[0] = Point2f( 0.f, src.rows*0.33f );

dstTri[1] = Point2f( src.cols*0.85f, src.rows*0.25f );

dstTri[2] = Point2f( src.cols*0.15f, src.rows*0.7f );

Java

Point[] srcTri = new Point[3];

srcTri[0] = new Point( 0, 0 );

srcTri[1] = new Point( src.cols() - 1, 0 );

srcTri[2] = new Point( 0, src.rows() - 1 );

Point[] dstTri = new Point[3];

dstTri[0] = new Point( 0, src.rows()*0.33 );

dstTri[1] = new Point( src.cols()*0.85, src.rows()*0.25 );

dstTri[2] = new Point( src.cols()*0.15, src.rows()*0.7 );

Python

srcTri = np.array( [[0, 0], [src.shape[1] - 1, 0], [0, src.shape[0] - 1]] ).astype(np.float32)

dstTri = np.array( [[0, src.shape[1]*0.33], [src.shape[1]*0.85, src.shape[0]*0.25], [src.shape[1]*0.15, src.shape[0]*0.7]] ).astype(np.float32)

您可以绘制这些点，以便更好地了解它们是如何变化的。它们的位置与示例图（理论部分）中描绘的位置大致相同。您可能会注意到，由这3个点定义的三角形的尺寸和方向发生了变化。
有了这两组点，我们使用OpenCV函数cv::getAffineTransform 计算仿射变换。

C++

Mat warp_mat = getAffineTransform( srcTri, dstTri );

Java

Mat warpMat = Imgproc.getAffineTransform( new MatOfPoint2f(srcTri), new MatOfPoint2f(dstTri) );

Python

warp_mat = cv.getAffineTransform(srcTri, dstTri)

我们得到一个\(2 \times 3\)的矩阵作为输出（在本例中为warp_mat）
然后我们将刚刚找到的仿射变换应用于源图像

C++

Mat warp_dst = Mat::zeros( src.rows, src.cols, src.type() );

warpAffine( src, warp_dst, warp_mat, warp_dst.size() );

Java

Mat warpDst = Mat.zeros( src.rows(), src.cols(), src.type() );

Imgproc.warpAffine( src, warpDst, warpMat, warpDst.size() );

Python

warp_dst = cv.warpAffine(src, warp_mat, (src.shape[1], src.shape[0]))

参数如下：
- src：输入图像
- warp_dst：输出图像
- warp_mat：仿射变换
- warp_dst.size()：输出图像的所需大小
我们得到了第一张变换后的图像！我们将以一位显示它。在此之前，我们还想旋转它……
旋转：要旋转图像，我们需要知道两件事
1. 图像将围绕其旋转的中心
2. 旋转角度。在OpenCV中，正角度表示逆时针方向
3. 可选：比例因子
我们使用以下代码片段定义这些参数

C++

Point center = Point( warp_dst.cols/2, warp_dst.rows/2 );

double angle = -50.0;

double scale = 0.6;

Java

Point center = new Point(warpDst.cols() / 2, warpDst.rows() / 2);

double angle = -50.0;

double scale = 0.6;

Python

center = (warp_dst.shape[1]//2, warp_dst.shape[0]//2)

angle = -50

scale = 0.6
我们使用OpenCV函数cv::getRotationMatrix2D 生成旋转矩阵，该函数返回一个\(2 \times 3\)矩阵（在本例中为rot_mat）

C++

Mat rot_mat = getRotationMatrix2D( center, angle, scale );

Java

Mat rotMat = Imgproc.getRotationMatrix2D( center, angle, scale );

Python

rot_mat = cv.getRotationMatrix2D( center, angle, scale )
现在我们将找到的旋转应用于先前变换的输出

C++

Mat warp_rotate_dst;

warpAffine( warp_dst, warp_rotate_dst, rot_mat, warp_dst.size() );

Java

Mat warpRotateDst = new Mat();

Imgproc.warpAffine( warpDst, warpRotateDst, rotMat, warpDst.size() );

Python

warp_rotate_dst = cv.warpAffine(warp_dst, rot_mat, (warp_dst.shape[1], warp_dst.shape[0]))
最后，我们将结果显示在两个窗口中，再加上原始图像以便更好地进行比较

C++

imshow( "Source image", src );

imshow( "Warp", warp_dst );

imshow( "Warp + Rotate", warp_rotate_dst );

Java

HighGui.imshow( "Source image", src );

HighGui.imshow( "Warp", warpDst );

HighGui.imshow( "Warp + Rotate", warpRotateDst );

Python

cv.imshow('Source image', src)

cv.imshow('Warp', warp_dst)

cv.imshow('Warp + Rotate', warp_rotate_dst)
我们只需要等待用户退出程序即可

C++

waitKey();

Java

HighGui.waitKey(0);

Python

cv.waitKey()

结果

编译上面的代码后，我们可以将图像路径作为参数传递给它。例如，对于如下所示的图片：

应用第一次仿射变换后，我们得到：

最后，应用负旋转（记住负数表示顺时针方向）和比例因子后，我们得到：


原作者	Ana Huamán
兼容性	OpenCV >= 3.0

目录

目标

理论

什么是仿射变换？

如何获得仿射变换？

代码

说明

结果