目标

在本教程中，您将学习如何

使用OpenCV函数 cv::warpAffine 实现简单的重映射例程。
使用OpenCV函数 cv::getRotationMatrix2D 获取一个 \(2 \times 3\) 旋转矩阵

理论

什么是仿射变换？

一种可以通过矩阵乘法（线性变换）然后进行向量加法（平移）来表示的变换。
由上可知，我们可以使用仿射变换来表达
1. 旋转（线性变换）
2. 平移（向量加法）
3. 缩放操作（线性变换）
您可以看到，仿射变换本质上表示了两个图像之间的关系。
表示仿射变换的常用方法是使用 \(2 \times 3\) 矩阵。

\[ A = \begin{bmatrix} a_{00} & a_{01} \\ a_{10} & a_{11} \end{bmatrix}_{2 \times 2} B = \begin{bmatrix} b_{00} \\ b_{10} \end{bmatrix}_{2 \times 1} \]

\[ M = \begin{bmatrix} A & B \end{bmatrix} = \begin{bmatrix} a_{00} & a_{01} & b_{00} \\ a_{10} & a_{11} & b_{10} \end{bmatrix}_{2 \times 3} \]

考虑到我们想使用 \(A\) 和 \(B\) 变换一个二维向量 \(X = \begin{bmatrix}x \\ y\end{bmatrix}\)，我们也可以通过以下方式实现：

\(T = A \cdot \begin{bmatrix}x \\ y\end{bmatrix} + B\) 或 \(T = M \cdot [x, y, 1]^{T}\)

\[T = \begin{bmatrix} a_{00}x + a_{01}y + b_{00} \\ a_{10}x + a_{11}y + b_{10} \end{bmatrix}\]

如何获取仿射变换？

我们提到仿射变换本质上是两个图像之间的关系。关于这种关系的信息大致可以通过两种方式获得：
1. 我们同时知道 \(X\) 和 \(T\)，并且知道它们之间存在关系。那么我们的任务就是找到 \(M\)
2. 我们知道 \(M\) 和 \(X\)。要获取 \(T\)，我们只需要应用 \(T = M \cdot X\)。关于 \(M\) 的信息可以是显式的（即拥有 2x3 矩阵），也可以是点之间的几何关系。
让我们更好地解释这一点（b）。由于 \(M\) 关联两个图像，我们可以分析最简单的情况，即它关联两个图像中的三个点。请看下图

点1、2和3（在图像1中形成一个三角形）被映射到图像2中，仍然形成一个三角形，但现在它们已经发生了显著变化。如果我们用这3个点找到仿射变换（您可以随意选择它们），那么我们就可以将这种找到的关系应用于图像中的所有像素。

代码

此程序的作用是什么？
- 加载图像
- 对图像应用仿射变换。此变换是通过三个点之间的关系获得的。我们为此使用函数 cv::warpAffine。
- 对变换后的图像应用旋转。此旋转是相对于图像中心的
- 等待用户退出程序

本教程的代码如下所示。您也可以点击此处下载。

#include "opencv2/imgcodecs.hpp"

#include "opencv2/highgui.hpp"

#include "opencv2/imgproc.hpp"

#include <iostream>

using namespace cv;

using namespace std;

int main( int argc, char** argv )

{

CommandLineParser parser( argc, argv, "{@input | lena.jpg | input image}" );

Mat src = imread( samples::findFile( parser.get<String>( "@input" ) ) );

if( src.empty() )

{

cout << "Could not open or find the image!\n" << endl;

cout << "Usage: " << argv[0] << " <Input image>" << endl;

return -1;

}

Point2f srcTri[3];

srcTri[0] = Point2f( 0.f, 0.f );

srcTri[1] = Point2f( src.cols - 1.f, 0.f );

srcTri[2] = Point2f( 0.f, src.rows - 1.f );

Point2f dstTri[3];

dstTri[0] = Point2f( 0.f, src.rows*0.33f );

dstTri[1] = Point2f( src.cols*0.85f, src.rows*0.25f );

dstTri[2] = Point2f( src.cols*0.15f, src.rows*0.7f );

Mat warp_mat = getAffineTransform( srcTri, dstTri );

Mat warp_dst = Mat::zeros( src.rows, src.cols, src.type() );

warpAffine( src, warp_dst, warp_mat, warp_dst.size() );

Point center = Point( warp_dst.cols/2, warp_dst.rows/2 );

double angle = -50.0;

double scale = 0.6;

Mat rot_mat = getRotationMatrix2D( center, angle, scale );

Mat warp_rotate_dst;

warpAffine( warp_dst, warp_rotate_dst, rot_mat, warp_dst.size() );

imshow( "Source image", src );

imshow( "Warp", warp_dst );

imshow( "Warp + Rotate", warp_rotate_dst );

cv::Mat::empty

return 0;

}

bool empty() const
如果数组没有元素，则返回 true。
int64_t int64

cv::Mat
n 维密集数组类
定义 mat.hpp:830

cv::Mat::size
MatSize size
定义 mat.hpp:2187

cv::Mat::cols
int cols
定义 mat.hpp:2165

定义 interface.h:61
cv::getTickFrequency
double getTickFrequency()

cv::Mat::rows
int rows
行和列的数量，如果矩阵维度超过2则为(-1, -1)
定义 mat.hpp:2165

cv::Mat::type
int type() const
返回矩阵元素的类型。

cv::Point_< float >

cv::String
std::string String
定义 cvstd.hpp:151

highgui.hpp

main
int main(int argc, char *argv[])
定义 highgui_qt.cpp:3

imgcodecs.hpp

imgproc.hpp

cv
定义 core.hpp:107

std
STL 命名空间。

本教程的代码如下所示。您也可以点击此处下载。
from __future__ import print_function

import cv2 as cv

import numpy as np

import argparse

parser = argparse.ArgumentParser(description='Code for Affine Transformations tutorial.')

parser.add_argument('--input', help='Path to input image.', default='lena.jpg')

args = parser.parse_args()

src = cv.imread(cv.samples.findFile(args.input))

if src is None

print('Could not open or find the image:', args.input)

exit(0)

srcTri = np.array( [[0, 0], [src.shape[1] - 1, 0], [0, src.shape[0] - 1]] ).astype(np.float32)

dstTri = np.array( [[0, src.shape[1]*0.33], [src.shape[1]*0.85, src.shape[0]*0.25], [src.shape[1]*0.15, src.shape[0]*0.7]] ).astype(np.float32)

warp_mat = cv.getAffineTransform(srcTri, dstTri)

warp_dst = cv.warpAffine(src, warp_mat, (src.shape[1], src.shape[0]))

# 仿射变换后旋转图像

center = (warp_dst.shape[1]//2, warp_dst.shape[0]//2)

angle = -50

scale = 0.6

rot_mat = cv.getRotationMatrix2D( center, angle, scale )

warp_rotate_dst = cv.warpAffine(warp_dst, rot_mat, (warp_dst.shape[1], warp_dst.shape[0]))

cv.imshow('Source image', src)

cv.imshow('Warp', warp_dst)

cv.imshow('Warp + Rotate', warp_rotate_dst)

cv.waitKey()

cv::samples::findFile
cv::String findFile(const cv::String &relative_path, bool required=true, bool silentMode=false)
尝试查找请求的数据文件。

cv::imshow
void imshow(const String &winname, InputArray mat)
在指定窗口中显示图像。

cv::waitKey
int waitKey(int delay=0)
等待按键按下。

cv::imread
CV_EXPORTS_W Mat imread(const String &filename, int flags=IMREAD_COLOR_BGR)
从文件加载图像。

cv::warpAffine
void warpAffine(InputArray src, OutputArray dst, InputArray M, Size dsize, int flags=INTER_LINEAR, int borderMode=BORDER_CONSTANT, const Scalar &borderValue=Scalar())
对图像应用仿射变换。

cv::getAffineTransform
Mat getAffineTransform(const Point2f src[], const Point2f dst[])
Calculates an affine transform from three pairs of the corresponding points.

cv::getRotationMatrix2D
Mat getRotationMatrix2D(Point2f center, double angle, double scale)
计算 2D 旋转的仿射矩阵。
Definition imgproc.hpp:2591

解释

加载图像

C++

CommandLineParser parser( argc, argv, "{@input | lena.jpg | input image}" );

Mat src = imread( samples::findFile( parser.get<String>( "@input" ) ) );

if( src.empty() )

{

cout << "Could not open or find the image!\n" << endl;

cout << "Usage: " << argv[0] << " <Input image>" << endl;

return -1;

}

Java

String filename = args.length > 0 ? args[0] : "../data/lena.jpg";

Mat src = Imgcodecs.imread(filename);

if (src.empty()) {

System.err.println("Cannot read image: " + filename);

System.exit(0);

}

Python

parser = argparse.ArgumentParser(description='Code for Affine Transformations tutorial.')

parser.add_argument('--input', help='Path to input image.', default='lena.jpg')

args = parser.parse_args()

src = cv.imread(cv.samples.findFile(args.input))

if src is None

print('Could not open or find the image:', args.input)

exit(0)
仿射变换：如上所述，我们需要两组3个点来推导仿射变换关系。请看

C++

Point2f srcTri[3];

srcTri[0] = Point2f( 0.f, 0.f );

srcTri[1] = Point2f( src.cols - 1.f, 0.f );

srcTri[2] = Point2f( 0.f, src.rows - 1.f );

Point2f dstTri[3];

dstTri[0] = Point2f( 0.f, src.rows*0.33f );

dstTri[1] = Point2f( src.cols*0.85f, src.rows*0.25f );

dstTri[2] = Point2f( src.cols*0.15f, src.rows*0.7f );

Java

Point[] srcTri = new Point[3];

srcTri[0] = new Point( 0, 0 );

srcTri[1] = new Point( src.cols() - 1, 0 );

srcTri[2] = new Point( 0, src.rows() - 1 );

Point[] dstTri = new Point[3];

dstTri[0] = new Point( 0, src.rows()*0.33 );

dstTri[1] = new Point( src.cols()*0.85, src.rows()*0.25 );

dstTri[2] = new Point( src.cols()*0.15, src.rows()*0.7 );

Python

srcTri = np.array( [[0, 0], [src.shape[1] - 1, 0], [0, src.shape[0] - 1]] ).astype(np.float32)

dstTri = np.array( [[0, src.shape[1]*0.33], [src.shape[1]*0.85, src.shape[0]*0.25], [src.shape[1]*0.15, src.shape[0]*0.7]] ).astype(np.float32)

您可能想绘制这些点，以便更好地了解它们如何变化。它们的位置与示例图（在理论部分）中所示的位置大致相同。您可能会注意到由3个点定义的三角形的大小和方向发生了变化。
有了这两组点，我们使用OpenCV函数 cv::getAffineTransform 计算仿射变换。

C++

Mat warp_mat = getAffineTransform( srcTri, dstTri );

Java

Mat warpMat = Imgproc.getAffineTransform( new MatOfPoint2f(srcTri), new MatOfPoint2f(dstTri) );

Python

warp_mat = cv.getAffineTransform(srcTri, dstTri)

我们得到一个 \(2 \times 3\) 矩阵作为输出（在本例中为 warp_mat）
然后我们将刚刚找到的仿射变换应用于源图像

C++

Mat warp_dst = Mat::zeros( src.rows, src.cols, src.type() );

warpAffine( src, warp_dst, warp_mat, warp_dst.size() );

Java

Mat warpDst = Mat.zeros( src.rows(), src.cols(), src.type() );

Imgproc.warpAffine( src, warpDst, warpMat, warpDst.size() );

Python

warp_dst = cv.warpAffine(src, warp_mat, (src.shape[1], src.shape[0]))

参数如下
- src: 输入图像
- warp_dst: 输出图像
- warp_mat: 仿射变换
- warp_dst.size(): 输出图像的期望尺寸
我们刚刚得到了第一张变换后的图像！我们将在一会儿显示它。在此之前，我们还想旋转它...
旋转：要旋转图像，我们需要知道两件事
1. 图像将围绕其旋转的中心
2. 要旋转的角度。在OpenCV中，正角度表示逆时针方向
3. 可选： 缩放因子
我们通过以下代码片段定义这些参数

C++

Point center = Point( warp_dst.cols/2, warp_dst.rows/2 );

double angle = -50.0;

double scale = 0.6;

Java

Point center = new Point(warpDst.cols() / 2, warpDst.rows() / 2);

double angle = -50.0;

double scale = 0.6;

Python

center = (warp_dst.shape[1]//2, warp_dst.shape[0]//2)

angle = -50

scale = 0.6
我们使用OpenCV函数 cv::getRotationMatrix2D 生成旋转矩阵，它返回一个 \(2 \times 3\) 矩阵（在本例中为 rot_mat）

C++

Mat rot_mat = getRotationMatrix2D( center, angle, scale );

Java

Mat rotMat = Imgproc.getRotationMatrix2D( center, angle, scale );

Python

rot_mat = cv.getRotationMatrix2D( center, angle, scale )
现在我们将找到的旋转应用于我们先前变换的输出图像

C++

Mat warp_rotate_dst;

warpAffine( warp_dst, warp_rotate_dst, rot_mat, warp_dst.size() );

Java

Mat warpRotateDst = new Mat();

Imgproc.warpAffine( warpDst, warpRotateDst, rotMat, warpDst.size() );

Python

warp_rotate_dst = cv.warpAffine(warp_dst, rot_mat, (warp_dst.shape[1], warp_dst.shape[0]))
最后，我们会在两个窗口中显示结果，并额外显示原始图像以作比较

C++

imshow( "Source image", src );

imshow( "Warp", warp_dst );

imshow( "Warp + Rotate", warp_rotate_dst );

Java

HighGui.imshow( "Source image", src );

HighGui.imshow( "Warp", warpDst );

HighGui.imshow( "Warp + Rotate", warpRotateDst );

Python

cv.imshow('Source image', src)

cv.imshow('Warp', warp_dst)

cv.imshow('Warp + Rotate', warp_rotate_dst)
我们只需等待用户退出程序

C++

waitKey();

Java

HighGui.waitKey(0);

Python

cv.waitKey()

结果

编译上述代码后，我们可以将图像路径作为参数传递。例如，对于一张图片，如下所示：

应用第一次仿射变换后，我们得到

最后，在应用负旋转（请记住负值表示顺时针）和缩放因子后，我们得到


原始作者	Ana Huamán
兼容性	OpenCV >= 3.0

目录

目标

理论

什么是仿射变换？

如何获取仿射变换？

代码

解释

结果