Mat - 基本图像容器

目录

• 目标
• Mat
• 存储方法
• 显式创建Mat对象
• 输出格式化
• 其他常见项的输出

下个教程： 如何使用OpenCV扫描图像、查找表和时间测量

原始作者	Bernát Gábor
兼容性	OpenCV >= 3.0

目标

我们有多种方法从现实世界获取数字图像：数码相机、扫描仪、计算机断层扫描和磁共振成像等。在每种情况下，我们（人类）看到的是图像。然而，当将其转换到我们的数字设备时，我们记录的是图像中每个点的数值。

例如，在上图中，您可以看到汽车的后视镜不过是一个包含像素点所有强度值的矩阵。我们获取和存储像素值的方式可能根据我们的需求而异，但最终计算机世界中的所有图像都可以简化为数值矩阵以及描述矩阵本身的其它信息。OpenCV 是一个计算机视觉库，其主要焦点是处理和操作这些信息。因此，您需要熟悉的第一件事就是OpenCV如何存储和处理图像。

Mat

OpenCV自2001年开始出现。那时，该库是围绕C接口构建的，为了在内存中存储图像，他们使用了一个名为IplImage的C结构。这是您在大多数旧教程和教育材料中会看到的。这样做的问题是它带来了C语言的所有缺点。最大的问题是手动内存管理。它建立在用户负责处理内存分配和释放的假设上。虽然这对于较小的程序不是问题，但一旦您的代码库增长，处理所有这些将比专注于解决开发目标更困难。

幸运的是，C++出现了并引入了类的概念，通过自动内存管理（或多或少）让用户更容易使用。好消息是C++与C完全兼容，因此更改不会引起兼容性问题。因此，OpenCV 2.0引入了一个新的C++接口，它提供了一种新的操作方式，这意味着您无需处理内存管理，使您的代码更简洁（编写更少，实现更多）。C++接口的主要缺点是，目前许多嵌入式开发系统只支持C。因此，除非您正在开发嵌入式平台，否则没有必要使用旧方法（除非您是自虐型程序员并自找麻烦）。

关于Mat，您需要知道的第一件事是，您不再需要手动分配和释放其内存。虽然这样做仍然是一种可能性，但大多数OpenCV函数将自动分配其输出数据。一个额外的好处是，如果您传递一个已存在的Mat对象，并且该对象已经分配了矩阵所需的空间，那么该空间将被重用。换句话说，我们始终只使用完成任务所需的内存量。

Mat基本上是一个包含两个数据部分的类：矩阵头（包含矩阵大小、存储方法、矩阵存储地址等信息）和指向包含像素值的矩阵的指针（根据所选存储方法，具有任何维度）。矩阵头的大小是常量，但矩阵本身的大小可能因图像而异，通常会大几个数量级。

OpenCV是一个图像处理库。它包含大量的图像处理函数。为了解决计算挑战，大多数情况下您最终会使用库中的多个函数。因此，将图像传递给函数是一种常见做法。我们不应忘记，我们谈论的是图像处理算法，它们往往计算量很大。我们最不想做的事情是由于不必要的复制可能大型的图像而进一步降低程序的运行速度。

为了解决这个问题，OpenCV使用了一个引用计数系统。其思想是每个Mat对象都有自己的头部，但一个矩阵可以通过让其矩阵指针指向同一地址而在两个Mat对象之间共享。此外，复制操作符只会复制头部和大矩阵的指针，而不会复制数据本身。

Mat A, C; // 仅创建头部部分
A = imread(argv[1], IMREAD_COLOR); // 这里我们将知道使用的方法（分配矩阵）
 
Mat B(A); // 使用复制构造函数
 
C = A; // 赋值运算符

所有上述对象最终都指向同一个单一数据矩阵，并且使用其中任何一个进行修改都将影响所有其他对象。实际上，不同的对象只是提供了访问相同底层数据的不同方法。然而，它们的头部是不同的。真正有趣的部分是，您可以创建只引用完整数据子部分的头部。例如，要在图像中创建感兴趣区域（ROI），您只需创建一个带有新边界的新头部

Mat D (A, Rect(10, 10, 100, 100) ); // 使用矩形
Mat E = A(Range::all(), Range(1,3)); // 使用行和列边界

现在您可能会问——如果矩阵本身可以属于多个Mat对象，那么当它不再需要时，谁负责清理它呢？简短的回答是：最后一个使用它的对象。这是通过引用计数机制处理的。每当有人复制一个Mat对象的头部时，矩阵的计数器就会增加。每当一个头部被清理时，这个计数器就会减少。当计数器达到零时，矩阵就会被释放。有时您也会想复制矩阵本身，所以OpenCV提供了cv::Mat::clone()和cv::Mat::copyTo()函数。

Mat F = A.clone();
Mat G;
A.copyTo(G);

现在修改F或G将不会影响A的头部所指向的矩阵。您需要记住的是：

• OpenCV函数的输出图像分配是自动的（除非另有指定）。
• 使用OpenCV的C++接口时，您无需考虑内存管理。
• 赋值运算符和复制构造函数仅复制头部。
• 图像的底层矩阵可以使用cv::Mat::clone()和cv::Mat::copyTo()函数进行复制。

存储方法

这关系到你如何存储像素值。你可以选择颜色空间和使用的数据类型。颜色空间指的是我们如何组合颜色分量以编码给定的颜色。最简单的是灰度，我们可用的颜色是黑色和白色。它们的组合使我们能够创建许多灰色阴影。

对于彩色方式，我们有更多方法可供选择。每种方法都将其分解为三到四个基本分量，我们可以利用这些分量的组合来创建其他颜色。最流行的是RGB，主要是因为这也是我们眼睛构建颜色的方式。它的基本颜色是红色、绿色和蓝色。为了编码颜色的透明度，有时会添加第四个元素，即阿尔法（A）。

然而，还有许多其他颜色系统，每种都有其自身的优点

• RGB是最常见的，因为我们的眼睛使用类似的方式，但请记住OpenCV的标准显示系统使用BGR颜色空间（红色和蓝色通道互换位置）来组合颜色。
• HSV和HLS将颜色分解为色相、饱和度和值/亮度分量，这对于我们来说是一种更自然的描述颜色的方式。例如，您可以忽略最后一个分量，使您的算法对输入图像的光照条件不那么敏感。
• YCrCb 被流行的 JPEG 图像格式使用。
• CIE L*a*b* 是一种感知均匀的色彩空间，如果您需要测量给定颜色与另一颜色之间的“距离”，它会非常方便。

每个组成部分都有其有效的域。这导致了所使用的数据类型。我们存储一个分量的方式决定了我们对其域的控制。可能最小的数据类型是char，这意味着一个字节或8位。它可以是无符号的（因此可以存储0到255的值）或有符号的（-127到+127的值）。尽管在三个分量（如RGB）的情况下，这种宽度已经可以表示1600万种可能的颜色，但我们可以通过对每个分量使用float（4字节=32位）或double（8字节=64位）数据类型来获得更精细的控制。然而，请记住，增加分量的大小也会增加内存中整个图片的大小。

显式创建Mat对象

在图像入门教程中，您已经学会了如何使用cv::imwrite()函数将矩阵写入图像文件。然而，为了调试目的，查看实际值更为方便。您可以使用Mat的<<运算符来完成此操作。请注意，这仅适用于二维矩阵。

虽然Mat作为图像容器非常好用，但它也是一个通用的矩阵类。因此，可以创建和操作多维矩阵。您可以通过多种方式创建Mat对象

• cv::Mat::Mat 构造函数

      Mat M(2,2, CV_8UC3, Scalar(0,0,255));
  cout << "M = " << endl << " " << M << endl << endl;

对于二维和多通道图像，我们首先定义它们的大小：行和列计数。

然后我们需要指定用于存储元素的数据类型和每个矩阵点的通道数。为此，我们有根据以下约定构建的多种定义

CV_[每项位数][有符号或无符号][类型前缀]C[通道数]

例如，CV_8UC3意味着我们使用8位长的无符号字符类型，每个像素有三个这样的通道来组成三个通道。预定义了最多四个通道的类型。cv::Scalar是四元素短向量。指定它，您可以用自定义值初始化所有矩阵点。如果需要更多，您可以使用上方宏创建类型，像下面这样在括号中设置通道数。

• 使用 C/C++ 数组并通过构造函数初始化

      int sz[3] = {2,2,2};
      Mat L(3,sz, CV_8UC(1), Scalar::all(0));

  上面的例子展示了如何创建超过两维的矩阵。指定其维度，然后传入一个包含每个维度大小的指针，其余保持不变。

• cv::Mat::create 函数

  M.create(4,4, CV_8UC(2));
  cout << "M = "<< endl << " " << M << endl << endl;

您无法使用此构造函数初始化矩阵值。它只会在新大小不适合旧内存时重新分配其矩阵数据内存。

• MATLAB 风格的初始化器： cv::Mat::zeros , cv::Mat::ones , cv::Mat::eye 。指定大小和要使用的数据类型

      Mat E = Mat::eye(4, 4, CV_64F);
  cout << "E = " << endl << " " << E << endl << endl;
      Mat O = Mat::ones(2, 2, CV_32F);
  cout << "O = " << endl << " " << O << endl << endl;
      Mat Z = Mat::zeros(3,3, CV_8UC1);
  cout << "Z = " << endl << " " << Z << endl << endl;

• 对于小矩阵，您可以使用逗号分隔的初始化器或初始化列表（后一种情况需要C++11支持）

      Mat C = (Mat_<double>(3,3) << 0, -1, 0, -1, 5, -1, 0, -1, 0);
  cout << "C = " << endl << " " << C << endl << endl;

  C = (Mat_<double>({0, -1, 0, -1, 5, -1, 0, -1, 0})).reshape(3);
  cout << "C = " << endl << " " << C << endl << endl;

• 为现有Mat对象创建一个新头，并对其进行cv::Mat::clone或cv::Mat::copyTo操作。

      Mat RowClone = C.row(1).clone();
  cout << "RowClone = " << endl << " " << RowClone << endl << endl;

注意

您可以使用 cv::randu() 函数填充矩阵的随机值。您需要提供随机值的下限和上限

    Mat R = Mat(3, 2, CV_8UC3);
    randu(R, Scalar::all(0), Scalar::all(255));

输出格式化

在上面的例子中，您可以看到默认的格式化选项。然而，OpenCV允许您格式化矩阵输出

• 默认

  cout << "R (default) = " << endl << R << endl << endl;

  

• Python

  cout << "R (python) = " << endl << format(R, Formatter::FMT_PYTHON) << endl << endl;

  

• 逗号分隔值（CSV）

  cout << "R (csv) = " << endl << format(R, Formatter::FMT_CSV ) << endl << endl;

  

• Numpy

  cout << "R (numpy) = " << endl << format(R, Formatter::FMT_NUMPY ) << endl << endl;

  

• C

  cout << "R (c) = " << endl << format(R, Formatter::FMT_C ) << endl << endl;

  

其他常见项的输出

OpenCV 还通过 << 运算符支持输出其他常见的 OpenCV 数据结构

• 二维点

      Point2f P(5, 1);
  cout << "Point (2D) = " << P << endl << endl;

  

• 三维点

      Point3f P3f(2, 6, 7);
  cout << "Point (3D) = " << P3f << endl << endl;

  

• std::vector 通过 cv::Mat

  vector<float> v;
  v.push_back( (float)CV_PI); v.push_back(2); v.push_back(3.01f);
  cout << "Vector of floats via Mat = " << Mat(v) << endl << endl;

  

• 点的std::vector

  vector<Point2f> vPoints(20);
      for (size_t i = 0; i < vPoints.size(); ++i)
  vPoints[i] = Point2f((float)(i * 5), (float)(i % 7));
  cout << "A vector of 2D Points = " << vPoints << endl << endl;

  

这里的大部分示例都已包含在一个小型控制台应用程序中。您可以从这里或cpp示例的核心部分下载。

您还可以在YouTube上找到此内容的快速视频演示。