Mat——基本图像容器

目录

• 目标
• Mat
• 存储方法
• 显式创建 Mat 对象
• 输出格式
• 其他常用项目的输出

下一个教程： 如何使用 OpenCV 扫描图像、查找表和时间测量

原作者	Bernát Gábor
兼容性	OpenCV >= 3.0

目标

我们有多种方法可以从现实世界获取数字图像：数码相机、扫描仪、计算机断层扫描和磁共振成像等。在每种情况下，我们（人类）看到的都是图像。但是，当将其转换为我们的数字设备时，我们记录的是图像每个点的数值。

例如，在上图中，您可以看到汽车的镜像只不过是一个包含所有像素点强度值的矩阵。我们获取和存储像素值的方法可能会根据我们的需求而有所不同，但最终，计算机世界中的所有图像都可以简化为数值矩阵和其他描述矩阵本身的信息。OpenCV是一个计算机视觉库，其主要重点是处理和操作这些信息。因此，您首先需要熟悉 OpenCV 如何存储和处理图像。

Mat

OpenCV 自 2001 年以来就存在了。在那些日子里，该库是围绕 C 接口构建的，为了在内存中存储图像，他们使用了名为 IplImage 的 C 结构。这是您在大多数较旧的教程和教育材料中看到的结构。问题是它带来了 C 语言的所有缺点。最大的问题是手动内存管理。它基于这样的假设：用户负责处理内存分配和释放。虽然这在较小的程序中不是问题，但是一旦您的代码库增长，处理所有这些将比专注于解决您的开发目标更困难。

幸运的是，C++ 出现了并引入了类的概念，通过自动内存管理（或多或少）使用户更容易操作。好消息是 C++ 与 C 完全兼容，因此更改不会产生任何兼容性问题。因此，OpenCV 2.0 引入了一个新的 C++ 接口，它提供了一种新的做事方法，这意味着您无需处理内存管理，从而使您的代码简洁（编写更少，实现更多）。C++ 接口的主要缺点是目前许多嵌入式开发系统仅支持 C。因此，除非您以嵌入式平台为目标，否则使用旧方法是没有意义的（除非您是一位受虐狂程序员，并且自找麻烦）。

关于 Mat，您首先需要了解的是，您不再需要手动分配其内存并在不需要时立即释放它。虽然仍然可以这样做，但是大多数 OpenCV 函数会自动分配其输出数据。作为额外的好处，如果您传递一个已经存在的 Mat 对象（该对象已经为矩阵分配了所需的空间），则将重用该空间。换句话说，我们始终只使用执行任务所需的内存量。

Mat 本质上是一个包含两个数据部分的类：矩阵头（包含诸如矩阵大小、使用的存储方法、矩阵存储的地址等等信息）和指向包含像素值的矩阵的指针（根据选择的存储方法采用任何维度）。矩阵头的大小是恒定的，但是矩阵本身的大小会因图像而异，通常数量级更大。

OpenCV 是一个图像处理库。它包含大量图像处理函数。为了解决计算难题，大多数情况下您最终会使用该库的多个函数。因此，将图像传递给函数是一种常见的做法。我们不应忘记我们正在谈论图像处理算法，这些算法往往非常耗费计算资源。我们最不想做的事情是通过不必要地复制可能很大的图像来进一步降低程序的速度。

为了解决这个问题，OpenCV 使用引用计数系统。其思想是每个 Mat 对象都有自己的头，但是一个矩阵可以通过让它们的矩阵指针指向同一个地址来在两个 Mat 对象之间共享。此外，复制运算符只会复制头和指向大型矩阵的指针，而不是数据本身。

Mat A, C; // 只创建头部分
A = imread(argv[1], IMREAD_COLOR); // 在这里我们将知道使用的方法（分配矩阵）
 
Mat B(A); // 使用复制构造函数
 
C = A; // 赋值运算符

最终，所有上述对象都指向同一个数据矩阵，使用任何一个对象进行修改都将影响所有其他对象。实际上，不同的对象只是提供了对相同底层数据的不同访问方法。然而，它们的头部分是不同的。真正有趣的部分是您可以创建仅引用完整数据子部分的头。例如，要在图像中创建感兴趣区域 (ROI)，您只需创建一个具有新边界的新头

Mat D (A, Rect(10, 10, 100, 100) ); // 使用矩形
Mat E = A(Range::all(), Range(1,3)); // 使用行和列边界

现在您可能会问——如果矩阵本身可能属于多个 Mat 对象，那么谁负责在不再需要时清理它？简短的答案是：最后一个使用它的对象。这是通过使用引用计数机制来处理的。每当有人复制 Mat 对象的头时，矩阵的计数器就会增加。每当头被清理时，此计数器就会减少。当计数器达到零时，矩阵将被释放。有时您也希望复制矩阵本身，因此 OpenCV 提供了 cv::Mat::clone() 和 cv::Mat::copyTo() 函数。

Mat F = A.clone();
Mat G;
A.copyTo(G);

现在修改 F 或 G 将不会影响 A 的头指向的矩阵。您需要记住的是

• OpenCV 函数的输出图像分配是自动的（除非另有说明）。
• 您无需考虑 OpenCV 的 C++ 接口的内存管理。
• 赋值运算符和复制构造函数只复制头部。
• 图像的底层矩阵可以使用 cv::Mat::clone() 和 cv::Mat::copyTo() 函数进行复制。

存储方法

这部分介绍如何存储像素值。您可以选择使用的颜色空间和数据类型。颜色空间指的是我们如何组合颜色分量来编码给定颜色。最简单的是灰度，其中可用的颜色只有黑白。它们的组合可以创建许多灰度。

对于彩色图像，我们有更多方法可供选择。每种方法都将其分解为三个或四个基本分量，我们可以使用它们的组合来创建其他颜色。最流行的是 RGB，主要是因为这也是我们眼睛构建颜色的方式。它的基色是红、绿和蓝。为了编码颜色的透明度，有时会添加第四个元素 alpha (A)。

然而，还有许多其他的颜色系统，每个都有其自身的优点。

• RGB 最常见，因为我们的眼睛使用类似的系统，但是请记住，OpenCV 标准显示系统使用 BGR 颜色空间合成颜色（红色和蓝色通道互换）。
• HSV 和 HLS 将颜色分解为色调、饱和度和值/亮度分量，这是一种更自然的方式来描述颜色。例如，您可以忽略最后一个分量，使您的算法对输入图像的光照条件不太敏感。
• YCrCb 用于流行的 JPEG 图片格式。
• CIE L*a*b* 是一个感知均匀的颜色空间，如果您需要测量给定颜色与另一种颜色的距离，它会非常方便。

每个构建分量都有其自身的有效域。这决定了使用的数据类型。我们如何存储一个分量决定了我们对其域的控制程度。最小的数据类型是char，这意味着一个字节或 8 位。这可以是无符号的（因此可以存储 0 到 255 的值）或有符号的（-127 到 +127 的值）。虽然在三个分量（如 RGB）的情况下，这种宽度已经可以表示 1600 万种可能的颜色，但我们可以通过为每个分量使用 float（4 字节 = 32 位）或 double（8 字节 = 64 位）数据类型来获得更精细的控制。但是，请记住，增加分量的大小也会增加内存中整个图像的大小。

显式创建 Mat 对象

在加载、修改和保存图像 教程中，您已经学习了如何使用 cv::imwrite() 函数将矩阵写入图像文件。但是，为了调试目的，查看实际的值会方便得多。您可以使用Mat的 << 运算符来做到这一点。请注意，这仅适用于二维矩阵。

虽然Mat作为图像容器非常好用，但它也是一个通用的矩阵类。因此，可以创建和操作多维矩阵。您可以通过多种方式创建 Mat 对象。

• cv::Mat::Mat 构造函数

      Mat M(2,2, CV_8UC3, Scalar(0,0,255));
  cout << "M = " << endl << " " << M << endl << endl;

对于二维和多通道图像，我们首先定义它们的大小：行和列计数。

然后，我们需要指定用于存储元素的数据类型和每个矩阵点上的通道数。为此，我们根据以下约定构建多个定义

CV_[每个项的位数][有符号或无符号][类型前缀]C[通道数]

例如，CV_8UC3 表示我们使用长度为 8 位的无符号 char 类型，每个像素有三个这样的类型来构成三个通道。有为最多四个通道预定义的类型。cv::Scalar 是一个四元素短向量。指定它，您可以使用自定义值初始化所有矩阵点。如果您需要更多，您可以使用上面的宏创建类型，如下所示设置括号中的通道数。

• 使用 C/C++ 数组并通过构造函数初始化

      int sz[3] = {2,2,2};
      Mat L(3,sz, CV_8UC(1), Scalar::all(0));

  上面的例子展示了如何创建一个具有多个维度的矩阵。指定其维度，然后传递一个包含每个维度大小的指针，其余部分保持不变。

• cv::Mat::create 函数

  M.create(4,4, CV_8UC(2));
  cout << "M = "<< endl << " " << M << endl << endl;

使用这种构造方法不能初始化矩阵值。它只会重新分配矩阵数据内存，如果新大小不适合旧大小。

• MATLAB 风格的初始化器：cv::Mat::zeros , cv::Mat::ones , cv::Mat::eye 。指定大小和要使用的数据类型

      Mat E = Mat::eye(4, 4, CV_64F);
  cout << "E = " << endl << " " << E << endl << endl;
      Mat O = Mat::ones(2, 2, CV_32F);
  cout << "O = " << endl << " " << O << endl << endl;
      Mat Z = Mat::zeros(3,3, CV_8UC1);
  cout << "Z = " << endl << " " << Z << endl << endl;

• 对于小型矩阵，您可以使用逗号分隔的初始化器或初始化列表（后一种情况需要 C++11 支持）

      Mat C = (Mat_<double>(3,3) << 0, -1, 0, -1, 5, -1, 0, -1, 0);
  cout << "C = " << endl << " " << C << endl << endl;

  C = (Mat_<double>({0, -1, 0, -1, 5, -1, 0, -1, 0})).reshape(3);
  cout << "C = " << endl << " " << C << endl << endl;

• 为现有Mat对象创建一个新的头部，并cv::Mat::clone 或 cv::Mat::copyTo 它。

      Mat RowClone = C.row(1).clone();
  cout << "RowClone = " << endl << " " << RowClone << endl << endl;

注意

您可以使用 cv::randu() 函数用随机值填充矩阵。您需要为随机值提供上限和下限。

    Mat R = Mat(3, 2, CV_8UC3);
    randu(R, Scalar::all(0), Scalar::all(255));

输出格式

在上面的例子中，您可以看到默认的格式选项。但是，OpenCV允许您格式化矩阵输出。

• 默认

  cout << "R (default) = " << endl << R << endl << endl;

  

• Python

  cout << "R (python) = " << endl << format(R, Formatter::FMT_PYTHON) << endl << endl;

  

• 逗号分隔值 (CSV)

  cout << "R (csv) = " << endl << format(R, Formatter::FMT_CSV ) << endl << endl;

  

• NumPy

  cout << "R (numpy) = " << endl << format(R, Formatter::FMT_NUMPY ) << endl << endl;

  

• C

  cout << "R (c) = " << endl << format(R, Formatter::FMT_C ) << endl << endl;

  

其他常用项目的输出

OpenCV 还支持通过 << 运算符输出其他常用的 OpenCV 数据结构。

• 二维点

      Point2f P(5, 1);
  cout << "Point (2D) = " << P << endl << endl;

  

• 三维点

      Point3f P3f(2, 6, 7);
  cout << "Point (3D) = " << P3f << endl << endl;

  

• 通过 cv::Mat 输出 std::vector

  vector<float> v;
  v.push_back( (float)CV_PI); v.push_back(2); v.push_back(3.01f);
  cout << "Vector of floats via Mat = " << Mat(v) << endl << endl;

  

• 点类型的 std::vector

  vector<Point2f> vPoints(20);
      for (size_t i = 0; i < vPoints.size(); ++i)
  vPoints[i] = Point2f((float)(i * 5), (float)(i % 7));
  cout << "A vector of 2D Points = " << vPoints << endl << endl;

  

这里的大多数示例都包含在一个小型控制台应用程序中。您可以从 这里 或 cpp 示例的核心部分下载它。

您还可以在 YouTube 上找到此视频的快速演示。