Mat——基本图像容器

目录

• 目标
• Mat
• 存储方法
• 显式创建 Mat 对象
• 输出格式
• 其他常见项目的输出

下一篇教程： 如何扫描图像、查找表以及用 OpenCV 进行时间测量

原作者	伯纳特·加博尔
兼容性	OpenCV >= 3.0

目标

我们可以通过多种方式从现实世界获取数字图像：数码相机、扫描仪、计算机断层扫描和磁共振成像等。在每一种情况下，我们（人类）看到的是图像。但是，当把图像转换为数字设备时，我们记录的是图像中每个点的数值。

例如，在上面的图像中，你可以看到汽车的反光镜只不过是一个包含像素点的所有强度值的矩阵。我们如何获取和存储像素值可能根据我们的需要而有所不同，但最终计算机世界中的所有图像都可以简化为数值矩阵以及描述矩阵本身的其他信息。OpenCV 是一个计算机视觉库，其主要目标是处理和操作此信息。因此，你需要首先熟悉 OpenCV 如何存储和处理图像。

Mat

OpenCV 由来已久，自 2001 年起便开始使用。那时，该库围绕着一个 C 接口构建，为了在内存中存储图像，他们使用了一种名为 IplImage 的 C 结构。这是你大多数旧教程和教学材料中会看到的结构。这带来的问题是，它保留了 C 语言的所有缺点。最大的问题是手动内存管理。它基于用户负责处理内存分配和释放的假设。当程序较小时，这并不是一个问题，但一旦你的代码库不断增长，处理所有这些将比关注解决开发目标更困难。

幸运的是，C++ 及时出现，引入了类的概念，通过自动内存管理（或多或少）为用户提供了便利。好消息是 C++ 完全兼容 C，所以不会造成兼容性问题。因此，OpenCV 2.0 引入了新的 C++ 接口，提供了一种新颖的方式，这意味着你无需处理内存管理，从而简化了你的代码（更少书写，更多成果）。C++ 接口的主要缺点在于目前许多嵌入式开发系统只支持 C。因此，除非你的目标是嵌入式平台，否则没有必要使用旧的方法（除非你是受虐程序员，并且主动找麻烦）。

你需要了解的第一个关于Mat 的内容是：你不再需要手动分配其内存，并在不再需要时立即释放其内存。虽然你仍然可以这样做，但大多数 OpenCV 函数会自动分配其输出数据。如果你传入已存在的Mat 对象，且该对象已分配矩阵所需空间，这样将作为一个不错的额外功能，这将被重复使用。换句话说，我们始终只使用完成任务所需的内存。

Mat 基本来说是一个包含两部分数据类：矩阵标头（包含大小之类的信息）矩阵，存储方法，存储在哪个地址的矩阵，等等）以及指向包含像素值的矩阵的指针（采用取决于所选存储方法的维度）。矩阵标头的大小是固定的，但是矩阵本身的大小可能根据图像的不同而有所不同，并且通常大几个数量级。

OpenCV 是一个图像处理库。它包含大量图像处理函数。要解决一个计算难题，你最终经常会使用该库中的多个函数。正因如此，将图像传递给函数是一种常见做法。我们不应忘记，我们正在讨论图像处理算法，这种算法往往具有较高运算负担。我们最不想做的就是通过制作潜在的大图像的无用副本，让你程序的速度进一步降低。

为了解决这个问题，OpenCV 使用一个引用计数系统。其思想是每个Mat 对象都有自己的标头，但是一个矩阵可以通过其矩阵指针指向同一个地址来在两个Mat 对象之间共享。此外，复制运算符将只复制标头和指向大矩阵的指针，而不是数据本身。

Mat A, C; // 仅创建标头部分
A = imread(argv[1], IMREAD_COLOR); // 在此处，我们将了解所用的方法（分配矩阵）
 
Mat B(A); // 使用复制构造函数
 
C = A; // 赋值运算符

最终，所有上述对象都指向同一单个数据矩阵，对任何对象的修改也会影响所有其他对象。实际上，不同的对象只是为同一底层数据提供不同的访问方法。但它们的头部分不同。比较有意思的是，您可以创建仅引用完整数据部分的头。例如，要在图像中创建感兴趣的区域 (ROI)，只需创建一个带有新边界的新的头

Mat D (A, Rect(10, 10, 100, 100) ); // 使用一个矩形
Mat E = A(Range::all(), Range(1,3)); // 使用行与列边界

现在，您会问，如果矩阵本身可能属于多个 Mat 对象，那么在不再需要它时，谁负责清理它？简短的回答是：使用它的最后一个对象。这通过使用引用计数机制来处理。每当有人复制 Mat 对象的头时，矩阵的计数器就会增加。每当清理头时，计数器就会减少。当计数器达到零时，矩阵就会释放。有时，您还会希望复制矩阵本身，因此 OpenCV 提供 cv::Mat::clone() 和 cv::Mat::copyTo() 函数。

Mat F = A.clone();
Mat G;
A.copyTo(G);

现在，修改 F 或 G 不会影响由 A 的头指向的矩阵。您需要记住，

• OpenCV 函数的输出图像分配是自动的（除非另有说明）。
• 使用 OpenCV 的 C++ 接口，您不必考虑内存管理。
• 赋值运算符和复制构造函数只会复制头。
• 可以使用 cv::Mat::clone() 和 cv::Mat::copyTo() 函数来复制图像的底层矩阵。

存储方法

这是有关您存储像素值的方式。可以选择使用的颜色空间和数据类型。颜色空间是指我们如何结合颜色分量为给定的颜色编码。最简单的是灰度，这种空间中的颜色是我们可用的黑色和白色。它们的组合使我们能创建许多灰度。

对于彩色方式，我们有更多的选择方法。其中每种方法将其分解为三个或四个基本组成部分，我们可以使用这些部分的组合来创建其他部分。最流行的是 RGB，主要是因为我们的眼睛也是这样构建颜色的。其基本颜色是红色、绿色和蓝色。为了对颜色的透明度进行编码，有时会添加第四个元素 alpha (A)。

然而，还有许多其他颜色系统，每个系统都有其自己的优点

• RGB 最为常见，因为我们的眼睛使用类似的东西，但请记住，OpenCV 标准显示系统使用 BGR 颜色空间（红色和蓝色通道交换位置）来构成颜色。
• HSV 和 HLS 将颜色分解为色调、饱和度和值/亮度组成部分，这是我们描述颜色的更自然的方式。例如，你可以丢弃最后一个组成部分，从而让你的算法对输入图像的光线条件不太敏感。
• 流行的 JPEG 图像格式使用 YCrCb。
• CIE L*a*b* 是感知均匀的颜色空间，如果你需要测量给定颜色与另一种颜色的距离，它会非常方便。

每个组成部分都有其自己的有效域。这导致使用了数据类型。我们如何存储一个组成部分定义了我们对它的域的控制。可能的最小的数据类型是char，表示一个字节或 8 位。这可能是无符号的（因此可以存储 0 到 255 的值）或有符号的（值从 -127 到 +127）。虽然这种宽度在三个组成部分（比如 RGB）的情况下已经给出了 1600 万种可能的颜色来表示，但我们可以通过为每个组成部分使用 float（4 字节 = 32 位）或 double（8 字节 = 64 位）数据类型来获得更精细的控制。不过，请记住，增加组成部分的大小也会增加内存中整个图片的大小。

明确地创建一个 Mat 对象

在加载、修改和存储一张图片教程中，你已经了解到如何使用 cv::imwrite()函数将一个矩阵写入一个图像文件。然而，为了调试目的，直接查看实际值要方便得多。你可以使用 Mat 的 << 运算符来执行此操作。请注意，这仅对二维矩阵有效。

虽然 Mat 作为图像容器非常好用，但它也是一个通用矩阵类。因此，可以创建和操作多维矩阵。你可以通过多种方式创建一个 Mat 对象

• cv::Mat::Mat 构造函数

  Mat M(2,2, CV_8UC3, Scalar(0,0,255));
  cout << "M = " << endl << " " << M << endl << endl;

对于二维及多通道图像，我们首先定义它们的维数：行和列计数。

然后我们需要指定数据类型，以用于存储元素和每个矩阵点的通道数。 为此，我们根据以下约定构建了多个定义

CV_[每项位数][有符号或无符号][类型前缀]C[通道号]

例如，CV_8UC3 意味着我们使用无符号 char 类型，长度为 8 位，每个像素具有三个 char 类型以形成三个通道。 对于最多四个通道，有预先定义的类型。 cv::Scalar 是四元素短向量。 指定它，您可以使用自定义值初始化所有矩阵点。 如果您需要更多，可以使用上方的宏创建类型，按如下所示将通道号置于圆括号中。

• 使用 C/C++ 数组并通过构造函数进行初始化

      int sz[3] = {2,2,2};
  Mat L(3,sz, CV_8UC(1), Scalar::all(0));

  上面的示例展示了如何创建具有多个维度的矩阵。 指定其维数，然后传入一个指针，其中包含每个维度的维数，其余部分保持不变。

• cv::Mat::create 函数

  M.create(4,4, CV_8UC(2));
  cout << "M = "<< endl << " " << M << endl << endl;

您无法使用此构造函数对矩阵值进行初始化。 它只会在新维数不适合旧维数的情况下重新分配其矩阵数据内存。

• MATLAB 样式初始化程序：cv::Mat::zeros 、cv::Mat::ones 、cv::Mat::eye 。 指定要使用的维数和数据类型

  Mat E = Mat::eye(4, 4, CV_64F);
  cout << "E = " << endl << " " << E << endl << endl;
  Mat O = Mat::ones(2, 2, CV_32F);
  cout << "O = " << endl << " " << O << endl << endl;
  Mat Z = Mat::zeros(3,3, CV_8UC1);
  cout << "Z = " << endl << " " << Z << endl << endl;

• 对于较小的矩阵，您可以使用以逗号分隔的初始值设定项或初始值设置列表（如果在最后一种情况下，必须支持 C++11）

  Mat C = (Mat_<double>(3,3) << 0, -1, 0, -1, 5, -1, 0, -1, 0);
  cout << "C = " << endl << " " << C << endl << endl;

  C = (Mat_<double>({0, -1, 0, -1, 5, -1, 0, -1, 0})).reshape(3);
  cout << "C = " << endl << " " << C << endl << endl;

• 为现有的 Mat 对象创建一个新的标题，以及 cv::Mat::clone 或 cv::Mat::copyTo。

  Mat RowClone = C.row(1).clone();
  cout << "RowClone = " << endl << " " << RowClone << endl << endl;

注意

您可以使用 cv::randu() 函数用随机值填充矩阵。您需要为随机值提供下限和上限

Mat R = Mat(3, 2, CV_8UC3);
randu(R, Scalar::all(0), Scalar::all(255));

输出格式化

在上述示例中，您可以看到默认格式化选项。然而，OpenCV 允许您格式化矩阵的输出

• 默认

  cout << "R (default) = " << endl << R << endl << endl;

  

• Python

  cout << "R (python) = " << endl << format(R, Formatter::FMT_PYTHON) << endl << endl;

  

• 以逗号分隔的值 (CSV)

  cout << "R (csv) = " << endl << format(R, Formatter::FMT_CSV ) << endl << endl;

  

• Numpy

  cout << "R (numpy) = " << endl << format(R, Formatter::FMT_NUMPY ) << endl << endl;

  

• C

  cout << "R (c) = " << endl << format(R, Formatter::FMT_C ) << endl << endl;

  

其他常见项目的输出

OpenCV 也通过 << 运算符提供对其他常见 OpenCV 数据结构的输出支持

• 2D 点

  Point2f P(5, 1);
  cout << "Point (2D) = " << P << endl << endl;

  

• 3D 点

  Point3f P3f(2, 6, 7);
  cout << "Point (3D) = " << P3f << endl << endl;

  

• std::vector 通过 cv::Mat

  vector<float> v;
  v.push_back( (float)CV_PI); v.push_back(2); v.push_back(3.01f);
  cout << “向量化浮点通过 Mat =” << Mat(v) << endl << endl;

  

• 点标准向量

  vector<Point2f> vPoints(20);
      for (size_t i = 0; i < vPoints.size(); ++i)
  vPoints[i] = Point2f((float)(i * 5), (float)(i % 7));
  cout << "2D 点向量 = " << vPoints << endl << endl;

  

此处的大部分示例都包含在一个小控制台应用程序中。您可以从 此处 或 cpp 示例的核心中下载它。

您还可以在 YouTube 上找到此简短的视频演示。