图像基本操作

目标

• 学习如何访问图像属性
• 学习如何构造 Mat
• 学习如何复制 Mat
• 学习如何转换 Mat 的类型
• 学习如何使用 MatVector
• 学习如何访问像素值并修改它们
• 学习如何设置感兴趣区域 (ROI)
• 学习如何分割和合并图像

访问图像属性

图像属性包括行数、列数和大小、深度、通道数以及图像数据类型。

let src = cv.imread("canvasInput");
console.log('图像宽度: ' + src.cols + '\n' +
'图像高度: ' + src.rows + '\n' +
'图像大小: ' + src.size().width + '*' + src.size().height + '\n' +
'图像深度: ' + src.depth() + '\n' +
'图像通道数: ' + src.channels() + '\n' +
'图像类型: ' + src.type() + '\n');

注意

src.type() 在调试时非常重要，因为 OpenCV.js 代码中的许多错误都是由无效的数据类型引起的。

如何构造 Mat

有 4 个基本构造函数

// 1. 默认构造函数
let mat = new cv.Mat();
// 2. 通过大小和类型创建二维数组
let mat = new cv.Mat(size, type);
// 3. 通过行数、列数和类型创建二维数组
let mat = new cv.Mat(rows, cols, type);
// 4. 通过行数、列数、类型和初始化值创建二维数组
let mat = new cv.Mat(rows, cols, type, new cv.Scalar());

有 3 个静态函数

// 1. 创建一个全为零的 Mat
let mat = cv.Mat.zeros(rows, cols, type);
// 2. 创建一个全为一的 Mat
let mat = cv.Mat.ones(rows, cols, type);
// 3. 创建一个单位矩阵 Mat
let mat = cv.Mat.eye(rows, cols, type);

有 2 个工厂函数

// 1. 使用 JS 数组构造 Mat。
// 例如：let mat = cv.matFromArray(2, 2, cv.CV_8UC1, [1, 2, 3, 4]);
let mat = cv.matFromArray(rows, cols, type, array);
// 2. 使用 imgData 构造 Mat
let ctx = canvas.getContext("2d");
let imgData = ctx.getImageData(0, 0, canvas.width, canvas.height);
let mat = cv.matFromImageData(imgData);

注意

不要忘记在不再使用 cv.Mat 时将其删除。

如何复制 Mat

有两种方法可以复制 Mat

// 1. 克隆
let dst = src.clone();
// 2. copyTo（仅复制掩码中指示的条目）
src.copyTo(dst, mask);

如何转换 Mat 的类型

我们使用函数：convertTo(m, rtype, alpha = 1, beta = 0)

参数

m	输出矩阵；如果在操作之前没有合适的大小或类型，则会重新分配。
rtype	所需的输出矩阵类型，或者说是深度，因为通道数与输入相同；如果 rtype 为负，则输出矩阵将与输入具有相同的类型。
alpha	可选比例因子。
beta	添加到缩放值的可选增量。

src.convertTo(dst, rtype);

如何使用 MatVector

let mat = new cv.Mat();
// 初始化 MatVector
let matVec = new cv.MatVector();
// 将 Mat 推入 MatVector
matVec.push_back(mat);
// 从 MatVector 获取 Mat
let cnt = matVec.get(0);
mat.delete(); matVec.delete(); cnt.delete();

注意

不要忘记在不再使用 cv.Mat、cv.MatVector 和 cnt（从 MatVector 获取的 Mat）时将其删除。

访问和修改像素值

首先，您应该了解以下类型关系

数据属性	C++ 类型	JavaScript 类型化数组	Mat 类型
data	uchar	Uint8Array	CV_8U
data8S	char	Int8Array	CV_8S
data16U	ushort	Uint16Array	CV_16U
data16S	short	Int16Array	CV_16S
data32S	int	Int32Array	CV_32S
data32F	float	Float32Array	CV_32F
data64F	double	Float64Array	CV_64F

1. data

let row = 3, col = 4;
let src = cv.imread("canvasInput");
if (src.isContinuous()) {
let R = src.data[row * src.cols * src.channels() + col * src.channels()];
let G = src.data[row * src.cols * src.channels() + col * src.channels() + 1];
let B = src.data[row * src.cols * src.channels() + col * src.channels() + 2];
let A = src.data[row * src.cols * src.channels() + col * src.channels() + 3];
}

注意

数据操作仅对连续的 Mat 有效。您应该首先使用 isContinuous() 进行检查。

2. at

Mat 类型	At 操作
CV_8U	ucharAt
CV_8S	charAt
CV_16U	ushortAt
CV_16S	shortAt
CV_32S	intAt
CV_32F	floatAt
CV_64F	doubleAt

let row = 3, col = 4;
let src = cv.imread("canvasInput");
let R = src.ucharAt(row, col * src.channels());
let G = src.ucharAt(row, col * src.channels() + 1);
let B = src.ucharAt(row, col * src.channels() + 2);
let A = src.ucharAt(row, col * src.channels() + 3);

注意

At 操作仅用于单通道访问，并且值无法修改。

3. ptr

Mat 类型	Ptr 操作	JavaScript 类型化数组
CV_8U	ucharPtr	Uint8Array
CV_8S	charPtr	Int8Array
CV_16U	ushortPtr	Uint16Array
CV_16S	shortPtr	Int16Array
CV_32S	intPtr	Int32Array
CV_32F	floatPtr	Float32Array
CV_64F	doublePtr	Float64Array

let row = 3, col = 4;
let src = cv.imread("canvasInput");
let pixel = src.ucharPtr(row, col);
let R = pixel[0];
let G = pixel[1];
let B = pixel[2];
let A = pixel[3];

mat.ucharPtr(k) 获取 mat 的第 k 行。mat.ucharPtr(i, j) 获取 mat 的第 i 行和第 j 列。

图像 ROI

有时，您需要处理图像的某些区域。对于图像中的眼睛检测，首先在整个图像上进行人脸检测，当获得人脸后，我们单独选择人脸区域并在其中搜索眼睛，而不是搜索整个图像。它提高了精度（因为眼睛总是在脸上）和性能（因为我们搜索的是一个小区域）

我们使用函数：roi (rect)

参数

rect

感兴趣区域矩形。

试一试

分割和合并图像通道

有时您需要分别处理图像的 R、G、B 通道。然后您需要将 RGB 图像分割成单平面。或者在其他时间，您可能需要将这些单独的通道加入到 RGB 图像中。

let src = cv.imread("canvasInput");
let rgbaPlanes = new cv.MatVector();
// 分割 Mat
cv.split(src, rgbaPlanes);
// 获取 R 通道
let R = rgbaPlanes.get(0);
// 合并所有通道
cv.merge(rgbaPlanes, src);
src.delete(); rgbaPlanes.delete(); R.delete();

注意

不要忘记在不再使用 cv.Mat、cv.MatVector 和 R（从 MatVector 获取的 Mat）时将其删除。

为图像创建边界（填充）

如果想在图像周围创建边框，就像照片相框一样，可以使用cv.copyMakeBorder()函数。但它在卷积运算、零填充等方面还有更多应用。此函数采用以下参数：

• src - 输入图像
• top, bottom, left, right - 对应方向上以像素为单位的边框宽度
• borderType - 定义要添加何种类型的边框的标志。它可以是以下类型：
  • cv.BORDER_CONSTANT - 添加一个常数颜色边框。该值应作为下一个参数给出。
    • cv.BORDER_REFLECT - 边框将是边框元素的镜像反射，如下所示： fedcba|abcdefgh|hgfedcb
    • cv.BORDER_REFLECT_101 或 cv.BORDER_DEFAULT - 与上面相同，但略有变化，如下所示： gfedcb|abcdefgh|gfedcba
    • cv.BORDER_REPLICATE - 最后一个元素在整个边框中重复，如下所示： aaaaaa|abcdefgh|hhhhhhh
    • cv.BORDER_WRAP - 无法解释，它看起来像这样： cdefgh|abcdefgh|abcdefg
• value - 如果边框类型为cv.BORDER_CONSTANT，则为边框的颜色

尝试一下