矩阵掩码操作

目录

• 我们的测试用例
• 代码
• 基本方法
• filter2D 函数

上一篇教程： 如何使用 OpenCV 扫描图像、查找表和时间测量
下一篇教程： 图像操作

原作者	Bernát Gábor
兼容性	OpenCV >= 3.0

矩阵掩码操作非常简单。其思想是根据掩码矩阵（也称为核）重新计算图像中每个像素的值。此掩码包含将调整相邻像素（以及当前像素）对新像素值影响程度的值。从数学角度来看，我们进行了加权平均，使用我们指定的值。

我们的测试用例

让我们考虑图像对比度增强方法的问题。基本上，我们希望对图像的每个像素应用以下公式：

\[I(i,j) = 5*I(i,j) - [ I(i-1,j) + I(i+1,j) + I(i,j-1) + I(i,j+1)]\]

\[\iff I(i,j)*M, \text{其中 } M = \bordermatrix{ _i\backslash ^j & -1 & 0 & +1 \cr -1 & 0 & -1 & 0 \cr 0 & -1 & 5 & -1 \cr +1 & 0 & -1 & 0 \cr }\]

第一种表示方法是使用公式，而第二种表示方法是使用掩码对第一种表示方法的简化版本。您可以通过将掩码矩阵的中心（在大写字母中用零零索引表示）放在要计算的像素上，并将像素值与重叠的矩阵值相乘后求和来使用掩码。它们是相同的，但是对于大型矩阵，后一种表示方法更容易查看。

代码

C++

您可以从此处下载此源代码，或者在 OpenCV 源代码库的示例目录中查看 samples/cpp/tutorial_code/core/mat_mask_operations/mat_mask_operations.cpp。

#include <opencv2/imgcodecs.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/imgproc.hpp>
#include <iostream>
 
using namespace std;
using namespace cv;
 
static void help(char* progName)
{
cout << endl
<< "本程序演示如何使用掩码滤波图像：自己编写和"
<< "filter2d 方法。" << endl
<< "用法:" << endl
<< progName << " [图像路径 -- 默认 lena.jpg] [G -- 灰度] " << endl << endl;
}
 
 
void Sharpen(const Mat& myImage,Mat& Result);
 
int main( int argc, char* argv[])
{
help(argv[0]);
    const char* filename = argc >=2 ? argv[1] : "lena.jpg";
 
    Mat src, dst0, dst1;
 
    if (argc >= 3 && !strcmp("G", argv[2]))
src = imread( samples::findFile( filename ), IMREAD_GRAYSCALE);
    else
src = imread( samples::findFile( filename ), IMREAD_COLOR);
 
    if (src.empty())
    {
cerr << "无法打开图像 [" << filename << "]" << endl;
        return EXIT_FAILURE;
    }
 
namedWindow("输入", WINDOW_AUTOSIZE);
namedWindow("输出", WINDOW_AUTOSIZE);
 
imshow( "输入", src );
    double t = (double)getTickCount();
 
Sharpen( src, dst0 );
 
t = ((double)getTickCount() - t)/getTickFrequency();
cout << "手动编写函数耗时（秒）：" << t << endl;
 
imshow( "输出", dst0 );
waitKey();
 
    Mat kernel = (Mat_<char>(3,3) << 0, -1, 0,
                                   -1,  5, -1,
                                    0, -1,  0);
 
t = (double)getTickCount();
 
filter2D( src, dst1, src.depth(), kernel );
t = ((double)getTickCount() - t)/getTickFrequency();
cout << "内置 filter2D 耗时（秒）：" << t << endl;
 
imshow( "输出", dst1 );
 
waitKey();
    return EXIT_SUCCESS;
}
void Sharpen(const Mat& myImage,Mat& Result)
{
    CV_Assert(myImage.depth() == CV_8U); // 只接受无符号字符图像
 
    const int nChannels = myImage.channels();
Result.create(myImage.size(),myImage.type());
 
    for(int j = 1 ; j < myImage.rows-1; ++j)
    {
        const uchar* previous = myImage.ptr<uchar>(j - 1);
        const uchar* current = myImage.ptr<uchar>(j );
        const uchar* next = myImage.ptr<uchar>(j + 1);
 
        uchar* output = Result.ptr<uchar>(j);
 
        for(int i= nChannels;i < nChannels*(myImage.cols-1); ++i)
        {
output[i] = saturate_cast<uchar>(5*current[i]
-current[i-nChannels] - current[i+nChannels] - previous[i] - next[i]);
        }
    }
 
Result.row(0).setTo(Scalar(0));
Result.row(Result.rows-1).setTo(Scalar(0));
Result.col(0).setTo(Scalar(0));
Result.col(Result.cols-1).setTo(Scalar(0));
}

Java

您可以从此处下载此源代码，或查看OpenCV源代码库示例目录中的samples/java/tutorial_code/core/mat_mask_operations/MatMaskOperations.java。

import org.opencv.core.Core;
import org.opencv.core.CvType;
import org.opencv.core.Mat;
import org.opencv.core.Scalar;
import org.opencv.highgui.HighGui;
import org.opencv.imgcodecs.Imgcodecs;
import org.opencv.imgproc.Imgproc;
 
class MatMaskOperationsRun {
 
    public void run(String[] args) {
 
String filename = "../data/lena.jpg";
 
        int img_codec = Imgcodecs.IMREAD_COLOR;
        if (args.length != 0) {
filename = args[0];
            if (args.length >= 2 && args[1].equals("G"))
img_codec = Imgcodecs.IMREAD_GRAYSCALE;
        }
 
Mat src = Imgcodecs.imread(filename, img_codec);
 
        if (src.empty()) {
System.out.println("无法打开图像 [" + filename + "]");
System.out.println("程序参数：[图像路径 -- 默认 ../data/lena.jpg] [G -- 灰度]");
System.exit(-1);
        }
 
HighGui.namedWindow("输入", HighGui.WINDOW_AUTOSIZE);
HighGui.namedWindow("输出", HighGui.WINDOW_AUTOSIZE);
 
HighGui.imshow( "输入", src );
        double t = System.currentTimeMillis();
 
Mat dst0 = sharpen(src, new Mat());
 
t = ((double) System.currentTimeMillis() - t) / 1000;
System.out.println("手写函数耗时（秒）：" + t);
 
HighGui.imshow( "输出", dst0 );
HighGui.moveWindow("输出", 400, 400);
HighGui.waitKey();
 
Mat kern = new Mat(3, 3, CvType.CV_8S);
        int row = 0, col = 0;
kern.put(row, col, 0, -1, 0, -1, 5, -1, 0, -1, 0);
 
t = System.currentTimeMillis();
 
Mat dst1 = new Mat();
Imgproc.filter2D(src, dst1, src.depth(), kern);
t = ((double) System.currentTimeMillis() - t) / 1000;
System.out.println("内置filter2D耗时（秒）：" + t);
 
HighGui.imshow( "输出", dst1 );
 
HighGui.waitKey();
System.exit(0);
    }
 
    public static double saturate(double x) {
        return x > 255.0 ? 255.0 : (x < 0.0 ? 0.0 : x);
    }
 
    public Mat sharpen(Mat myImage, Mat Result) {
myImage.convertTo(myImage, CvType.CV_8U);
 
        int nChannels = myImage.channels();
Result.create(myImage.size(), myImage.type());
 
        for (int j = 1; j < myImage.rows() - 1; ++j) {
            for (int i = 1; i < myImage.cols() - 1; ++i) {
                double sum[] = new double[nChannels];
 
                for (int k = 0; k < nChannels; ++k) {
 
                    double top = -myImage.get(j - 1, i)[k];
                    double bottom = -myImage.get(j + 1, i)[k];
                    double center = (5 * myImage.get(j, i)[k]);
                    double left = -myImage.get(j, i - 1)[k];
                    double right = -myImage.get(j, i + 1)[k];
 
                    sum[k] = saturate(top + bottom + center + left + right);
                }
 
Result.put(j, i, sum);
            }
        }
 
Result.row(0).setTo(new Scalar(0));
Result.row(Result.rows() - 1).setTo(new Scalar(0));
Result.col(0).setTo(new Scalar(0));
Result.col(Result.cols() - 1).setTo(new Scalar(0));
 
        return Result;
    }
}
 
public class MatMaskOperations {
    public static void main(String[] args) {
        // 加载原生库。
System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
        new MatMaskOperationsRun().run(args);
    }
}

Python

您可以从此处下载此源代码：此处，或者在OpenCV源代码库示例目录中查找：samples/python/tutorial_code/core/mat_mask_operations/mat_mask_operations.py。

from __future__ import print_function
import sys
import time
 
import numpy as np
import cv2 as cv
 
 
def is_grayscale(my_image)
    return len(my_image.shape) < 3
 
 
def saturated(sum_value)
    if sum_value > 255
sum_value = 255
    if sum_value < 0
sum_value = 0
 
    return sum_value
 
 
def sharpen(my_image)
    if is_grayscale(my_image):
height, width = my_image.shape
    else:
my_image = cv.cvtColor(my_image, cv.CV_8U)
height, width, n_channels = my_image.shape
 
result = np.zeros(my_image.shape, my_image.dtype)
    
    for j in range(1, height - 1):
        for i in range(1, width - 1):
            if is_grayscale(my_image):
sum_value = 5 * my_image[j, i] - my_image[j + 1, i] - my_image[j - 1, i] \
- my_image[j, i + 1] - my_image[j, i - 1]
result[j, i] = saturated(sum_value)
            else:
                for k in range(0, n_channels):
sum_value = 5 * my_image[j, i, k] - my_image[j + 1, i, k] \
- my_image[j - 1, i, k] - my_image[j, i + 1, k] \
- my_image[j, i - 1, k]
result[j, i, k] = saturated(sum_value)
    
    return result
 
 
def main(argv):
filename = 'lena.jpg'
 
img_codec = cv.IMREAD_COLOR
    if argv:
filename = sys.argv[1]
        if len(argv) >= 2 and sys.argv[2] == "G":
img_codec = cv.IMREAD_GRAYSCALE
 
src = cv.imread(cv.samples.findFile(filename), img_codec)
 
    if src is None:
print("无法打开图像 [" + filename + "]")
print("使用方法：")
print("mat_mask_operations.py [图像路径 -- 默认 lena.jpg] [G -- 灰度]")
        return -1
 
    cv.namedWindow("Input", cv.WINDOW_AUTOSIZE)
    cv.namedWindow("Output", cv.WINDOW_AUTOSIZE)
 
    cv.imshow("Input", src)
t = round(time.time())
 
dst0 = sharpen(src)
 
t = (time.time() - t)
print("手动编写的函数耗时（秒）：%s" % t)
 
    cv.imshow("Output", dst0)
    cv.waitKey()()
 
t = time.time()
    
kernel = np.array([[0, -1, 0],
                       [-1, 5, -1],
[0, -1, 0]], np.float32) # 卷积核应为浮点型
    
dst1 = cv.filter2D(src, -1, kernel)
    # ddepth = -1，表示目标图像的深度与输入图像相同
    
 
t = (time.time() - t)
print("内置 filter2D 函数耗时（秒）：%s" % t)
 
    cv.imshow("Output", dst1)
 
    cv.waitKey()(0)
    cv.destroyAllWindows()()
    return 0
 
 
if __name__ == "__main__":
    main(sys.argv[1:])

基本方法

现在让我们看看如何使用基本像素访问方法或使用**filter2D()**函数来实现这一点。

这是一个可以实现此功能的函数。

C++

void Sharpen(const Mat& myImage,Mat& Result)
{
    CV_Assert(myImage.depth() == CV_8U); // 只接受无符号字符图像
 
    const int nChannels = myImage.channels();
Result.create(myImage.size(),myImage.type());
 
    for(int j = 1 ; j < myImage.rows-1; ++j)
    {
        const uchar* previous = myImage.ptr<uchar>(j - 1);
        const uchar* current = myImage.ptr<uchar>(j );
        const uchar* next = myImage.ptr<uchar>(j + 1);
 
        uchar* output = Result.ptr<uchar>(j);
 
        for(int i= nChannels;i < nChannels*(myImage.cols-1); ++i)
        {
output[i] = saturate_cast<uchar>(5*current[i]
-current[i-nChannels] - current[i+nChannels] - previous[i] - next[i]);
        }
    }
 
Result.row(0).setTo(Scalar(0));
Result.row(Result.rows-1).setTo(Scalar(0));
Result.col(0).setTo(Scalar(0));
Result.col(Result.cols-1).setTo(Scalar(0));
}

首先，我们确保输入图像数据为无符号字符格式。为此，我们使用CV_Assert函数（宏），当其中的表达式为假时，它会抛出错误。

    CV_Assert(myImage.depth() == CV_8U); // 只接受无符号字符图像

Java

    public static double saturate(double x) {
        return x > 255.0 ? 255.0 : (x < 0.0 ? 0.0 : x);
    }
 
    public Mat sharpen(Mat myImage, Mat Result) {
myImage.convertTo(myImage, CvType.CV_8U);
 
        int nChannels = myImage.channels();
Result.create(myImage.size(), myImage.type());
 
        for (int j = 1; j < myImage.rows() - 1; ++j) {
            for (int i = 1; i < myImage.cols() - 1; ++i) {
                double sum[] = new double[nChannels];
 
                for (int k = 0; k < nChannels; ++k) {
 
                    double top = -myImage.get(j - 1, i)[k];
                    double bottom = -myImage.get(j + 1, i)[k];
                    double center = (5 * myImage.get(j, i)[k]);
                    double left = -myImage.get(j, i - 1)[k];
                    double right = -myImage.get(j, i + 1)[k];
 
                    sum[k] = saturate(top + bottom + center + left + right);
                }
 
Result.put(j, i, sum);
            }
        }
 
Result.row(0).setTo(new Scalar(0));
Result.row(Result.rows() - 1).setTo(new Scalar(0));
Result.col(0).setTo(new Scalar(0));
Result.col(Result.cols() - 1).setTo(new Scalar(0));
 
        return Result;
    }

首先，我们确保输入图像数据为无符号 8 位格式。

myImage.convertTo(myImage, CvType.CV_8U);

Python

def is_grayscale(my_image)
    return len(my_image.shape) < 3
 
 
def saturated(sum_value)
    if sum_value > 255
sum_value = 255
    if sum_value < 0
sum_value = 0
 
    return sum_value
 
 
def sharpen(my_image)
    if is_grayscale(my_image):
height, width = my_image.shape
    else:
my_image = cv.cvtColor(my_image, cv.CV_8U)
height, width, n_channels = my_image.shape
 
result = np.zeros(my_image.shape, my_image.dtype)
    
    for j in range(1, height - 1):
        for i in range(1, width - 1):
            if is_grayscale(my_image):
sum_value = 5 * my_image[j, i] - my_image[j + 1, i] - my_image[j - 1, i] \
- my_image[j, i + 1] - my_image[j, i - 1]
result[j, i] = saturated(sum_value)
            else:
                for k in range(0, n_channels):
sum_value = 5 * my_image[j, i, k] - my_image[j + 1, i, k] \
- my_image[j - 1, i, k] - my_image[j, i + 1, k] \
- my_image[j, i - 1, k]
result[j, i, k] = saturated(sum_value)
    
    return result

首先，我们确保输入图像数据为无符号 8 位格式。

my_image = cv.cvtColor(my_image, cv.CV_8U)

我们创建一个与输入图像大小和类型相同的输出图像。正如您在存储部分中看到的，根据通道的数量，我们可能有一个或多个子列。

C++

我们将通过指针迭代它们，因此元素的总数取决于此数量。

    const int nChannels = myImage.channels();
Result.create(myImage.size(),myImage.type());

Java

        int nChannels = myImage.channels();
Result.create(myImage.size(), myImage.type());

Python

height, width, n_channels = my_image.shape
result = np.zeros(my_image.shape, my_image.dtype)

C++

我们将使用普通的 C [] 运算符来访问像素。因为我们需要同时访问多行，所以我们将获取每一行的指针（前一行、当前行和下一行）。我们需要另一个指针来保存计算结果。然后只需使用 [] 运算符访问正确的项目。为了将输出指针向前移动，我们只需在每次操作后增加它（一个字节）。

    for(int j = 1 ; j < myImage.rows-1; ++j)
    {
        const uchar* previous = myImage.ptr<uchar>(j - 1);
        const uchar* current = myImage.ptr<uchar>(j );
        const uchar* next = myImage.ptr<uchar>(j + 1);
 
        uchar* output = Result.ptr<uchar>(j);
 
        for(int i= nChannels;i < nChannels*(myImage.cols-1); ++i)
        {
output[i] = saturate_cast<uchar>(5*current[i]
-current[i-nChannels] - current[i+nChannels] - previous[i] - next[i]);
        }
    }

在图像边界，上述表示法会导致不存在的像素位置（例如负一负一）。在这些点上，我们的公式未定义。一个简单的解决方案是不在这些点上应用卷积核，例如，将边界上的像素设置为零。

Result.row(0).setTo(Scalar(0));
Result.row(Result.rows-1).setTo(Scalar(0));
Result.col(0).setTo(Scalar(0));
Result.col(Result.cols-1).setTo(Scalar(0));

Java

我们需要访问多行多列，可以通过对当前中心 (i,j) 加或减 1 来实现。然后我们应用求和并将新值放入结果矩阵。

        for (int j = 1; j < myImage.rows() - 1; ++j) {
            for (int i = 1; i < myImage.cols() - 1; ++i) {
                double sum[] = new double[nChannels];
 
                for (int k = 0; k < nChannels; ++k) {
 
                    double top = -myImage.get(j - 1, i)[k];
                    double bottom = -myImage.get(j + 1, i)[k];
                    double center = (5 * myImage.get(j, i)[k]);
                    double left = -myImage.get(j, i - 1)[k];
                    double right = -myImage.get(j, i + 1)[k];
 
                    sum[k] = saturate(top + bottom + center + left + right);
                }
 
Result.put(j, i, sum);
            }
        }

在图像边界，上述表示法会导致不存在的像素位置（例如 (-1,-1)）。在这些点上，我们的公式未定义。一个简单的解决方案是不在这些点上应用卷积核，例如，将边界上的像素设置为零。

Result.row(0).setTo(new Scalar(0));
Result.row(Result.rows() - 1).setTo(new Scalar(0));
Result.col(0).setTo(new Scalar(0));
Result.col(Result.cols() - 1).setTo(new Scalar(0));

Python

我们需要访问多行多列，可以通过对当前中心 (i,j) 加或减 1 来实现。然后我们应用求和并将新值放入结果矩阵。

    for j in range(1, height - 1):
        for i in range(1, width - 1):
            if is_grayscale(my_image):
sum_value = 5 * my_image[j, i] - my_image[j + 1, i] - my_image[j - 1, i] \
- my_image[j, i + 1] - my_image[j, i - 1]
result[j, i] = saturated(sum_value)
            else:
                for k in range(0, n_channels):
sum_value = 5 * my_image[j, i, k] - my_image[j + 1, i, k] \
- my_image[j - 1, i, k] - my_image[j, i + 1, k] \
- my_image[j, i - 1, k]
result[j, i, k] = saturated(sum_value)

filter2D 函数

这种滤波器在图像处理中非常常见，因此在 OpenCV 中有一个函数可以处理应用掩码（在某些地方也称为卷积核）。为此，您首先需要定义一个保存掩码的对象。

C++

    Mat kernel = (Mat_<char>(3,3) << 0, -1, 0,
                                   -1,  5, -1,
                                    0, -1,  0);

Java

Mat kern = new Mat(3, 3, CvType.CV_8S);
        int row = 0, col = 0;
kern.put(row, col, 0, -1, 0, -1, 5, -1, 0, -1, 0);

Python

kernel = np.array([[0, -1, 0],
                       [-1, 5, -1],
[0, -1, 0]], np.float32) # 卷积核应为浮点型

然后调用 filter2D() 函数，指定输入、输出图像和要使用的卷积核。

C++

    filter2D( src, dst1, src.depth(), kernel );

Java

Imgproc.filter2D(src, dst1, src.depth(), kern);

Python

dst1 = cv.filter2D(src, -1, kernel)
    # ddepth = -1，表示目标图像的深度与输入图像相同

该函数甚至还有一个第五个可选参数来指定卷积核的中心，第六个参数是在将滤波后的像素存储到 K 之前向其添加可选值，第七个参数用于确定在操作未定义的区域（边界）中该做什么。

此函数更短、更简洁，并且由于有一些优化，它通常比手工编码的方法更快。例如，在我的测试中，第二个方法只用了 13 毫秒，而第一个方法用了大约 31 毫秒。差异相当大。

例如

C++

请查看我们YouTube 频道 上的程序运行示例。