图像操作

目录

• 输入/输出
  • 图像
• 图像基本操作
  • 访问像素强度值
  • 内存管理与引用计数
  • 基本操作
  • 图像可视化

上一个教程： 矩阵的掩膜操作
下一个教程： 使用 OpenCV 添加（混合）两张图像

兼容性	OpenCV >= 3.0

输入/输出

图像

从文件加载图像

C++

        Mat img = imread(filename);

Java

Mat img = Imgcodecs.imread(filename);

Python

img = cv.imread(filename)

如果读取 JPG 文件，默认会创建一个三通道图像。如果需要灰度图像，请使用

C++

        Mat img = imread(filename, IMREAD_GRAYSCALE);

Java

Mat img = Imgcodecs.imread(filename, Imgcodecs.IMREAD_GRAYSCALE);

Python

img = cv.imread(filename, cv.IMREAD_GRAYSCALE)

注意

文件的格式由其内容（前几个字节）决定。要将图像保存到文件，请使用

C++

        imwrite(filename, img);

Java

Imgcodecs.imwrite(filename, img);

Python

    cv.imwrite(filename, img)

注意

文件的格式由其扩展名决定。

使用 cv::imdecode 和 cv::imencode 从/向内存而非文件读写图像。

图像基本操作

访问像素强度值

为了获取像素强度值，您需要知道图像的类型和通道数。以下是一个单通道灰度图像（类型 8UC1）以及像素坐标 x 和 y 的示例：

C++

            Scalar intensity = img.at<uchar>(y, x);

Java

byte[] imgData = new byte[(int) (img.total() * img.channels())];
img.get(0, 0, imgData);
byte intensity = imgData[y * img.cols() + x];

Python

_intensity = img[y,x]

仅限 C++ 版本：`intensity.val[0]` 包含一个 0 到 255 之间的值。请注意 x 和 y 的顺序。由于在 OpenCV 中图像与矩阵由相同的结构表示，我们对这两种情况使用相同的约定——0-based 行索引（或 y 坐标）在前，0-based 列索引（或 x 坐标）在后。此外，您也可以使用以下表示法（仅限 C++）：

            Scalar intensity = img.at<uchar>(Point(x, y));

现在让我们考虑一个具有 BGR 颜色顺序的三通道图像（imread 返回的默认格式）：

C++ 代码

            Vec3b intensity = img.at<Vec3b>(y, x);
            uchar blue = intensity.val[0];
            uchar green = intensity.val[1];
            uchar red = intensity.val[2];

Python

_blue = img[y,x,0]
_green = img[y,x,1]
_red = img[y,x,2]

对于浮点图像（例如，通过对三通道图像运行 Sobel 算法可以得到此类图像），您可以使用相同的方法（仅限 C++）：

            Vec3f intensity = img.at<Vec3f>(y, x);
            float blue = intensity.val[0];
            float green = intensity.val[1];
            float red = intensity.val[2];

同样的方法也可以用来改变像素强度：

C++

img.at<uchar>(y, x) = 128;

Java

byte[] imgData = new byte[(int) (img.total() * img.channels())];
imgData[y * img.cols() + x] = (byte) 128;
img.put(0, 0, imgData);

Python

img[y,x] = 128

OpenCV 中有一些函数，特别是 `calib3d` 模块中的函数，例如 `cv::projectPoints`，它们接受 `Mat` 形式的 2D 或 3D 点数组。矩阵应只包含一列，每行对应一个点，矩阵类型应分别为 `32FC2` 或 `32FC3`。这样的矩阵可以很容易地从 std::vector 构造（仅限 C++）：

vector<Point2f> points;
            //... 填充数组
            Mat pointsMat = Mat(points);

可以使用相同的 Mat::at 方法访问此矩阵中的一个点（仅限 C++）：

            Point2f point = pointsMat.at<Point2f>(i, 0);

内存管理与引用计数

`Mat` 是一个结构体，它保存矩阵/图像的特性（行数、列数、数据类型等）以及指向数据的指针。因此，拥有多个 `Mat` 实例对应同一数据是可行的。一个 `Mat` 维护一个引用计数，该计数指示当 `Mat` 的特定实例被销毁时数据是否需要被释放。以下是创建两个不复制数据的矩阵的示例（仅限 C++）：

std::vector<Point3f> points;
        // .. 填充数组
        Mat pointsMat = Mat(points).reshape(1);

结果，我们得到一个三列的 `32FC1` 矩阵，而不是一列的 `32FC3` 矩阵。pointsMat 使用来自 `points` 的数据，并且在销毁时不会释放内存。然而，在这种特定情况下，开发人员必须确保 `points` 的生命周期长于 `pointsMat`。如果我们需要复制数据，可以通过例如 `cv::Mat::copyTo` 或 `cv::Mat::clone` 来完成。

C++

        Mat img = imread("image.jpg");
        Mat img1 = img.clone();

Java

Mat img = Imgcodecs.imread("image.jpg");
Mat img1 = img.clone();

Python

img = cv.imread('image.jpg')
_img1 = np.copy(img)

可以为每个函数提供一个空的输出 `Mat`。每个实现都会为目标矩阵调用 `Mat::create`。如果矩阵为空，此方法会为其分配数据。如果它不为空且具有正确的大小和类型，则此方法不执行任何操作。但是，如果大小或类型与输入参数不同，则数据将被释放（并丢失），并分配新的数据。例如：

C++

        Mat img = imread("image.jpg");
        Mat sobelx;
        Sobel(img, sobelx, CV_32F, 1, 0);

Java

Mat img = Imgcodecs.imread("image.jpg");
Mat sobelx = new Mat();
Imgproc.Sobel(img, sobelx, CvType.CV_32F, 1, 0);

Python

img = cv.imread('image.jpg')
_sobelx = cv.Sobel(img, cv.CV_32F, 1, 0)

基本操作

矩阵上定义了许多方便的运算符。例如，下面是如何从现有的灰度图像 img 创建一个黑色图像：

C++

img = Scalar(0);

Java

                byte[] imgData = new byte[(int) (img.total() * img.channels())];
Arrays.fill(imgData, (byte) 0);
img.put(0, 0, imgData);

Python

img[:] = 0

选择感兴趣区域

C++

            Rect r(10, 10, 100, 100);
            Mat smallImg = img(r);

Java

                Rect r = new Rect(10, 10, 100, 100);
Mat smallImg = img.submat(r);

Python

_smallImg = img[10:110,10:110]

从彩色到灰度的转换

C++

        Mat img = imread("image.jpg"); // 加载一个 8UC3 图像
        Mat grey;
        cvtColor(img, grey, COLOR_BGR2GRAY);

Java

Mat img = Imgcodecs.imread("image.jpg"); // 加载一个 8UC3 图像
Mat grey = new Mat();
Imgproc.cvtColor(img, grey, Imgproc.COLOR_BGR2GRAY);

Python

img = cv.imread('image.jpg')
_grey = cv.cvtColor(img, cv.COLOR_BGR2GRAY)

将图像类型从 8UC1 更改为 32FC1

C++

src.convertTo(dst, CV_32F);

Java

src.convertTo(dst, CvType.CV_32F);

Python

_dst = src.astype(np.float32)

图像可视化

在开发过程中查看算法的中间结果非常有用。OpenCV 提供了一种方便的图像可视化方法。可以使用以下方法显示 8U 图像：

C++

        Mat img = imread("image.jpg");
        namedWindow("image", WINDOW_AUTOSIZE);
        imshow("image", img);
        waitKey();

Java

Mat img = Imgcodecs.imread("image.jpg");
HighGui.namedWindow("image", HighGui.WINDOW_AUTOSIZE);
HighGui.imshow("image", img);
HighGui.waitKey();

Python

img = cv.imread('image.jpg')
    cv.namedWindow('image', cv.WINDOW_AUTOSIZE)
    cv.imshow('image', img)
    cv.waitKey()

调用 `waitKey()` 会启动一个消息传递循环，等待“image”窗口中的按键。32F 图像需要转换为 8U 类型。例如：

C++

        Mat img = imread("image.jpg");
        Mat grey;
        cvtColor(img, grey, COLOR_BGR2GRAY);
        Mat sobelx;
        Sobel(grey, sobelx, CV_32F, 1, 0);
        double minVal, maxVal;
        minMaxLoc(sobelx, &minVal, &maxVal); // 找到最小和最大强度值
        Mat draw;
sobelx.convertTo(draw, CV_8U, 255.0/(maxVal - minVal), -minVal * 255.0/(maxVal - minVal));
        namedWindow("image", WINDOW_AUTOSIZE);
        imshow("image", draw);
        waitKey();

Java

Mat img = Imgcodecs.imread("image.jpg");
Mat grey = new Mat();
Imgproc.cvtColor(img, grey, Imgproc.COLOR_BGR2GRAY);
Mat sobelx = new Mat();
Imgproc.Sobel(grey, sobelx, CvType.CV_32F, 1, 0);
MinMaxLocResult res = Core.minMaxLoc(sobelx); // 找到最小和最大强度值
Mat draw = new Mat();
            double maxVal = res.maxVal, minVal = res.minVal;
sobelx.convertTo(draw, CvType.CV_8U, 255.0 / (maxVal - minVal), -minVal * 255.0 / (maxVal - minVal));
HighGui.namedWindow("image", HighGui.WINDOW_AUTOSIZE);
HighGui.imshow("image", draw);
HighGui.waitKey();

Python

img = cv.imread('image.jpg')
_grey = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
_sobelx = cv.Sobel(grey, cv.CV_32F, 1, 0)
    # 找到最小和最大强度值
minVal = np.amin(sobelx)
maxVal = np.amax(sobelx)
draw = cv.convertScaleAbs(sobelx, alpha=255.0/(maxVal - minVal), beta=-minVal * 255.0/(maxVal - minVal))
    cv.namedWindow('image', cv.WINDOW_AUTOSIZE)
    cv.imshow('image', draw)
    cv.waitKey()

注意

这里不需要 `cv::namedWindow`，因为它紧接着 `cv::imshow`。然而，它可以用于更改窗口属性或在使用 `cv::createTrackbar` 时。