Ascend NPU 图像处理

目标

在本指南中，您将深入了解已使用的 Ascend 算子的线程安全性，并学习如何有效地使用 Ascend 算子进行图像预处理，以及了解它们的使用限制。

前言

我们提供了一套常用的矩阵运算算子，支持 OpenCV 中的 Ascend NPU。为了方便用户，新的 'AscendMat' 结构及其关联算子保持与 OpenCV 中 'Mat' 接口的兼容性。这些算子涵盖了广泛的常用函数，包括算术运算、图像处理运算和图像颜色空间转换。所有这些算子都是使用 CANN(Compute Architecture of Neural Networks) 实现的。Ascend 算子通过使用 CANN 来加速 NPU 上的运算。当处理更大的图像时，例如尺寸为 2048x2048、3840x2160、7680x4320 等的图像，这种加速效果尤为明显。

关于线程安全性的说明

我们的流函数是通过调用 CANN 算子实现的。在同一流中，任务按顺序执行，而在不同的流之间，任务并行执行。事件机制的使用确保了流之间任务的同步，请参阅 流管理 文档以获取详细信息。

图像预处理示例

在本节中，您将学习如何使用 Ascend 算子进行图像预处理，包括以下函数：

• Add (加法)
• Rotate (旋转)
• Flip (翻转)

代码

C++

// 此文件是 OpenCV 项目的一部分。
// 它受顶级目录中的 LICENSE 文件中找到的许可条款约束
// 本发行版的 https://opencv.ac.cn/license.html。
 
#include <iostream>
#include <opencv2/imgcodecs.hpp>
#include <opencv2/cann.hpp>
#include <opencv2/cann_interface.hpp>
 
int main(int argc, char* argv[])
{
    cv::CommandLineParser parser(argc, argv,
                                 "{@input|puppy.png|输入图像的路径}"
                                 "{@output|output.png|输出图像的路径}"
                                 "{help||显示帮助}");
parser.about("这是使用 Ascend NPU 进行图像处理的示例。\n");
    if (argc != 3 || parser.has("help"))
    {
parser.printMessage();
        return 0;
    }
 
std::string imagePath = parser.get<std::string>(0);
std::string outputPath = parser.get<std::string>(1);
 
    // 读取输入图像并生成高斯噪声
    cv::Mat img = cv::imread(imagePath);
    // 生成将添加到输入图像中的高斯噪声
    cv::Mat gaussNoise(img.rows, img.cols, img.type());
    cv::RNG rng;
rng.fill(gaussNoise, cv::RNG::NORMAL, 0, 25);
 
    // 设置 cann
    cv::cann::initAcl();
    cv::cann::setDevice(0);
 
    cv::Mat output;
    // 将高斯噪声添加到图像
    cv::cann::add(img, gaussNoise, output);
    // 以某种模式旋转图像 (0、1 和 2 分别对应于顺时针旋转 90、180 和 270
    // 度)
    cv::cann::rotate(output, output, 0);
    // 以某种模式翻转图像 (0、正数和负数分别对应于翻转
    // 围绕 x 轴、y 轴和两个轴)
    cv::cann::flip(output, output, 0);
 
    cv::imwrite(outputPath, output);
 
    cv::cann::resetDevice();
    cv::cann::finalizeAcl();
    return 0;
}

Python

# 此文件是 OpenCV 项目的一部分。
# 它受顶级目录中的 LICENSE 文件中找到的许可条款约束
# 本发行版的 https://opencv.ac.cn/license.html。
 
import numpy as np
import cv2
import argparse
 
parser = argparse.ArgumentParser(description='这是使用 Ascend NPU 进行图像处理的示例。')
parser.add_argument('image', help='输入图像的路径')
parser.add_argument('output', help='输出图像的路径')
args = parser.parse_args()
 
# 读取输入图像并生成高斯噪声
#! [input_noise]
img = cv2.imread(args.image)
# 生成将添加到输入图像中的高斯噪声
gaussNoise = np.random.normal(0, 25,(img.shape[0], img.shape[1], img.shape[2])).astype(img.dtype)
#! [input_noise]
 
# 设置 cann
#! [setup]
cv2.cann.initAcl()
cv2.cann.setDevice(0)
#! [setup]
 
#! [image-process]
# 将高斯噪声添加到图像
output = cv2.cann.add(img, gaussNoise)
# 以某种模式旋转图像 (0、1 和 2 分别对应于旋转 90、180
# 和 270 度，顺时针方向)
output = cv2.cann.rotate(output, 0)
# 以某种模式翻转图像 (0、正数和负数分别对应于翻转
# 围绕 x 轴、y 轴和两个轴)
output = cv2.cann.flip(output, 0)
#! [image-process]
 
cv2.imwrite(args.output, output)
 
#! [tear-down-cann]
cv2.cann.finalizeAcl()
#! [tear-down-cann]

说明

输入图像

C++

    cv::Mat img = cv::imread(imagePath);
    // 生成将添加到输入图像中的高斯噪声
    cv::Mat gaussNoise(img.rows, img.cols, img.type());
    cv::RNG rng;
rng.fill(gaussNoise, cv::RNG::NORMAL, 0, 25);

Python

# 读取输入图像
img = cv2.imread("/path/to/img")
# 生成将添加到输入图像中的高斯噪声
gaussNoise = np.random.normal(mean=0,sigma=25,(img.shape[0],img.shape[1],img.shape[2])).astype(img.dtype)

设置 CANN

C++

    cv::cann::initAcl();
    cv::cann::setDevice(0);

Python

cv2.cann.initAcl()
cv2.cann.setDevice(0)

图像预处理示例

C++

    cv::Mat output;
    // 将高斯噪声添加到图像
    cv::cann::add(img, gaussNoise, output);
    // 以某种模式旋转图像 (0、1 和 2 分别对应于顺时针旋转 90、180 和 270
    // 度)
    cv::cann::rotate(output, output, 0);
    // 以某种模式翻转图像 (0、正数和负数分别对应于翻转
    // 围绕 x 轴、y 轴和两个轴)
    cv::cann::flip(output, output, 0);

Python

# 将高斯噪声添加到图像
output = cv2.cann.add(img, gaussNoise)
# 以某种模式旋转图像 (0、1 和 2 分别对应于旋转 90、180
# 和 270 度，顺时针方向)
output = cv2.cann.rotate(output, 0)
# 以某种模式翻转图像 (0、正数和负数分别对应于翻转
# 围绕 x 轴、y 轴和两个轴)
output = cv2.cann.flip(output, 0)

拆卸 CANN

C++

    cv::cann::resetDevice();
    cv::cann::finalizeAcl();

Python

cv2.cann.finalizeAcl()

结果

1. 原始 RGB 输入图像，尺寸为 (480, 640, 3)

puppy

1. 引入高斯噪声后，我们得到以下结果

puppy_noisy

1. 当应用旋转操作，旋转码为 0（顺时针旋转 90 度）时，我们得到此结果

puppy_noisy_rotate

1. 在应用翻转操作，翻转码为 0（围绕 x 轴翻转）后，我们得到最终结果

puppy_processed_normalized