本教程将教你如何使用 'dnn_superres' 接口通过预训练的神经网络对图像进行上采样。它适用于 C++ 和 Python。

构建

构建 OpenCV 时，运行以下命令以构建所有 contrib 模块

cmake -D OPENCV_EXTRA_MODULES_PATH=<opencv_contrib>/modules/

或仅构建 dnn_superres 模块

cmake -D OPENCV_EXTRA_MODULES_PATH=<opencv_contrib>/modules/dnn_superres

或者确保你在 CMake 的 GUI 版本中选中 dnn_superres 模块：cmake-gui。

示例的源代码

你可以通过以下方式运行示例代码

<path_of_your_opencv_build_directory>/bin/example_dnn_superres_dnn_superres <path_to_image.png> <algo_string> <upscale_int> <model_path.pb>

示例

/home/opencv/build/bin/example_dnn_superres_dnn_superres /home/image.png edsr 2 /home/EDSR_x2.pb

// 此文件是 OpenCV 项目的一部分。
// 它受此发行版顶层目录中 LICENSE 文件中以及 https://opencv.ac.cn/license.html 中的许可条款的约束。
// 
 
#include <iostream>
 
#include <opencv2/dnn_superres.hpp>
 
#include <opencv2/imgproc.hpp>
#include <opencv2/highgui.hpp>
 
using namespace std;
using namespace cv;
using namespace dnn;
using namespace dnn_superres;
 
int main(int argc, char *argv[])
{
 // 检查有效命令行参数，如果给出参数不足则打印用法。
 // 
 if ( argc < 4 ) {
 cout << "用法：参数 1：图像 | 图像路径" << endl;
 cout << "\t 参数 2：算法 | 双线性、双三次、edsr、espcn、fsrcnn 或 lapsrn" << endl;
 cout << "\t 参数 3：比例 | 2、3 或 4 \n";
 cout << "\t 参数 4：模型文件路径 \n";
 return -1;
    }
 
 string img_path = string(argv[1]);
 string algorithm = string(argv[2]);
 int scale = atoi(argv[3]);
 string path = "";
 
 if( argc > 4)
 path = string(argv[4]);
 
 // 加载图像
 Mat img = cv::imread(img_path);
 Mat original_img(img);
 if ( img.empty() )
    {
 std::cerr << "无法加载图像：" << img << "\n";
 return -2;
    }
 
 // 创建 dnn 超分辨率实例
 DnnSuperResImpl sr;
 
 Mat img_new;
 
 if( algorithm == "bilinear" ){
 resize(img, img_new, Size(), scale, scale, 2);
    }
 else if( algorithm == "bicubic" )
    {
 resize(img, img_new, Size(), scale, scale, 3);
    }
 else if( algorithm == "edsr" || algorithm == "espcn" || algorithm == "fsrcnn" || algorithm == "lapsrn" )
    {
 sr.readModel(path);
 sr.setModel(algorithm, scale);
 sr.upsample(img, img_new);
    }
 else{
 std::cerr << "无法识别算法。\n";
    }
 
 if ( img_new.empty() )
    {
 std::cerr << "上采样失败。\n";
 return -3;
    }
 cout << "上采样成功。\n";
 
 // 显示图像
 cv::namedWindow("初始图像", WINDOW_AUTOSIZE);
 cv::imshow("初始图像", img_new);
 //cv::imwrite("./saved.jpg", img_new);
 cv::waitKey(0);
 
 return 0;
}

解释

设置头文件和命名空间
#include <opencv2/dnn_superres.hpp>

using namespace std;

using namespace cv;

using namespace dnn;

using namespace dnn_superres;

如果你想，你可以像上面的代码一样设置命名空间。
创建 Dnn 超分辨率对象
DnnSuperResImpl sr;

这只是为了创建对象、注册自定义 dnn 层并访问类函数。
读取模型
path = "models/FSRCNN_x2.pb"

sr.readModel(path);

这会从 .pb 文件中读取 TensorFlow 模型。这里 'path' 是预训练的 TensorFlow 模型之一的路径文件。你可以在 OpenCV 的 GitHub 中的 'dnn_superres' 模块中下载模型。
设置模型
sr.setModel("fsrcnn", 2);

根据你想要运行的模型，你必须设置算法和上采样因子。这是为了知道所需的算法和比例，即使你更改了 .pb 文件的名称。例如：如果你选择了 FSRCNN_x2.pb，你的算法和比例将分别为 'fsrcnn' 和 2。（其他算法选项包括“edsr”、“espcn”和“lapsrn”。）
对图像进行上采样
Mat img = cv::imread(img_path);

Mat img_new;

sr.upsample(img, img_new);

现在我们可以对任何图像进行上采样。通过标准的 'imread' 函数加载图像，并为目标图像创建一个新的 Mat。然后简单地进行上采样。你的上采样图像位于 'img_new' 中。

Python 中的示例

import cv2
from cv2 import dnn_superres
 
# 创建一个 SR 对象 - 这是与 c++ 代码不同的唯一函数
sr = dnn_superres.DnnSuperResImpl_create()
 
# 读取图像
image = cv2.imread('./image.png')
 
# 读取所需的模型
path = "EDSR_x4.pb"
sr.readModel(path)
 
# 设置所需的模型和比例以获得正确的预处理和后处理
sr.setModel("edsr", 4)
 
# 对图像进行上采样
result = sr.upsample(image)
 
# 保存图像
cv2.imwrite("./upscaled.png", result)

原始图像：

通过 FSRCNN 上采样的图像：

通过双三次插值上采样的图像：