图像超分辨率：多输出

本教程将介绍如何使用 'dnn_superres' 接口通过多输出预训练神经网络来提升图像分辨率。OpenCV 的 dnn 模块支持在一次推理中访问多个节点，前提是给出这些节点的名称。目前包含一个能够在一轮推理中提供多个输出的模型，即 LapSRN 模型。LapSRN 支持使用一次前向传递进行多输出。它现在支持 2x、4x、8x 以及 (2x, 4x) 和 (2x, 4x, 8x) 超分辨率。上传的训练模型文件具有以下输出节点名称：

• 2x 模型：NCHW_output
• 4x 模型：NCHW_output_2x, NCHW_output_4x
• 8x 模型：NCHW_output_2x, NCHW_output_4x, NCHW_output_8x

构建

构建 OpenCV 时，运行以下命令以构建所有 contrib 模块：

cmake -D OPENCV_EXTRA_MODULES_PATH=<opencv_contrib>/modules/

或者只构建 dnn_superres 模块：

cmake -D OPENCV_EXTRA_MODULES_PATH=<opencv_contrib>/modules/dnn_superres

或者确保在 CMake 的 GUI 版本 (cmake-gui) 中选中 dnn_superres 模块。

示例源代码

使用以下命令运行示例代码：

./bin/example_dnn_superres_dnn_superres_multioutput path/to/image.png 2,4 NCHW_output_2x,NCHW_output_4x \
path/to/opencv_contrib/modules/dnn_superres/models/LapSRN_x4.pb

// 此文件是 OpenCV 项目的一部分。
// 它受此发行版顶层目录中 LICENSE 文件中以及 https://opencv.ac.cn/license.html 中的许可条款的约束。

 
#include <iostream>
#include <sstream>
#include <opencv2/dnn_superres.hpp>
 
#include <opencv2/imgproc.hpp>
#include <opencv2/highgui.hpp>
 
using namespace std;
using namespace cv;
using namespace dnn_superres;
 
int main(int argc, char *argv[])
{
 // 检查有效的命令行参数，如果参数不足则打印用法。
 
 if (argc < 4) {
 cout << "用法：参数 1：图像 | 图像路径" << endl;
 cout << "\t 参数 2：比例因子，格式为 2,4,8\n";
 cout << "\t 参数 3：输出节点名称，格式为 nchw_output_0,nchw_output_1\n";
 cout << "\t 参数 4：模型文件路径 \n";
 return -1;
    }
 
 string img_path = string(argv[1]);
 string scales_str = string(argv[2]);
 string output_names_str = string(argv[3]);
 std::string path = string(argv[4]);
 
 // 解析比例因子
 std::vector<int> scales;
 char delim = ',';
    {
 std::stringstream ss(scales_str);
 std::string token;
 while (std::getline(ss, token, delim)) {
 scales.push_back(atoi(token.c_str()));
        }
    }
 
 // 解析输出节点名称
 std::vector<String> node_names;
    {
 std::stringstream ss(output_names_str);
 std::string token;
 while (std::getline(ss, token, delim)) {
 node_names.push_back(token);
        }
    }
 
 // 加载图像
 Mat img = cv::imread(img_path);
 Mat original_img(img);
 if (img.empty())
    {
 std::cerr << "无法加载图像：" << img << "\n";
 return -2;
    }
 
 // 创建 dnn 超分辨率实例
 DnnSuperResImpl sr;
 int scale = *max_element(scales.begin(), scales.end());
 std::vector<Mat> outputs;
 sr.readModel(path);
 sr.setModel("lapsrn", scale);
 
 sr.upsampleMultioutput(img, outputs, scales, node_names);
 
 for(unsigned int i = 0; i < outputs.size(); i++)
    {
 cv::namedWindow("上采样图像", WINDOW_AUTOSIZE);
 cv::imshow("上采样图像", outputs[i]);
 //cv::imwrite("./saved.jpg", img_new);
 cv::waitKey(0);
    }
 
 return 0;
}

解释

1. 设置头文件和命名空间

   #include <opencv2/dnn_superres.hpp>
   using namespace std;
   using namespace cv;
   using namespace dnn_superres;

2. 创建Dnn Superres对象

   DnnSuperResImpl sr;

   实例化一个dnn超分辨率对象。

3. 读取模型

   path = "models/LapSRN_x8.pb"
   sr.readModel(path);

   从给定路径读取模型。

4. 设置模型

   sr.setModel("lapsrn", 8);

   设置算法和缩放因子。这里应该给出最后一个（最大）缩放因子。

5. 给出节点名称和缩放因子

   std::vector<int> scales{2, 4, 8}
   std::vector<int> node_names{'NCHW_output_2x','NCHW_output_4x','NCHW_output_8x'}

   设置缩放因子和模型中的输出节点名称。

6. 上采样图像

   Mat img = cv::imread(img_path);
   std::vector<Mat> outputs;
   sr.upsampleMultioutput(img, outputs, scales, node_names);

   运行推理。输出图像将存储在Mat向量中。