视频超分辨率

本教程将指导您如何使用 'dnn_superres' 接口通过预训练的神经网络对视频进行超分辨率处理。

构建

构建 OpenCV 时，请运行以下命令以构建所有 contrib 模块：

cmake -D OPENCV_EXTRA_MODULES_PATH=<opencv_contrib>/modules/

或者只构建 dnn_superres 模块：

cmake -D OPENCV_EXTRA_MODULES_PATH=<opencv_contrib>/modules/dnn_superres

或者在 CMake 的 GUI 版本 (cmake-gui) 中确保选中 dnn_superres 模块。

示例源代码

// 此文件是 OpenCV 项目的一部分。
// 它受此发行版顶层目录中 LICENSE 文件中找到的许可条款以及 https://opencv.ac.cn/license.html 中的许可条款约束。

 
#include <iostream>
 
#include <opencv2/dnn_superres.hpp>
 
#include <opencv2/imgproc.hpp>
#include <opencv2/highgui.hpp>
 
using namespace std;
using namespace cv;
using namespace dnn_superres;
 
int main(int argc, char *argv[])
{
 // 检查有效的命令行参数，如果参数不足则打印使用方法。
 
 if (argc < 4) {
 cout << "用法：参数 1：输入视频路径" << endl;
 cout << "\t 参数 2：输出视频路径" << endl;
 cout << "\t 参数 3：算法 | edsr、espcn、fsrcnn 或 lapsrn" << endl;
 cout << "\t 参数 4：缩放比例 | 2、3、4 或 8 \n";
 cout << "\t 参数 5：模型文件路径 \n";
 return -1;
    }
 
 string input_path = string(argv[1]);
 string output_path = string(argv[2]);
 string algorithm = string(argv[3]);
 int scale = atoi(argv[4]);
 string path = string(argv[5]);
 
 VideoCapture input_video(input_path);
 int ex = static_cast<int>(input_video.get(CAP_PROP_FOURCC));
 Size S = Size((int) input_video.get(CAP_PROP_FRAME_WIDTH) * scale,
 (int) input_video.get(CAP_PROP_FRAME_HEIGHT) * scale);
 
 VideoWriter output_video;
 output_video.open(output_path, ex, input_video.get(CAP_PROP_FPS), S, true);
 
 if (!input_video.isOpened())
    {
 std::cerr << "无法打开视频。" << std::endl;
 return -1;
    }
 
 DnnSuperResImpl sr;
 sr.readModel(path);
 sr.setModel(algorithm, scale);
 
 for(;;)
    {
 Mat frame, output_frame;
 input_video >> frame;
 
 if ( frame.empty() )
 break;
 
 sr.upsample(frame, output_frame);
 output_video << output_frame;
 
 namedWindow("超分辨率视频", WINDOW_AUTOSIZE);
 imshow("超分辨率视频", output_frame);
 
 namedWindow("原始视频", WINDOW_AUTOSIZE);
 imshow("原始视频", frame);
 
 char c=(char)waitKey(25);
 if(c==27)
 break;
    }
 
 input_video.release();
 output_video.release();
 
 return 0;
}

说明

1. 设置头文件和命名空间

   #include <opencv2/dnn_superres.hpp>
   using namespace std;
   using namespace cv;
   using namespace dnn_superres;

2. 创建 Dnn Superres 对象

   DnnSuperResImpl sr;

   实例化一个 dnn 超分辨率对象。
3. 读取模型

   path = "models/ESPCN_x2.pb"
   sr.readModel(path);
   sr.setModel("espcn", 2);

   从给定路径读取模型，并设置算法和缩放因子。
4. 提升视频分辨率

   循环(;;)
   {
       Mat frame, output_frame;
   input_video >> frame;
       如果 ( frame.empty() )
           中断;
   sr.upsample(frame, output_frame);
       ...
   }

   逐帧处理和提升视频分辨率。