高动态范围成像

目录

• 引言
• 曝光序列
• 源代码
• 示例图像
• 解释
• 结果
  • 色调映射图像
  • 曝光融合
• 附加资源

下一个教程： 高级拼接API（Stitcher类）

原作者	Fedor Morozov
兼容性	OpenCV >= 3.0

引言

如今，大多数数字图像和成像设备使用每通道8位，因此将设备的动态范围限制在两个数量级（实际上是256个级别），而人眼可以适应变化十个数量级的照明条件。当我们拍摄真实场景的照片时，明亮区域可能会过曝，而黑暗区域可能会欠曝，因此我们无法使用单次曝光捕捉所有细节。HDR成像使用每通道超过8位（通常为32位浮点值）的图像进行处理，从而允许更宽的动态范围。

获得HDR图像的方法有很多，但最常见的方法是使用以不同曝光值拍摄的场景照片。为了组合这些曝光，了解相机的响应函数很有用，并且存在一些算法可以估计它。在HDR图像混合后，必须将其转换回8位才能在普通显示器上查看。此过程称为色调映射。当场景中的物体或相机在拍摄之间移动时，会出现额外的复杂性，因为应该对不同曝光的图像进行配准和对齐。

在本教程中，我们将展示如何从曝光序列生成和显示HDR图像。在我们的例子中，图像已经对齐，并且没有移动的物体。我们还演示了一种称为曝光融合的替代方法，该方法生成低动态范围图像。HDR管道的每个步骤都可以使用不同的算法来实现，因此请查看参考手册以查看所有算法。

曝光序列

源代码

C++

本教程代码如下所示。您也可以从 这里 下载。

#include "opencv2/photo.hpp"
#include "opencv2/imgcodecs.hpp"
#include "opencv2/highgui.hpp"
 
#include <vector>
#include <iostream>
#include <fstream>
 
using namespace cv;
using namespace std;
 
void loadExposureSeq(String, vector<Mat>&, vector<float>&);
 
int main(int argc, char**argv)
{
    CommandLineParser parser( argc, argv, "{@input | | Input directory that contains images and exposure times. }" );
 
vector<Mat> images;
vector<float> times;
loadExposureSeq(parser.get<String>( "@input" ), images, times);
 
    Mat response;
    Ptr<CalibrateDebevec> calibrate = createCalibrateDebevec();
calibrate->process(images, response, times);
 
    Mat hdr;
    Ptr<MergeDebevec> merge_debevec = createMergeDebevec();
merge_debevec->process(images, hdr, times, response);
 
    Mat ldr;
    Ptr<Tonemap> tonemap = createTonemap(2.2f);
tonemap->process(hdr, ldr);
 
    Mat fusion;
    Ptr<MergeMertens> merge_mertens = createMergeMertens();
merge_mertens->process(images, fusion);
 
imwrite("fusion.png", fusion * 255);
imwrite("ldr.png", ldr * 255);
imwrite("hdr.hdr", hdr);
 
    return 0; 0;
}
 
void loadExposureSeq(String path, vector<Mat>& images, vector<float>& times)
{
path = path + "/";
ifstream list_file((path + "list.txt").c_str());
    string name;
    float val;
    while(list_file >> name >> val) {
        Mat img = imread(path + name);
images.push_back(img);
times.push_back(1 / val);
    }
} list_file.close();
}

Java

本教程代码如下所示。您也可以从 这里 下载。

import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.ArrayList;
import java.util.List;
 
import org.opencv.core.Core;
import org.opencv.core.CvType;
import org.opencv.core.Mat;
import org.opencv.core.Scalar;
import org.opencv.imgcodecs.Imgcodecs;
import org.opencv.photo.CalibrateDebevec;
import org.opencv.photo.MergeDebevec;
import org.opencv.photo.MergeMertens;
import org.opencv.photo.Photo;
import org.opencv.photo.Tonemap;
 
class HDRImaging {
    public void loadExposureSeq(String path, List<Mat> images, List<Float> times) {
path += "/";
 
List<String> lines;
        try { {
lines = Files.readAllLines(Paths.get(path + "list.txt"));
 
            for (String line : lines) {
String[] splitStr = line.split("\\s+");
                if (splitStr.length == 2) {
String name = splitStr[0];
Mat img = Imgcodecs.imread(path + name);
images.add(img);
                    float val = Float.parseFloat(splitStr[1]);
times.add(1/ val);
                }
            }
} catch (IOException e) {
e.printStackTrace();
        }
    }
 
    public void run(String[] args) {
        String path = args.length > 0 ? args[0] : "";
        if (path.isEmpty()) {
System.out.println("路径为空。请使用包含图像和曝光时间的目录。");
System.exit(0);
        }
 
List<Mat> images = new ArrayList<>();
List<Float> times = new ArrayList<>();
loadExposureSeq(path, images, times);
 
Mat response = new Mat();
CalibrateDebevec calibrate = Photo.createCalibrateDebevec();
Mat matTimes = new Mat(times.size(), 1, CvType.CV_32F);
        float[] arrayTimes = new float[(int) (matTimes.total()*matTimes.channels())];
        for (int i = 0; i < times.size(); i++) {
arrayTimes[i] = times.get(i);
        }
matTimes.put(0, 0, arrayTimes);
        calibrate.process(images, response, matTimes);
 
Mat hdr = new Mat();
MergeDebevec mergeDebevec = Photo.createMergeDebevec();
mergeDebevec.process(images, hdr, matTimes);
 
Mat ldr = new Mat();
Tonemap tonemap = Photo.createTonemap(2.2f);
tonemap.process(hdr, ldr);
 
Mat fusion = new Mat();
MergeMertens mergeMertens = Photo.createMergeMertens();
mergeMertens.process(images, fusion);
 
Core.multiply(fusion, new Scalar(255,255,255), fusion);
Core.multiply(ldr, new Scalar(255,255,255), ldr);
Imgcodecs.imwrite("fusion.png", fusion);
Imgcodecs.imwrite("ldr.png", ldr);
Imgcodecs.imwrite("hdr.hdr", hdr);
 
System.exit(0);
    }
}
 
public class HDRImagingDemo {
    public static void main(String[] args) {
        // 加载原生 OpenCV 库
System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
 
        new HDRImaging().run(args);
    }
}

Python

本教程代码如下所示。您也可以从这里下载。

from __future__ import print_function
from __future__ import division
import cv2 as cv
import numpy as np
import argparse
import os
 
def loadExposureSeq(path)
images = []
times = []
    with open(os.path.join(path, 'list.txt')) as f
content = f.readlines()
    for line in content
tokens = line.split()
images.append(cv.imread(os.path.join(path, tokens[0])))
times.append(1 / float(tokens[1]))
 
    return images, np.asarray(times, dtype=np.float32)
 
parser = argparse.ArgumentParser(description='高动态范围成像教程代码。')
parser.add_argument('--input', type=str, help='包含图像和曝光时间的目录路径。')
args = parser.parse_args()
 
if not args.input
parser.print_help()
exit(0)
 
 
images, times = loadExposureSeq(args.input)
 
 
 
calibrate = cv.createCalibrateDebevec()
response = calibrate.process(images, times)
 
 
 
merge_debevec = cv.createMergeDebevec()
hdr = merge_debevec.process(images, times, response)
 
 
 
tonemap = cv.createTonemap(2.2)
ldr = tonemap.process(hdr)
 
 
 
merge_mertens = cv.createMergeMertens()
fusion = merge_mertens.process(images)
 
 
 
cv.imwrite('fusion.png', fusion * 255)
cv.imwrite('ldr.png', ldr * 255)
cv.imwrite('hdr.hdr', hdr)
 

样例图像

包含图像、曝光时间和list.txt文件的资料目录可以从这里下载。

说明

• 加载图像和曝光时间

C++

vector<Mat> images;
vector<float> times;
loadExposureSeq(parser.get<String>( "@input" ), images, times);

Java

List<Mat> images = new ArrayList<>();
List<Float> times = new ArrayList<>();
loadExposureSeq(path, images, times);

Python

images, times = loadExposureSeq(args.input)

首先，我们从用户定义的文件夹加载输入图像和曝光时间。该文件夹应包含图像和名为 *list.txt* 的文件，其中包含文件名和曝光时间的倒数。

对于我们的图像序列，列表如下所示：

memorial00.png 0.03125
memorial01.png 0.0625
...
memorial15.png 1024

• 估计相机响应函数

C++

    Mat response;
    Ptr<CalibrateDebevec> calibrate = createCalibrateDebevec();
    calibrate->process(images, response, times);

Java

Mat response = new Mat();
CalibrateDebevec calibrate = Photo.createCalibrateDebevec();
Mat matTimes = new Mat(times.size(), 1, CvType.CV_32F);
        float[] arrayTimes = new float[(int) (matTimes.total()*matTimes.channels())];
        for (int i = 0; i < times.size(); i++) {
arrayTimes[i] = times.get(i);
        }
matTimes.put(0, 0, arrayTimes);
        calibrate.process(images, response, matTimes);

Python

calibrate = cv.createCalibrateDebevec()
response = calibrate.process(images, times)

许多HDR构建算法都需要知道相机响应函数 (CRF)。我们使用一种校准算法来估计所有256个像素值的CRF反函数。

• 生成HDR图像

C++

    Mat hdr;
    Ptr<MergeDebevec> merge_debevec = createMergeDebevec();
merge_debevec->process(images, hdr, times, response);

Java

Mat hdr = new Mat();
MergeDebevec mergeDebevec = Photo.createMergeDebevec();
mergeDebevec.process(images, hdr, matTimes);

Python

merge_debevec = cv.createMergeDebevec()
hdr = merge_debevec.process(images, times, response)

我们使用Debevec的加权方案，利用前面步骤中计算得到的响应函数来构建HDR图像。

• 色调映射HDR图像

C++

    Mat ldr;
    Ptr<Tonemap> tonemap = createTonemap(2.2f);
tonemap->process(hdr, ldr);

Java

Mat ldr = new Mat();
Tonemap tonemap = Photo.createTonemap(2.2f);
tonemap.process(hdr, ldr);

Python

tonemap = cv.createTonemap(2.2)
ldr = tonemap.process(hdr)

由于我们想在普通的LDR显示器上查看结果，我们需要将HDR图像映射到8位范围，同时保留尽可能多的细节。这是色调映射方法的主要目标。我们使用带有双边滤波的色调映射器，并将伽马校正值设置为2.2。

• 执行曝光融合

C++

    Mat fusion;
    Ptr<MergeMertens> merge_mertens = createMergeMertens();
merge_mertens->process(images, fusion);

Java

Mat fusion = new Mat();
MergeMertens mergeMertens = Photo.createMergeMertens();
mergeMertens.process(images, fusion);

Python

merge_mertens = cv.createMergeMertens()
fusion = merge_mertens.process(images)

如果不需要HDR图像，则可以采用另一种合并曝光的方法。此过程称为曝光融合，它生成不需要伽马校正的LDR图像。它也不使用照片的曝光值。

• 写入结果

C++

    imwrite("fusion.png", fusion * 255);
    imwrite("ldr.png", ldr * 255);
    imwrite("hdr.hdr", hdr);

Java

Core.multiply(fusion, new Scalar(255,255,255), fusion);
Core.multiply(ldr, new Scalar(255,255,255), ldr);
Imgcodecs.imwrite("fusion.png", fusion);
Imgcodecs.imwrite("ldr.png", ldr);
Imgcodecs.imwrite("hdr.hdr", hdr);

Python

cv.imwrite('fusion.png', fusion * 255)
cv.imwrite('ldr.png', ldr * 255)
cv.imwrite('hdr.hdr', hdr)

现在可以查看结果了。请注意，HDR图像无法存储在常用的图像格式中，因此我们将其保存为Radiance图像(.hdr)。此外，所有HDR成像函数的结果都在[0, 1]范围内，因此我们应该将结果乘以255。

您可以尝试其他色调映射算法：cv::TonemapDrago、cv::TonemapMantiuk 和 cv::TonemapReinhard 您还可以根据自己的照片调整HDR校准和色调映射方法中的参数。

结果

色调映射图像

曝光融合

额外资源

1. Paul E Debevec 和 Jitendra Malik。从照片中恢复高动态范围辐射图。在ACM SIGGRAPH 2008课程中，第31页。ACM，2008。[68]
2. Mark A Robertson、Sean Borman和Robert L Stevenson。通过多次曝光提高动态范围。在图像处理，1999年。ICIP 99。论文集。1999年国际会议上，第3卷，第159-163页。IEEE，1999。[227]
3. Tom Mertens、Jan Kautz和Frank Van Reeth。曝光融合。在2007年计算机图形和应用，PG'07。第15届太平洋会议上，第382-390页。IEEE，2007。[188]
4. 维基百科-HDR
5. 从照片中恢复高动态范围辐射图（网页）