信息流阿尔法抠图

此项目是 Google Summer of Code 2019 的一部分。

学生：Muskaan Kularia

导师：Sunita Nayak

阿尔法抠图问题是从背景图像中提取具有柔和边界的目标前景。提取的前景可用于进一步操作，例如更改图像中的背景。

给定输入图像及其对应的三值图，我们尝试从背景中提取前景。以下是一个示例

输入图像：

输入图像最好是 RGB 图像。

输入三值图：

三值图是灰度图像，包含有关前景（白色像素）、背景（黑色像素）和未知（灰色）像素的信息。

输出阿尔法蒙版：

计算的阿尔法蒙版保存为灰度图像，其中像素值指示提取的前景对象的透明度。这些透明度值可用于将前景对象混合到不同的背景中，如下所示：

以下是一些其他的结果。

第一列是输入 RGB 图像，第二列是输入三值图，第三列是提取的阿尔法蒙版，最后两列显示混合在新背景上的前景对象。

此项目是 [7] 的实现。它还需要实现其他论文 [2,3,4] 的部分内容。

构建

此模块使用 Eigen 包。

使用以下两个 cmake 命令在 build 文件夹内运行，来构建 alphamat 模块的示例代码

cmake -DOPENCV_EXTRA_MODULES_PATH=<opencv_contrib 模块路径> -DBUILD_EXAMPLES=ON ..
 
cmake --build . --config Release --target example_alphamat_information_flow_matting

如有需要，请参考 OpenCV 构建教程了解更多详细信息。

测试

构建的目标可以按如下方式测试

<opencv 构建目录路径>/bin/example_alphamat_information_flow_matting -img=<输入图像文件路径> -tri=<对应三值图路径> -out=<保存输出蒙版文件路径>

示例源代码

// 此文件是 OpenCV 项目的一部分。
// 它受此发行版顶层目录中 LICENSE 文件中找到的许可条款以及 https://opencv.ac.cn/license.html 中的许可条款的约束。

 
// 包含相关的头文件
#include <iostream>
#include "opencv2/highgui.hpp"
#include <opencv2/core.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/alphamat.hpp>
 
// 设置命名空间
using namespace std;
using namespace cv;
using namespace cv::alphamat;
 
// 设置使用参数名称
const char* keys =
 "{img || 输入图像名称}"
 "{tri || 输入三值图图像名称}"
 "{out || 输出图像名称}"
 "{help h || 打印帮助信息}"
;
 
int main(int argc, char* argv[])
{
 CommandLineParser parser(argc, argv, keys);
 parser.about("此示例演示信息流阿尔法抠图");
 
 if (parser.has("help"))
    {
 parser.printMessage();
 return 0;
    }
 
 // 读取输入图像、输入三值图和输出图像的位置的路径。
 string img_path = parser.get<std::string>("img");
 string trimap_path = parser.get<std::string>("tri");
 string result_path = parser.get<std::string>("out");
 
 // 确保用户输入输入图像和三值图的路径
 if (!parser.check()
 || img_path.empty() || trimap_path.empty())
    {
 parser.printMessage();
 parser.printErrors();
 return 1;
    }
 
 Mat image, tmap;
 
 // 读取输入图像
 image = imread(img_path, IMREAD_COLOR);
 if (image.empty())
    {
 printf("无法读取图像文件：'%s'\n", img_path.c_str());
 return 1;
    }
 
 // 读取三值图
 tmap = imread(trimap_path, IMREAD_GRAYSCALE);
 if (tmap.empty())
    {
 printf("无法读取trimap文件: '%s'\n", trimap_path.c_str());
 return 1;
    }
 
 Mat result;
 // 执行信息流阿尔法抠图
 infoFlow(image, tmap, result);
 
 if (result_path.empty())
    {
 // 如果未提供结果文件路径，则显示阿尔法蒙版。
 namedWindow("结果阿尔法蒙版", WINDOW_NORMAL);
 imshow("结果阿尔法蒙版", result);
 waitKey(0);
    }
 else
    {
 // 保存阿尔法蒙版
 imwrite(result_path, result);
 printf("结果已保存: '%s'\n", result_path.c_str());
    }
 
 return 0;
}

参考文献

[1] Yagiz Aksoy, Tunc Ozan Aydin, Marc Pollefeys, 设计有效的像素间信息流用于自然图像抠图, CVPR, 2017.

[2] Roweis, Sam T. 和 Lawrence K. Saul. 通过局部线性嵌入进行非线性降维, Science 290.5500 (2000): 2323-2326.

[3] Anat Levin, Dani Lischinski, Yair Weiss, 自然图像抠图的闭合解, IEEE TPAMI, 2008.

[4] Qifeng Chen, Dingzeyu Li, Chi-Keung Tang, KNN抠图, IEEE TPAMI, 2013.

[5] Yagiz Aksoy, 基于亲和性的抠图工具箱.