信息流 Alpha Matting

此项目是 Google Summer of Code 2019 的一部分。

学生: Muskaan Kularia

导师: Sunita Nayak

Alpha Matting 是从背景图像中提取具有柔和边界的前景的问题。 提取的前景可用于进一步的操作，例如更改图像中的背景。

给定输入图像及其对应的 Trimap，我们尝试从背景中提取前景。 以下是一个示例

输入图像:

输入图像最好是 RGB 图像。

输入 Trimap:

Trimap 图像是灰度图像，其中包含有关前景（白色像素）、背景（黑色像素）和未知（灰色）像素的信息。

输出 Alpha Matte:

计算出的 Alpha Matte 保存为灰度图像，其中像素值指示提取的前景对象的不透明度。 这些不透明度值可用于将前景对象混合到不同的背景中，如下所示：

以下是一些更多结果。

第一列是输入 RGB 图像，第二列是输入 Trimap，第三列是提取的 Alpha Matte，最后两列显示了混合在新背景上的前景对象。

此项目是 [8] 的实现。 它还需要实现其他论文 [2,3,4] 的部分内容。

构建

此模块使用 Eigen 包。

使用以下两个 cmake 命令在构建文件夹内运行来构建 alphamat 模块的示例代码

cmake -DOPENCV_EXTRA_MODULES_PATH=<opencv_contrib 模块的路径> -DBUILD_EXAMPLES=ON ..
 
cmake --build . --config Release --target example_alphamat_information_flow_matting

如果需要，请参阅 OpenCV 构建教程以获取更多详细信息。

测试

可以按如下方式测试构建目标

<到您的 OpenCV 构建目录的路径>/bin/example_alphamat_information_flow_matting -img=<到输入图像文件的路径> -tri=<到相应 Trimap 的路径> -out=<保存输出 Matte 文件的路径>

示例的源代码

// 此文件是 OpenCV 项目的一部分。
// 它受 LICENSE 文件中的许可条款约束，该文件位于顶级目录中
// 此发行版和 https://opencv.ac.cn/license.html。
 
// 包含相关的头文件
#include <iostream>
#include "opencv2/highgui.hpp"
#include <opencv2/core.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/alphamat.hpp>
 
// 设置命名空间
using namespace std;
using namespace cv;
using namespace cv::alphamat;
 
// 设置用法参数名称
const char* keys =
 "{img || 输入图像名称}"
 "{tri || 输入 Trimap 图像名称}"
 "{out || 输出图像名称}"
 "{help h || 打印帮助消息}"
;
 
int main(int argc, char* argv[])
{
 CommandLineParser parser(argc, argv, keys);
 parser.about("此示例演示了信息流 Alpha Matting");
 
 if (parser.has("help"))
    {
 parser.printMessage();
 return 0;
    }
 
// 读取到输入图像、输入 Trimap 和输出图像位置的路径。
 string img_path = parser.get<std::string>("img");
 string trimap_path = parser.get<std::string>("tri");
 string result_path = parser.get<std::string>("out");
 
// 确保用户输入到输入图像和 Trimap 的路径
 if (!parser.check()
 || img_path.empty() || trimap_path.empty())
    {
 parser.printMessage();
 parser.printErrors();
 return 1;
    }
 
 Mat image, tmap;
 
// 读取输入图像
 image = imread(img_path, IMREAD_COLOR);
 if (image.empty())
    {
 printf("无法读取图像文件：'%s'\n", img_path.c_str());
 return 1;
    }
 
// 读取 Trimap
 tmap = imread(trimap_path, IMREAD_GRAYSCALE);
 if (tmap.empty())
    {
 printf("无法读取 Trimap 文件：'%s'\n", trimap_path.c_str());
 return 1;
    }
 
 Mat result;
// 执行信息流 Alpha Matting
 infoFlow(image, tmap, result);
 
 if (result_path.empty())
    {
// 如果未提供结果文件路径，则显示 Alpha Matte。
 namedWindow("结果 Alpha Matte", WINDOW_NORMAL);
 imshow("结果 Alpha Matte", result);
 waitKey(0);
    }
 else
    {
// 保存 Alpha Matte
 imwrite(result_path, result);
 printf("结果已保存：'%s'\n", result_path.c_str());
    }
 
 return 0;
}

参考文献

[1] Yagiz Aksoy, Tunc Ozan Aydin, Marc Pollefeys, 为自然图像抠图设计有效的像素间信息流, CVPR, 2017.

[2] Roweis, Sam T., and Lawrence K. Saul. 局部线性嵌入的非线性降维, Science 290.5500 (2000): 2323-2326.

[3] Anat Levin, Dani Lischinski, Yair Weiss, 自然图像抠图的封闭形式解决方案, IEEE TPAMI, 2008.

[4] Qifeng Chen, Dingzeyu Li, Chi-Keung Tang, KNN 抠图, IEEE TPAMI, 2013.

[5] Yagiz Aksoy, 基于亲和力的抠图工具箱。