转换 TensorFlow 细分模型，并通过 OpenCV 启动

目标

本教程将教授如何

• 转换 TensorFlow（TF）细分模型
• 通过 OpenCV 运行转换后的 TensorFlow 模型
• 获得 TensorFlow 和 OpenCV DNN 模型的评估

我们将通过 DeepLab 架构示例来了解上述重点。

简介

TensorFlow 分类和细分模型过渡管线中涉及的主要概念与 OpenCV API 几乎完全相等，但图优化阶段除外。将 TensorFlow 模型转换为cv.dnn.Net的初始步骤是获得冻结 TF 模型图。冻结图定义了模型图结构与所需变量（例如权重）已保留值相结合。冻结图通常保存在protobuf（.pb）文件中。通过cv.dnn.readNetFromTensorflow读取生成的细分模型.pb文件，需要针对 TF 图变换工具修改图。

实操

在此部分，我们将介绍以下重点

1. 创建 TF 分类模型转换管线并提供推断
2. 评估和测试 TF 分类模型

如果您仅想运行评估或测试模型管线，可以跳过“模型转换管线”教程部分。

模型转换管线

本小节中的代码位于dnn_model_runner模块中，可以使用以下代码段执行

python -m dnn_model_runner.dnn_conversion.tf.segmentation.py_to_py_deeplab

可以在TensorFlow Research Models部分找到 TensorFlow 细分模型，其中包含基于已发布研究论文实现的模型。我们将从以下链接中获取预训练的 TF DeepLabV3

http://download.tensorflow.org/models/deeplabv3_mnv2_pascal_trainval_2018_01_29.tar.gz

完整冻结图获取管线在deeplab_retrievement.py中进行描述

def get_deeplab_frozen_graph()
    # 定义要下载的模型路径
models_url = 'http://download.tensorflow.org/models/'
mobilenetv2_voctrainval = 'deeplabv3_mnv2_pascal_trainval_2018_01_29.tar.gz'
 
    # 构造模型链接用于下载
model_link = models_url + mobilenetv2_voctrainval
 
    try:
urllib.request.urlretrieve(model_link, mobilenetv2_voctrainval)
    except Exception
print("TF DeepLabV3 was not retrieved: {}".format(model_link))
        return
 
tf_model_tar = tarfile.open(mobilenetv2_voctrainval)
 
    # 遍历获取的模型归档文件
    for model_tar_elem in tf_model_tar.getmembers()
        # 检查模型归档文件是否包含冻结图
        if TF_FROZEN_GRAPH_NAME in os.path.basename(model_tar_elem.name)
            # 提取冻结图
tf_model_tar.extract(model_tar_elem, FROZEN_GRAPH_PATH)
 
tf_model_tar.close()

在运行脚本后

python -m dnn_model_runner.dnn_conversion.tf.segmentation.deeplab_retrievement

我们将获得 frozen_inference_graph.pb，位于 deeplab/deeplabv3_mnv2_pascal_trainval 中。

在开始使用 OpenCV 加载网络之前，需要优化提取的 frozen_inference_graph.pb。为了优化图，我们使用 TF 的 TransformGraph，其使用默认参数

DEFAULT_OPT_GRAPH_NAME = "optimized_frozen_inference_graph.pb"
DEFAULT_INPUTS = "sub_7"
DEFAULT_OUTPUTS = "ResizeBilinear_3"
DEFAULT_TRANSFORMS = "remove_nodes(op=Identity)" \
                     " merge_duplicate_nodes" \
                     " strip_unused_nodes" \
                     " fold_constants(ignore_errors=true)" \
                     " fold_batch_norms" \
                     " fold_old_batch_norms"
 
 
def optimize_tf_graph(
in_graph,
out_graph=DEFAULT_OPT_GRAPH_NAME,
inputs=DEFAULT_INPUTS,
outputs=DEFAULT_OUTPUTS,
transforms=DEFAULT_TRANSFORMS,
is_manual=True,
was_optimized=True
):
    # ...
 
tf_opt_graph = TransformGraph(
tf_graph,
inputs,
outputs,
transforms
    )

为了运行图优化过程，执行以下行

python -m dnn_model_runner.dnn_conversion.tf.segmentation.tf_graph_optimizer --in_graph deeplab/deeplabv3_mnv2_pascal_trainval/frozen_inference_graph.pb

结果是 deeplab/deeplabv3_mnv2_pascal_trainval 目录将包含 optimized_frozen_inference_graph.pb。

在获取模型图后，让我们了解以下列出的步骤

1. 从获取的冻结图中读取 TF frozen_inference_graph.pb 图
2. 使用 OpenCV API 读取优化后的 TF 冻结图
3. 准备输入数据
4. 提供推断
5. 从预测中获取有色掩码
6. 可视化结果

# 从获取的冻结图中获取 TF 模型图
deeplab_graph = read_deeplab_frozen_graph(deeplab_frozen_graph_path)
 
# 使用 OpenCV API 读取 DeepLab 冻结图
opencv_net = cv2.dnn.readNetFromTensorflow(opt_deeplab_frozen_graph_path)
print("OpenCV 模型已成功读取。模型层：\n", opencv_net.getLayerNames())
 
# 获取已处理的图像
original_img_shape, tf_input_blob, opencv_input_img = get_processed_imgs("test_data/sem_segm/2007_000033.jpg")
 
# 获取 OpenCV DNN 预测
opencv_prediction = get_opencv_dnn_prediction(opencv_net, opencv_input_img)
 
# 获取 TF 模型预测
tf_prediction = get_tf_dnn_prediction(deeplab_graph, tf_input_blob)
 
# 获取 PASCAL VOC 类别和颜色
pascal_voc_classes, pascal_voc_colors = read_colors_info("test_data/sem_segm/pascal-classes.txt")
 
# 获取彩色分割掩码
opencv_colored_mask = get_colored_mask(original_img_shape, opencv_prediction, pascal_voc_colors)
tf_colored_mask = get_tf_colored_mask(original_img_shape, tf_prediction, pascal_voc_colors)
 
# 获取 PASCAL VOC 颜色调色板
color_legend = get_legend(pascal_voc_classes, pascal_voc_colors)
 
cv2.imshow('TensorFlow 彩色掩码', tf_colored_mask)
cv2.imshow('OpenCV DNN 彩色掩码', opencv_colored_mask)
 
cv2.imshow('颜色说明', color_legend)

为了提供模型推理，我们将使用 PASCAL VOC 验证数据集中的以下图片

目标分割结果是

对于 PASCAL VOC 颜色解码及其与预测掩码的对应关系，我们还需要 pascal-classes.txt 文件，其中包含 PASCAL VOC 类别的完整列表和相应的颜色。

通过预训练 TF DeepLabV3 MobileNetV2 的示例，深入了解每一步

• 读取 TF frozen_inference_graph.pb 图表

# 初始化 deeplab 模型图
model_graph = tf.Graph()
 
# 获取
with tf.io.gfile.GFile(frozen_graph_path, 'rb') as graph_file
tf_model_graph = GraphDef()
tf_model_graph.ParseFromString(graph_file.read())
 
with model_graph.as_default()
tf.import_graph_def(tf_model_graph, name='')

• 使用 OpenCV API 读取优化后的 TF 冻结图

# 使用 OpenCV API 读取 DeepLab 冻结图
opencv_net = cv2.dnn.readNetFromTensorflow(opt_deeplab_frozen_graph_path)

• 使用 cv2.dnn.blobFromImage 函数准备输入数据

# 读取图像
input_img = cv2.imread(img_path, cv2.IMREAD_COLOR)
input_img = input_img.astype(np.float32)
 
# 对图像进行预处理以用作 TF 模型输入
tf_preproc_img = cv2.resize(input_img, (513, 513))
tf_preproc_img = cv2.cvtColor(tf_preproc_img, cv2.COLOR_BGR2RGB)
 
# 为 OpenCV DNN 定义预处理参数
mean = np.array([1.0, 1.0, 1.0]) * 127.5
scale = 1 / 127.5
 
# 准备输入 blob 以适应模型输入
# 1. 减去均值
# 2. 缩放以将像素值设为 0 到 1
input_blob = cv2.dnn.blobFromImage(
image=input_img,
scalefactor=scale,
size=(513, 513), # img 目标大小
mean=mean,
swapRB=True, # BGR -> RGB
crop=False # 中心裁剪
)

请注意 cv2.dnn.blobFromImage 函数中的预处理顺序。首先，减去平均值，然后将像素值乘以定义的比例。因此，要重现 TF 图像预处理流程，我们需要将 mean 乘以 127.5。对于 TF DeepLab 而言，另一重要点是图像预处理。为了将图像传递到 TF 模型中，我们仅需构建适当的形状，其余图像预处理内容均在 feature_extractor.py 中进行说明，并将自动调用。

• 提供 OpenCV cv.dnn_Net 推理

# 设置 OpenCV DNN 输入
opencv_net.setInput(preproc_img)
 
# OpenCV DNN 推理
out = opencv_net.forward()
print("OpenCV DNN segmentation prediction: \n")
print("* shape: ", out.shape)
 
# 获取预测类别的 ID
out_predictions = np.argmax(out[0], axis=0)

在执行完上述代码后，我们将获得以下输出

OpenCV DNN 分割预测
* 形状：(1, 21, 513, 513)

21 个预测通道中的每个通道（其中 21 代表 PASCAL VOC 类别的数量）中包含概率，这些概率指示像素与 PASCAL VOC 类别的匹配程度。

• 提供 TF 模型推理

preproc_img = np.expand_dims(preproc_img, 0)
 
# 初始化 TF 会话
tf_session = Session(graph=model_graph)
 
input_tensor_name = "ImageTensor:0",
output_tensor_name = "SemanticPredictions:0"
 
# 运行推理
out = tf_session.run(
output_tensor_name,
feed_dict={input_tensor_name: [preproc_img]}
)
 
print("TF 分割模型预测：\n")
print("* shape: ", out.shape)

TF 推理结果如下：

TF 分割模型预测
* 形状：(1, 513, 513)

TensorFlow 预测包含相应 PASCAL VOC 类别的索引。

• 将 OpenCV 预测值转换为彩色掩模

mask_height = segm_mask.shape[0]
mask_width = segm_mask.shape[1]
 
img_height = original_img_shape[0]
img_width = original_img_shape[1]
 
# 将掩模值转换为 PASCAL VOC 颜色
processed_mask = np.stack([colors[color_id] for color_id in segm_mask.flatten()])
 
# 将掩模重塑为 3 通道图像
processed_mask = processed_mask.reshape(mask_height, mask_width, 3)
processed_mask = cv2.resize(processed_mask, (img_width, img_height), interpolation=cv2.INTER_NEAREST).astype(
np.uint8)
 
# 将彩色掩模从 BGR 转换为 RGB
processed_mask = cv2.cvtColor(processed_mask, cv2.COLOR_BGR2RGB)

在此步骤中，我们将分割掩模中的概率映射为预测类别的适当颜色。我们来看看结果

• 将 TF 预测值转换为彩色掩模

colors = np.array(colors)
processed_mask = colors[segm_mask[0]]
 
img_height = original_img_shape[0]
img_width = original_img_shape[1]
 
processed_mask = cv2.resize(processed_mask, (img_width, img_height), interpolation=cv2.INTER_NEAREST).astype(
np.uint8)
 
# 将彩色掩膜从 BGR 转换到 RGB 以便与 PASCAL VOC 颜色兼容
processed_mask = cv2.cvtColor(processed_mask, cv2.COLOR_BGR2RGB)

结果是

因此，我们得到了两个相等的分割掩模。

模型评估

建议在 dnn/samples 中 dnn_model_runner 模块允许在 PASCAL VOC 数据集上运行完整的评估管道，并测试 DeepLab MobileNet 模型的执行。

评估模式

下面一行表示在评估模式下运行该模块

python -m dnn_model_runner.dnn_conversion.tf.segmentation.py_to_py_segm

将模型读入 OpenCV cv.dnn_Net 对象。TF 和 OpenCV 模型的评估结果（像素准确度、平均 IoU、推理时间）将被写入日志文件。推理时间值还将以图表形式描述出来，以概括获得的模型信息。

必要的评估配置在 test_config.py 中定义

@dataclass
class TestSegmConfig
frame_size: int = 500
img_root_dir: str = "./VOC2012"
img_dir: str = os.path.join(img_root_dir, "JPEGImages/")
img_segm_gt_dir: str = os.path.join(img_root_dir, "SegmentationClass/")
    # 减少的 val：https://github.com/shelhamer/fcn.berkeleyvision.org/blob/master/data/pascal/seg11valid.txt
segm_val_file: str = os.path.join(img_root_dir, "ImageSets/Segmentation/seg11valid.txt")
colour_file_cls: str = os.path.join(img_root_dir, "ImageSets/Segmentation/pascal-classes.txt")

这些值可根据所选择的模型管道进行修改。

测试模式

下面一行表示在测试模式下运行模块，它提供了模型推理步骤

python -m dnn_model_runner.dnn_conversion.tf.segmentation.py_to_py_segm --test True --default_img_preprocess <True/False> --evaluate False

这里 default_img_preprocess 键定义了你是否希望使用某些特定值对模型测试过程进行参数化或使用默认值，例如，scale、mean 或 std。

测试配置在 test_config.py TestSegmModuleConfig 类中表示

@dataclass
class TestSegmModuleConfig
segm_test_data_dir: str = "test_data/sem_segm"
test_module_name: str = "segmentation"
test_module_path: str = "segmentation.py"
input_img: str = os.path.join(segm_test_data_dir, "2007_000033.jpg")
model: str = ""
 
frame_height: str = str(TestSegmConfig.frame_size)
frame_width: str = str(TestSegmConfig.frame_size)
scale: float = 1.0
mean: List[float] = field(default_factory=lambda: [0.0, 0.0, 0.0])
std: List[float] = field(default_factory=list)
crop: bool = false
rgb: bool = true
classes: str = os.path.join(segm_test_data_dir, "pascal 类别.txt")

默认图像预处理选项在 default_preprocess_config.py 中定义

tf_segm_input_blob = {
    "scale": str(1 / 127.5),
    "mean": ["127.5", "127.5", "127.5"],
    "std": [],
    "crop": "false",
    "rgb": "true"
}

在 samples/dnn/segmentation.py 中展示了模型测试基础。segmentation.py 可在 --input 中使用提供的转换模型和 cv2.dnn.blobFromImage 的已填充参数自动执行。

要使用 dnn_model_runner 执行 “模型转换管道” OpenCV 步骤中从头开始制作的部分，请执行以下行

python -m dnn_model_runner.dnn_conversion.tf.segmentation.py_to_py_segm --test True --default_img_preprocess True --evaluate False