目标

在本节中，

我们将学习如何从立体图像生成深度图。

基础

在上一节中，我们了解了极线约束和其他相关术语等基本概念。我们还看到，如果我们有两张同一场景的图像，我们可以通过直观的方式获取深度信息。以下是图像和一些简单的数学公式，它们证明了这种直觉。（图像来源

image

上面的图包含等价三角形。写出它们的等价方程将得到以下结果

\[视差 = x - x' = \frac{Bf}{Z}\]

\(x\) 和 \(x'\) 是图像平面上对应于场景点 3D 及其相机中心的点的距离。\(B\) 是两个相机之间的距离（我们知道），\(f\) 是相机的焦距（已知）。简而言之，上面的等式表明，场景中一个点的深度与对应图像点与其相机中心之间的距离差成反比。因此，利用这些信息，我们可以推导出图像中所有像素的深度。

因此它找到两幅图像之间的对应匹配。我们已经看到了极线约束如何使此操作更快更准确。一旦找到匹配项，它就会找到视差。让我们看看如何用 OpenCV 来实现它。

代码

下面的代码片段展示了一个创建视差图的简单过程。

import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
 
imgL = cv.imread('tsukuba_l.png', cv.IMREAD_GRAYSCALE)
imgR = cv.imread('tsukuba_r.png', cv.IMREAD_GRAYSCALE)
 
stereo = cv.StereoBM.create(numDisparities=16, blockSize=15)
disparity = stereo.compute(imgL,imgR)
plt.imshow(disparity,'gray')
plt.show()

下图包含原始图像（左）及其视差图（右）。正如你所看到的，结果被高程度的噪声污染了。通过调整 numDisparities 和 blockSize 的值，你可以得到更好的结果。

image

当你熟悉 StereoBM 时，有一些参数，你可能需要微调这些参数以获得更好更平滑的结果。参数

texture_threshold：过滤掉纹理不足以进行可靠匹配的区域。
Speckle 范围和大小：基于块的匹配器经常在物体边界附近产生“斑点”，其中匹配窗口在一侧捕获前景，而在另一侧捕获背景。在这个场景中，似乎匹配器还在投影到桌子上的纹理中找到了一些小的虚假匹配。为了消除这些伪影，我们使用 speckle_size 和 speckle_range 参数控制的斑点滤波器对视差图像进行后处理。speckle_size 是视差斑点被视为“斑点”而被忽略的像素数。speckle_range 控制视差必须彼此接近多少才能被视为同一个斑点的一部分。
视差数：窗口滑动多少像素。它越大，可见深度的范围越大，但需要更多的计算。
min_disparity：从左像素 x 位置开始搜索的偏移量。
uniqueness_ratio：另一个后过滤步骤。如果最佳匹配视差与搜索范围内所有其他视差的差异不够大，则该像素将被过滤掉。如果 texture_threshold 和斑点过滤仍然让一些虚假匹配通过，你可以尝试调整它。
prefilter_size 和 prefilter_cap：预过滤阶段，它对图像亮度进行归一化并增强纹理，为块匹配做好准备。通常情况下，你不需要调整这些参数。

这些参数在算法初始化后使用专用 setter 和 getter 设置，例如 setTextureThreshold、setSpeckleRange、setUniquenessRatio 等。有关详细信息，请参阅 cv::StereoBM 文档。

额外资源

Ros 立体图像处理 wiki 页面

练习

OpenCV 示例包含生成视差图及其 3D 重建的示例。在 OpenCV-Python 示例中查看 stereo_match.py。