基于分水岭算法的图像分割

目标

本章节中，

• 我们将学习如何使用基于标记的分水岭算法进行图像分割。
• 我们将学习：cv.watershed()

理论

任何灰度图像都可以被视为一个地形表面，其中高强度表示山峰和丘陵，而低强度表示山谷。你开始用不同颜色的水（标签）填充每个孤立的山谷（局部最小值）。随着水位的上升，取决于附近的山峰（梯度），不同山谷的水（显然颜色不同）将开始合并。为了避免这种情况，你需要在水合并的位置建造障碍物。你继续填充水和建造障碍物的工作，直到所有的山峰都在水下。然后你创建的障碍物就给了你分割的结果。这就是分水岭算法背后的“理念”。你可以访问CMM关于分水岭算法的网页，借助一些动画来理解它。

但是，由于图像中的噪声或其他不规则性，这种方法会产生过度分割的结果。因此，OpenCV实现了一种基于标记的分水岭算法，你可以在其中指定要合并哪些谷点，哪些谷点不要合并。这是一种交互式图像分割。我们要做的就是为我们已知的物体赋予不同的标签。将我们确定为前景或物体的区域标记为一种颜色（或强度），将我们确定为背景或非物体的区域标记为另一种颜色，最后，对于我们不确定的区域，标记为0。这就是我们的标记。然后应用分水岭算法。然后我们的标记将被我们给出的标签更新，物体的边界将具有-1的值。

代码

下面我们将看到一个例子，说明如何将距离变换与分水岭算法结合起来，分割相互接触的物体。

考虑下面的硬币图像，硬币相互接触。即使你对其进行阈值化，它们仍然会相互接触。

图像

我们首先找到硬币的近似估计。为此，我们可以使用Otsu二值化。

import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
 
img = cv.imread('coins.png')
assert img is not None, "文件无法读取，请使用os.path.exists()检查"
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
ret, thresh = cv.threshold(gray,0,255,cv.THRESH_BINARY_INV+cv.THRESH_OTSU)

结果

图像

现在我们需要去除图像中任何小的白色噪点。为此，我们可以使用形态学开运算。为了去除物体中的任何小孔，我们可以使用形态学闭运算。因此，现在我们可以确定物体中心附近的区域是前景，远离物体的区域是背景。我们不确定的区域只有硬币的边界区域。

因此，我们需要提取我们确定是硬币的区域。腐蚀去除边界像素。因此，任何剩余的部分，我们都可以确定它是硬币。如果物体没有相互接触，这将有效。但由于它们相互接触，另一个不错的选择是找到距离变换并应用适当的阈值。接下来，我们需要找到我们确定不是硬币的区域。为此，我们对结果进行膨胀。膨胀将物体边界增加到背景。通过这种方式，我们可以确保结果中背景中的任何区域确实是背景，因为边界区域已被去除。

图像

剩余的区域是我们不知道是硬币还是背景的区域。分水岭算法应该找到它。这些区域通常位于硬币的边界附近，前景和背景相遇（甚至两个不同的硬币相遇）的地方。我们称之为边界。它可以通过从sure_bg区域减去sure_fg区域得到。

# 噪点去除
kernel = np.ones((3,3),np.uint8)
opening = cv.morphologyEx(thresh,cv.MORPH_OPEN,kernel, iterations = 2)
 
# 确定背景区域
sure_bg = cv.dilate(opening,kernel,iterations=3)
 
# 查找确定前景区域
dist_transform = cv.distanceTransform(opening,cv.DIST_L2,5)
ret, sure_fg = cv.threshold(dist_transform,0.7*dist_transform.max(),255,0)
 
# 查找未知区域
sure_fg = np.uint8(sure_fg)
unknown = cv.subtract(sure_bg,sure_fg)

查看结果。在阈值化图像中，我们得到了一些确定为硬币的硬币区域，并且它们现在已经分离。(在某些情况下，您可能只对前景分割感兴趣，而不是分离相互接触的对象。在这种情况下，您不需要使用距离变换，仅腐蚀就足够了。腐蚀只是另一种提取确定前景区域的方法，仅此而已。)

图像

现在我们确定哪些是硬币区域，哪些是背景等等。因此，我们创建一个标记（它是一个与原始图像大小相同但数据类型为 int32 的数组），并在其中标记区域。我们确定的区域（无论是前景还是背景）都用任何正整数标记，但整数不同，而我们不确定的区域则保留为零。为此，我们使用cv.connectedComponents()。它用 0 标记图像的背景，然后用从 1 开始的整数标记其他对象。

但我们知道，如果背景标记为 0，分水岭算法将将其视为未知区域。因此，我们希望用不同的整数标记它。相反，我们将用 0 标记由 unknown 定义的未知区域。

# 标记标注
ret, markers = cv.connectedComponents(sure_fg)
 
# 为所有标签加一，以便确定的背景不是 0，而是 1
markers = markers+1
 
# 现在，用零标记未知区域
markers[unknown==255] = 0

查看JET颜色图所示的结果。深蓝色区域显示未知区域。确定的硬币用不同的值着色。与未知区域相比，确定的背景区域显示为较浅的蓝色。

图像

现在我们的标记准备好了。是时候进行最后一步了，应用分水岭算法。然后标记图像将被修改。边界区域将标记为 -1。

markers = cv.watershed(img,markers)
img[markers == -1] = [255,0,0]

查看下面的结果。对于一些硬币，它们接触的区域被正确分割，而对于另一些硬币，则没有。

图像

附加资源

1. 关于分水岭变换的CMM页面

练习

1. OpenCV 示例包含一个关于分水岭分割的交互式示例，watershed.py。运行它，享受它，然后学习它。