使用分水岭算法进行图像分割

目标

在本章中，

• 我们将学习使用基于标记的分水岭算法进行图像分割。
• 我们将看到：cv.watershed()

理论

任何灰度图像都可以被视为地形表面，其中高强度表示峰和山，而低强度表示谷。首先用不同颜色的水（标签）填充每个孤立的谷（局部最小值）。当水上升时，根据附近的峰（梯度），来自不同谷的水，显然颜色不同，将开始合并。为了避免这种情况，在水合并的位置建立屏障。继续填充水和建立屏障的工作，直到所有的峰都在水下。然后，你创建的屏障会给你分割结果。这就是分水岭背后的“哲学”。你可以访问CMM网页上的分水岭，通过一些动画来理解它。

但是，由于噪声或图像中的任何其他不规则性，这种方法会给你过度分割的结果。因此，OpenCV实现了一种基于标记的分水岭算法，你可以在其中指定哪些谷点要合并，哪些不要。这是一种交互式图像分割。我们所做的是为我们知道的对象赋予不同的标签。用一种颜色（或强度）标记我们确定是前景或对象的区域，用另一种颜色标记我们确定是背景或非对象的区域，最后用0标记我们不确定的区域。这就是我们的标记。然后应用分水岭算法。然后，我们的标记将被我们给出的标签更新，对象的边界将具有值-1。

代码

下面我们将看到一个如何使用距离变换以及分水岭来分割相互接触对象的例子。

考虑下面的硬币图像，硬币相互接触。即使你对其进行阈值化，它们也会相互接触。

image

我们首先找到硬币的近似估计。为此，我们可以使用Otsu的二值化。

import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
 
img = cv.imread('coins.png')
assert img is not None, "file could not be read, check with os.path.exists()"
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
ret, thresh = cv.threshold(gray,0,255,cv.THRESH_BINARY_INV+cv.THRESH_OTSU)

结果

image

现在我们需要去除图像中的任何小的白色噪声。为此，我们可以使用形态学开运算。为了去除对象中的任何小孔，我们可以使用形态学闭运算。所以，现在我们可以确定靠近对象中心的区域是前景，而远离对象的区域是背景。我们不确定的区域只是硬币的边界区域。

因此，我们需要提取我们确定它们是硬币的区域。腐蚀会移除边界像素。所以无论剩下什么，我们都可以确定它是硬币。如果对象不相互接触，这将有效。但是由于它们相互接触，另一个好的选择是找到距离变换并应用适当的阈值。接下来，我们需要找到我们确定它们不是硬币的区域。为此，我们膨胀结果。膨胀会将对象边界增加到背景。这样，我们可以确保结果中背景中的任何区域都是真正的背景，因为边界区域已被移除。见下图。

image

剩余的区域是我们没有任何想法的区域，无论是硬币还是背景。分水岭算法应该找到它。这些区域通常位于前景和背景相遇的硬币边界周围（甚至两个不同的硬币相遇）。我们称之为边界。它可以从sure_bg区域中减去sure_fg区域获得。

# 去除噪声
kernel = np.ones((3,3),np.uint8)
opening = cv.morphologyEx(thresh,cv.MORPH_OPEN,kernel, iterations = 2)
 
# 确定背景区域
sure_bg = cv.dilate(opening,kernel,iterations=3)
 
# 寻找确定前景区域
dist_transform = cv.distanceTransform(opening,cv.DIST_L2,5)
ret, sure_fg = cv.threshold(dist_transform,0.7*dist_transform.max(),255,0)
 
# 寻找未知区域
sure_fg = np.uint8(sure_fg)
unknown = cv.subtract(sure_bg,sure_fg)

查看结果。在阈值化图像中，我们得到了一些我们确定是硬币的区域，它们现在是分离的。（在某些情况下，你可能只对前景分割感兴趣，而不是分离相互接触的对象。在这种情况下，你不需要使用距离变换，只需腐蚀就足够了。腐蚀只是另一种提取确定前景区域的方法，仅此而已。）

image

现在我们确定了哪些是硬币区域，哪些是背景等。所以我们创建标记（它是一个与原始图像大小相同的数组，但具有int32数据类型）并标记其中的区域。我们确定的区域（无论是前景还是背景）都用任何正整数标记，但不同的整数，我们不确定的区域保持为零。为此，我们使用cv.connectedComponents()。它用0标记图像的背景，然后其他对象用从1开始的整数标记。

但是我们知道如果背景用0标记，分水岭会将其视为未知区域。所以我们想用不同的整数标记它。相反，我们将用0标记由unknown定义的未知区域。

# 标记标记
ret, markers = cv.connectedComponents(sure_fg)
 
# 将所有标签加1，以便确定背景不是0，而是1
markers = markers+1
 
# 现在，用零标记未知区域
markers[unknown==255] = 0

查看JET颜色映射中显示的结果。深蓝色区域显示未知区域。确定硬币用不同的值着色。与未知区域相比，以较浅的蓝色显示确定背景的剩余区域。

image

现在我们的标记已准备就绪。是时候进行最后一步了，应用分水岭。然后标记图像将被修改。边界区域将用-1标记。

markers = cv.watershed(img,markers)
img[markers == -1] = [255,0,0]

查看下面的结果。对于一些硬币，它们接触的区域被正确分割，而对于一些硬币，它们没有被正确分割。

image

附加资源

1. CMM页面上的分水岭变换

练习

1. OpenCV示例有一个关于分水岭分割的交互式示例，watershed.py。运行它，享受它，然后学习它。