图像降噪

目标

在本章中，

• 您将了解非局部均值降噪算法，它可以去除图像中的噪声。
• 您将看到不同的函数，例如 cv.fastNlMeansDenoising()， cv.fastNlMeansDenoisingColored() 等等。

理论

在前面的章节中，我们已经看到了许多图像平滑技术，例如高斯模糊、中值模糊等，它们在去除少量噪声方面效果很好。在这些技术中，我们在像素周围取一个小邻域，并进行一些操作，例如高斯加权平均、值的中间值等，以替换中心元素。简而言之，像素的噪声去除是局部在其邻域内的。

噪声有一个特性。噪声通常被认为是均值为零的随机变量。考虑一个有噪声的像素，\(p = p_0 + n\)，其中 \(p_0\) 是像素的真实值，\(n\) 是该像素的噪声。您可以从不同图像中获取大量相同的像素（例如 \(N\)，并计算它们的平均值。理想情况下，您应该得到 \(p = p_0\)，因为噪声的均值为零。

您可以通过简单的设置自己验证它。将静态相机对准某个位置几秒钟。这将为您提供大量帧，或者同一场景的许多图像。然后编写一段代码来找到视频中所有帧的平均值（现在这对你来说应该太简单了）。比较最终结果和第一帧。您可以看到噪声减少了。不幸的是，这种简单的方法对相机和场景运动并不鲁棒。而且通常只提供一张有噪声的图像。

因此，思路很简单，我们需要一组类似的图像来平均掉噪声。考虑图像中一个小窗口（例如 5x5 窗口）。很有可能相同的补丁可能在图像中的其他地方。有时在它周围的一个小邻域内。如何一起使用这些相似的补丁并找到它们的平均值？对于那个特定的窗口，这很好。请参见下面的示例图像

图像

图像中的蓝色补丁看起来很相似。绿色补丁看起来相似。因此，我们取一个像素，在其周围取一个小窗口，在图像中搜索相似的窗口，对所有窗口求平均，并用我们得到的结果替换像素。这种方法是非局部均值降噪。与我们之前看到的模糊技术相比，它需要更多时间，但它的结果非常好。更多详细信息和在线演示可以在附加资源中的第一个链接中找到。

对于彩色图像，图像被转换为 CIELAB 色彩空间，然后分别对 L 和 AB 分量进行降噪。

OpenCV 中的图像降噪

OpenCV 提供了这种技术的四种变体。

1. cv.fastNlMeansDenoising() - 用于单个灰度图像
2. cv.fastNlMeansDenoisingColored() - 用于彩色图像。
3. cv.fastNlMeansDenoisingMulti() - 用于在短时间内捕获的图像序列（灰度图像）
4. cv.fastNlMeansDenoisingColoredMulti() - 与上面相同，但用于彩色图像。

常见参数是

• h：决定滤波器强度的参数。较高的 h 值可以更好地去除噪声，但也去除图像的细节。（10 还可以）
• hForColorComponents：与 h 相同，但仅用于彩色图像。（通常与 h 相同）
• templateWindowSize：应为奇数。（推荐 7）
• searchWindowSize：应为奇数。（推荐 21）

请访问附加资源中的第一个链接以获取有关这些参数的更多详细信息。

我们将在这里演示 2 和 3。其余的留给您。

1. cv.fastNlMeansDenoisingColored()

如上所述，它用于从彩色图像中去除噪声。（预计噪声为高斯）。请参见以下示例

import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
 
img = cv.imread('die.png')
 
dst = cv.fastNlMeansDenoisingColored(img,None,10,10,7,21)
 
plt.subplot(121),plt.imshow(img)
plt.subplot(122),plt.imshow(dst)
plt.show()

以下是一个缩放后的结果版本。我的输入图像具有 \(sigma = 25\) 的高斯噪声。请参见结果

图像

2. cv.fastNlMeansDenoisingMulti()

现在我们将对视频应用相同的方法。第一个参数是有噪声帧的列表。第二个参数 imgToDenoiseIndex 指定我们需要对哪个帧进行降噪，为此我们传递输入列表中帧的索引。第三个是 temporalWindowSize，它指定用于降噪的附近帧数。它应该是奇数。在这种情况下，总共使用 temporalWindowSize 帧，其中中心帧是需要降噪的帧。例如，您传递了 5 帧的列表作为输入。设 imgToDenoiseIndex = 2 且 temporalWindowSize = 3。然后使用帧 -1、帧 -2 和帧 -3 对帧 -2 进行降噪。让我们来看一个例子。

import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
 
cap = cv.VideoCapture('vtest.avi')
 
# 创建前 5 帧的列表
img = [cap.read()[1] for i in range(5)]
 
# 将所有转换为灰度
gray = [cv.cvtColor(i, cv.COLOR_BGR2GRAY) for i in img]
 
# 将所有转换为 float64
gray = [np.float64(i) for i in gray]
 
# 创建方差为 25 的噪声
noise = np.random.randn(*gray[1].shape)*10
 
# 将此噪声添加到图像
noisy = [i+noise for i in gray]
 
# 转换回 uint8
noisy = [np.uint8(np.clip(i,0,255)) for i in noisy]
 
# 对第 3 帧进行降噪，考虑所有 5 帧
dst = cv.fastNlMeansDenoisingMulti(noisy, 2, 5, None, 4, 7, 35)
 
plt.subplot(131),plt.imshow(gray[2],'gray')
plt.subplot(132),plt.imshow(noisy[2],'gray')
plt.subplot(133),plt.imshow(dst,'gray')
plt.show()

以下图像显示了我们获得的结果的缩放版本

图像

计算需要相当长的时间。在结果中，第一张图像是原始帧，第二张是有噪声的帧，第三张是降噪后的图像。

附加资源

1. http://www.ipol.im/pub/art/2011/bcm_nlm/（它包含详细信息、在线演示等。强烈建议您访问。我们的测试图像由此链接生成）
2. Coursera 上的在线课程（第一张图像来自这里）

练习