目标
在本章中，
理论
在前面的章节中，我们已经看到了许多图像平滑技术，例如高斯模糊、中值模糊等，它们在去除少量噪声方面效果不错。在这些技术中，我们取像素周围的一个小邻域，并进行一些运算，例如高斯加权平均、值的中间值等，以替换中心元素。简而言之，像素的噪声去除是局限在其邻域内的。
噪声具有一定的特性。噪声通常被认为是均值为零的随机变量。考虑一个噪声像素，\(p = p_0 + n\)，其中\(p_0\)是像素的真实值，\(n\)是该像素中的噪声。您可以从不同的图像中获取大量相同的像素（例如\(N\)），并计算它们的平均值。理想情况下，您应该得到\(p = p_0\)，因为噪声的均值为零。
您可以通过一个简单的设置自行验证这一点。将静态摄像头保持在某个位置几秒钟。这将为您提供大量帧或同一场景的许多图像。然后编写一段代码来查找视频中所有帧的平均值（这对您来说应该很简单）。比较最终结果和第一帧。您可以看到噪声减少了。不幸的是，这种简单的方法对相机和场景运动并不稳健。而且通常只有一个噪声图像可用。
因此，思路很简单，我们需要一组相似的图像来平均噪声。考虑图像中一个小窗口（例如 5x5 窗口）。同一个图像块可能出现在图像的其他地方的可能性很大。有时在其周围的一个小邻域内。尝试将这些相似的图像块一起使用并求它们的平均值怎么样？对于那个特定的窗口，这很好。请看下面的示例图像
图像
图像中的蓝色图像块看起来相似。绿色图像块看起来相似。因此，我们取一个像素，取其周围的小窗口，在图像中搜索相似的窗口，对所有窗口求平均值，并用得到的结果替换像素。这种方法是非局部均值降噪。与我们之前看到的模糊技术相比，它需要更多时间，但其结果非常好。更多细节和在线演示可以在附加资源中的第一个链接中找到。
对于彩色图像，图像被转换为 CIELAB 颜色空间，然后分别对 L 和 AB 分量进行降噪。
OpenCV 中的图像降噪
OpenCV 提供了这种技术的四个变体。
- cv.fastNlMeansDenoising() - 用于单通道灰度图像
- cv.fastNlMeansDenoisingColored() - 用于彩色图像。
- cv.fastNlMeansDenoisingMulti() - 用于在短时间内捕获的图像序列（灰度图像）
- cv.fastNlMeansDenoisingColoredMulti() - 与上面相同，但用于彩色图像。
常用参数：
- h：决定滤波器强度的参数。较高的 h 值可以更好地去除噪声，但也同时去除图像细节。（10 还可以）
- hForColorComponents：与 h 相同，但仅用于彩色图像。（通常与 h 相同）
- templateWindowSize：应为奇数。（推荐 7）
- searchWindowSize：应为奇数。（推荐 21）
有关这些参数的更多详细信息，请访问附加资源中的第一个链接。
我们将在此演示 2 和 3。其余部分留给您。
1. cv.fastNlMeansDenoisingColored()
如上所述，它用于去除彩色图像中的噪声。（噪声预计为高斯噪声）。请参见下面的示例
import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
plt.subplot(121),plt.imshow(img)
plt.subplot(122),plt.imshow(dst)
plt.show()
CV_EXPORTS_W Mat imread(const String &filename, int flags=IMREAD_COLOR_BGR)
从文件加载图像。
void fastNlMeansDenoisingColored(InputArray src, OutputArray dst, float h=3, float hColor=3, int templateWindowSize=7, int searchWindowSize=21)
彩色图像的fastNlMeansDenoising函数修改版。
以下是结果的缩放版本。我的输入图像具有\(\sigma = 25\)的高斯噪声。请参见结果
图像
2. cv.fastNlMeansDenoisingMulti()
现在我们将同样的方法应用于视频。第一个参数是噪声帧的列表。第二个参数 imgToDenoiseIndex 指定我们需要对哪个帧进行降噪，为此我们传递输入列表中帧的索引。第三个是 temporalWindowSize，它指定要用于降噪的附近帧的数量。它应该是奇数。在这种情况下，总共使用 temporalWindowSize 帧，其中中心帧是要降噪的帧。例如，您传递了 5 帧的列表作为输入。令 imgToDenoiseIndex = 2 且 temporalWindowSize = 3。然后使用帧 -1、帧 -2 和帧 -3 来对帧 -2 进行降噪。让我们来看一个例子。
import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
img = [cap.read()[1] for i in range(5)]
gray = [
cv.cvtColor(i, cv.COLOR_BGR2GRAY)
for i
in img]
gray = [np.float64(i) for i in gray]
noise = np.random.randn(*gray[1].shape)*10
noisy = [i+noise for i in gray]
noisy = [np.uint8(np.clip(i,0,255)) for i in noisy]
plt.subplot(131),plt.imshow(gray[2],'gray')
plt.subplot(132),plt.imshow(noisy[2],'gray')
plt.subplot(133),plt.imshow(dst,'gray')
plt.show()
用于从视频文件、图像序列或摄像头捕获视频的类。
定义 videoio.hpp:766
void cvtColor(InputArray src, OutputArray dst, int code, int dstCn=0, AlgorithmHint hint=cv::ALGO_HINT_DEFAULT)
将图像从一种颜色空间转换为另一种颜色空间。
void fastNlMeansDenoisingMulti(InputArrayOfArrays srcImgs, OutputArray dst, int imgToDenoiseIndex, int temporalWindowSize, float h=3, int templateWindowSize=7, int searchWindowSize=21)
fastNlMeansDenoising函数的修改版本，用于图像序列，其中连续图像具有……
下图显示了我们获得的结果的放大版本。
图像
计算需要相当长的时间。结果中，第一张图像是原始帧，第二张图像是带有噪声的图像，第三张图像是降噪后的图像。
附加资源
- http://www.ipol.im/pub/art/2011/bcm_nlm/ (包含详细信息、在线演示等。强烈建议访问。我们的测试图像由此链接生成)
- Coursera上的在线课程 (第一张图像取自此处)
1.12.0