图像金字塔

目标

在本章中，

• 我们将了解图像金字塔
• 我们将使用图像金字塔创建一种新的水果“Orapple”
• 我们将看到这些函数：cv.pyrUp()、cv.pyrDown()

理论

通常，我们习惯于使用尺寸恒定的图像。但有时，我们需要使用不同分辨率的（同）图像。例如，在图像中搜索某个物体（比如人脸）时，我们不确定该物体在图像中将以什么尺寸出现。这种情况下，我们需要针对同一幅图像创建一组具有不同分辨率的图像，并在所有这些图像中搜索物体。这组具有不同分辨率的图像称为图像金字塔（这是因为当这些图像以金字塔形式堆叠时，分辨率最高的图像位于底部，分辨率最低的图像位于顶部，就像一个金字塔）。

图像金字塔有两种类型。1) 高斯金字塔和 2) 拉普拉斯金字塔

高斯金字塔中较高级别（较低分辨率）的图像通过删除较低级别（较高分辨率）图像中的连续行和列而构成。然后，较高级别中的每个像素由底层中 5 个像素以高斯权重的形式贡献。通过这样做，\(M \times N\) 图像将变成 \(M/2 \times N/2\) 图像。因此，面积减少到原始面积的四分之一。这称为一个八度音阶。当我们在金字塔中向上移动（即分辨率降低）时，这种模式会继续下去。类似地，在下采样时，每个级别的面积变为 4 倍。我们可以使用 cv.pyrDown() 和 cv.pyrUp() 函数查找高斯金字塔。

img = cv.imread('messi5.jpg')
assert img is not None, "file could not be read, check with os.path.exists()"
lower_reso = cv.pyrDown(higher_reso)

以下是图像金字塔中的 4 个级别。

image

现在，您可以使用 cv.pyrUp() 函数向下遍历图像金字塔。

higher_reso2 = cv.pyrUp(lower_reso)

请记住，higher_reso2 不等于 higher_reso，因为一旦降低分辨率，就会丢失信息。下图是之前情况中最小的图像创建的金字塔的第三层。将其与原始图像进行比较

image

拉普拉斯金字塔由高斯金字塔形成。没有专门用于此的函数。拉普拉斯金字塔图像就像边缘图像一样。它的元素大部分为零。它们用于图像压缩。拉普拉斯金字塔中的一层是由高斯金字塔中该层与高斯金字塔中其上层的扩展版本之间的差异形成的。拉普拉斯一层的三个级别如下所示（调整对比度以增强内容）

image

使用金字塔进行图像混合

金字塔的一个应用是图像混合。例如，在图像拼接中，您需要将两张图像叠放在一起，但由于图像之间的不连续性，它可能看起来并不好看。在这种情况下，使用金字塔进行图像混合可以无缝混合，而不会在图像中留下太多数据。一个经典的例子是将橙子和苹果两种水果进行混合。现在就看看结果，了解我所说的内容

image

请查看附加资源中的第一个参考，它提供了有关图像混合、拉普拉斯金字塔等的完整图表详细信息。简单来说，它是这样做的

1. 加载苹果和橙子的两幅图像
2. 找到苹果和橙子的高斯金字塔（在这个特定示例中，层次数为 6）
3. 从高斯金字塔中，找到它们的拉普拉斯金字塔
4. 现在，在拉普拉斯金字塔的每一层中加入苹果的左半部分和橙子的右半部分
5. 最后，从中继图像金字塔中重建原始图像。

以下是完整代码。（为简单起见，每个步骤单独执行，这可能需要更多内存。如果您愿意，可以进行优化）。

import cv2 as cv
import numpy as np,sys
 
A = cv.imread('apple.jpg')
B = cv.imread('orange.jpg')
断言 A 为 非 空值，"无法读取文件，用 os.path.exists() 检查一下"
断言 B 为 非 空值，"无法读取文件，用 os.path.exists() 检查一下"
 
# 为 A 生成高斯金字塔
G = A.copy()
gpA = [G]
对于 i 在 范围(6)
G = cv.pyrDown(G)
gpA.append(G)
 
# 为 B 生成高斯金字塔
G = B.copy()
gpB = [G]
对于 i 在 范围(6)
G = cv.pyrDown(G)
gpB.append(G)
 
# 为 A 生成拉普拉斯金字塔
lpA = [gpA[5]]
对于 i 在 范围(5,0,-1)
GE = cv.pyrUp(gpA[i])
L = cv.subtract(gpA[i-1],GE)
lpA.append(L)
 
# 为 B 生成拉普拉斯金字塔
lpB = [gpB[5]]
对于 i 在 范围(5,0,-1)
GE = cv.pyrUp(gpB[i])
L = cv.subtract(gpB[i-1],GE)
lpB.append(L)
 
# 现在添加每层图像的左右半部分
LS = []
对于 la,lb 在 zip(lpA,lpB)
rows,cols,dpt = la.shape
ls = np.hstack((la[:,0:cols//2], lb[:,cols//2:]))
LS.append(ls)
 
# 现在重建
ls_ = LS[0]
对于 i 在 范围(1,6)
ls_ = cv.pyrUp(ls_)
ls_ = cv.add(ls_, LS[i])
 
# 图像直接连接每个部分
real = np.hstack((A[:,:cols//2],B[:,cols//2:]))
 
cv.imwrite('Pyramid_blending2.jpg',ls_)
cv.imwrite('Direct_blending.jpg',real)

额外资源

1. 图像混合

练习