使用 SVM 对手写数据进行 OCR

目标

在本章节中

• 我们将重新查看手写数据 OCR，不过，不再使用 kNN 而使用 SVM。

手写数字 OCR

在 kNN 中，我们将像素强度直接用作特征向量。这次，我们将使用方向梯度直方图(HOG) 作为特征向量。

在此，在查找 HOG 之前，我们使用它的二阶矩对图像进行校斜。所以我们首先定义一个函数 **deskew()** 来获取一个数字图像并对其校斜。以下是 deskew() 函数

def deskew(img)
m = cv.moments(img)
    if abs(m['mu02']) < 1e-2
        return img.copy()
skew = m['mu11']/m['mu02']
M = np.float32([[1, skew, -0.5*SZ*skew], [0, 1, 0]])
img = cv.warpAffine(img,M,(SZ, SZ),flags=affine_flags)
    return img

下图显示了上述 deskew 函数对数字零的图像应用后的效果。左图是原始图像，右图是校斜后的图像。

图片

接下来，我们必须找到每个单元的 HOG 描述符。为此，我们找到 X 和 Y 方向中每个单元的 Sobel 导数。然后找到每个像素上的梯度幅值和方向。此梯度量化为 16 个整数。将此图像分成四个小正方形。对于每个小正方形，计算方向直方图（16 个垃圾箱），并根据各自的幅值进行加权。因此，每个小正方形都会给出一个包含 16 个值的向量。四个这样的向量（来自四个小正方形）共同构成一个包含 64 个值的特征向量。这是我们用于训练数据的特征向量。

def hog(img)
gx = cv.Sobel(img, cv.CV_32F, 1, 0)
gy = cv.Sobel(img, cv.CV_32F, 0, 1)
mag, ang = cv.cartToPolar(gx, gy)
bins = np.int32(bin_n*ang/(2*np.pi)) # 量化 (0...16) 中的 bin 值
bin_cells = bins[:10,:10], bins[10:,:10], bins[:10,10:], bins[10:,10:]
mag_cells = mag[:10,:10], mag[10:,:10], mag[:10,10:], mag[10:,10:]
hists = [np.bincount(b.ravel(), m.ravel(), bin_n) for b, m in zip(bin_cells, mag_cells)]
hist = np.hstack(hists) # hist 是 64 位向量
    return hist

最后，与前一种情况一样，我们首先将大型数据集拆分为各个单元。对于每个数字，保留 250 个单元作为训练数据，并保留剩余的 250 个数据用于测试。完整的代码如下，您还可以从 此处 下载该代码

#!/usr/bin/env python
 
import cv2 as cv
import numpy as np
 
SZ=20
bin_n = 16 # 分组数目
 
 
affine_flags = cv.WARP_INVERSE_MAP|cv.INTER_LINEAR
 
 
def deskew(img)
m = cv.moments(img)
    if abs(m['mu02']) < 1e-2
        return img.copy()
skew = m['mu11']/m['mu02']
M = np.float32([[1, skew, -0.5*SZ*skew], [0, 1, 0]])
img = cv.warpAffine(img,M,(SZ, SZ),flags=affine_flags)
    return img
 
 
 
def hog(img)
gx = cv.Sobel(img, cv.CV_32F, 1, 0)
gy = cv.Sobel(img, cv.CV_32F, 0, 1)
mag, ang = cv.cartToPolar(gx, gy)
bins = np.int32(bin_n*ang/(2*np.pi)) # 量化 (0...16) 中的 bin 值
bin_cells = bins[:10,:10], bins[10:,:10], bins[:10,10:], bins[10:,10:]
mag_cells = mag[:10,:10], mag[10:,:10], mag[:10,10:], mag[10:,10:]
hists = [np.bincount(b.ravel(), m.ravel(), bin_n) for b, m in zip(bin_cells, mag_cells)]
hist = np.hstack(hists) # hist 是 64 位向量
    return hist
 
 
img = cv.imread(cv.samples.findFile('digits.png'),0)
if img is None
    raise Exception("we need the digits.png image from samples/data here !")
 
 
cells = [np.hsplit(row,100) for row in np.vsplit(img,50)]
 
# 前半部分为训练数据，后半部分为测试数据
train_cells = [ i[:50] for i in cells ]
test_cells = [ i[50:] for i in cells]
 
 
 
deskewed = [list(map(deskew,row)) for row in train_cells]
hogdata = [list(map(hog,row)) for row in deskewed]
trainData = np.float32(hogdata).reshape(-1,64)
responses = np.repeat(np.arange(10),250)[:,np.newaxis]
 
svm = cv.ml.SVM_create()
svm.setKernel(cv.ml.SVM_LINEAR)
svm.setType(cv.ml.SVM_C_SVC)
svm.setC(2.67)
svm.setGamma(5.383)
 
svm.train(trainData, cv.ml.ROW_SAMPLE, responses)
svm.save('svm_data.dat')
 
 
 
deskewed = [list(map(deskew,row)) for row in test_cells]
hogdata = [list(map(hog,row)) for row in deskewed]
testData = np.float32(hogdata).reshape(-1,bin_n*4)
result = svm.predict(testData)[1]
 
 
mask = result==responses
correct = np.count_nonzero(mask)
print(correct*100.0/result.size)

这种特定技术给了我接近 94% 的准确度。你可以尝试给 SVM 的各种参数设置不同的值来检查是否能得到更高的准确度。或者，你可以阅读有关这方面的技术手册并尝试实施它们。

额外资源

1. 方向梯度直方图视频

练习

1. OpenCV 示例中包含 digits.py，它对上述方法进行了轻微的改进，获得了更好的结果。它还包含参考文献。检查并理解它。