使用 SVM 对手写数据进行 OCR

目标

在本章中

• 我们将重新审视手写数据 OCR，但这次使用 SVM 而不是 kNN。

手写数字 OCR

在 kNN 中，我们直接使用像素强度作为特征向量。这次我们将使用方向梯度直方图 (HOG) 作为特征向量。

这里，在找到 HOG 之前，我们使用图像的二阶矩对其进行倾斜校正。因此，我们首先定义一个函数 deskew()，该函数接收一个数字图像并对其进行倾斜校正。以下是 deskew() 函数

def deskew(img)
m = cv.moments(img)
    if abs(m['mu02']) < 1e-2
        return img.copy()
skew = m['mu11']/m['mu02']
M = np.float32([[1, skew, -0.5*SZ*skew], [0, 1, 0]])
img = cv.warpAffine(img,M,(SZ, SZ),flags=affine_flags)
    return img

下图显示了应用于数字零图像的上述倾斜校正函数。左图是原始图像，右图是倾斜校正后的图像。

image

接下来，我们需要找到每个单元格的 HOG 描述符。为此，我们找到每个单元格在 X 和 Y 方向上的 Sobel 导数。然后找到每个像素的梯度幅度和方向。此梯度量化为 16 个整数值。将此图像划分为四个子正方形。对于每个子正方形，计算方向直方图（16 个 bin），并用它们的幅度进行加权。因此，每个子正方形都会为您提供一个包含 16 个值的向量。四个这样的向量（四个子正方形）一起为我们提供了一个包含 64 个值的特征向量。这是我们用来训练数据的特征向量。

def hog(img)
gx = cv.Sobel(img, cv.CV_32F, 1, 0)
gy = cv.Sobel(img, cv.CV_32F, 0, 1)
mag, ang = cv.cartToPolar(gx, gy)
bins = np.int32(bin_n*ang/(2*np.pi)) # 量化 binvalues 在 (0...16)
bin_cells = bins[:10,:10], bins[10:,:10], bins[:10,10:], bins[10:,10:]
mag_cells = mag[:10,:10], mag[10:,:10], mag[:10,10:], mag[10:,10:]
hists = [np.bincount(b.ravel(), m.ravel(), bin_n) for b, m in zip(bin_cells, mag_cells)]
hist = np.hstack(hists) # hist 是一个 64 位向量
    return hist

最后，与之前的情况一样，我们首先将大的数据集拆分为单独的单元格。对于每个数字，保留 250 个单元格用于训练数据，其余 250 个数据保留用于测试。下面给出了完整的代码，您也可以从此处下载

#!/usr/bin/env python
 
import cv2 as cv
import numpy as np
 
SZ=20
bin_n = 16 # bin 的数量
 
 
affine_flags = cv.WARP_INVERSE_MAP|cv.INTER_LINEAR
 
 
def deskew(img)
m = cv.moments(img)
    if abs(m['mu02']) < 1e-2
        return img.copy()
skew = m['mu11']/m['mu02']
M = np.float32([[1, skew, -0.5*SZ*skew], [0, 1, 0]])
img = cv.warpAffine(img,M,(SZ, SZ),flags=affine_flags)
    return img
 
 
 
def hog(img)
gx = cv.Sobel(img, cv.CV_32F, 1, 0)
gy = cv.Sobel(img, cv.CV_32F, 0, 1)
mag, ang = cv.cartToPolar(gx, gy)
bins = np.int32(bin_n*ang/(2*np.pi)) # 量化 binvalues 在 (0...16)
bin_cells = bins[:10,:10], bins[10:,:10], bins[:10,10:], bins[10:,10:]
mag_cells = mag[:10,:10], mag[10:,:10], mag[:10,10:], mag[10:,10:]
hists = [np.bincount(b.ravel(), m.ravel(), bin_n) for b, m in zip(bin_cells, mag_cells)]
hist = np.hstack(hists) # hist 是一个 64 位向量
    return hist
 
 
img = cv.imread(cv.samples.findFile('digits.png'),0)
if img is None
    raise Exception("我们需要此处的 samples/data 中的 digits.png 图像！")
 
 
cells = [np.hsplit(row,100) for row in np.vsplit(img,50)]
 
# 前半部分是 trainData，剩余部分是 testData
train_cells = [ i[:50] for i in cells ]
test_cells = [ i[50:] for i in cells]
 
 
 
deskewed = [list(map(deskew,row)) for row in train_cells]
hogdata = [list(map(hog,row)) for row in deskewed]
trainData = np.float32(hogdata).reshape(-1,64)
responses = np.repeat(np.arange(10),250)[:,np.newaxis]
 
svm = cv.ml.SVM_create()
svm.setKernel(cv.ml.SVM_LINEAR)
svm.setType(cv.ml.SVM_C_SVC)
svm.setC(2.67)
svm.setGamma(5.383)
 
svm.train(trainData, cv.ml.ROW_SAMPLE, responses)
svm.save('svm_data.dat')
 
 
 
deskewed = [list(map(deskew,row)) for row in test_cells]
hogdata = [list(map(hog,row)) for row in deskewed]
testData = np.float32(hogdata).reshape(-1,bin_n*4)
result = svm.predict(testData)[1]
 
 
mask = result==responses
correct = np.count_nonzero(mask)
print(correct*100.0/result.size)

这种特殊的技术给了我将近 94% 的准确率。您可以尝试 SVM 的各种参数的不同值，以检查是否可以获得更高的准确率。或者您可以阅读该领域的技术论文并尝试实施它们。

额外资源

1. 方向梯度直方图视频

练习

1. OpenCV 示例包含 digits.py，它对上述方法进行了稍微改进，以获得改进的结果。它还包含参考资料。检查并理解它。