目标

本章内容

我们将重新讨论手写数据OCR，但这次使用SVM而不是kNN。

手写数字OCR

在kNN中，我们直接使用像素强度作为特征向量。这次我们将使用方向梯度直方图 (HOG)作为特征向量。

在此之前，我们将使用图像的二阶矩对图像进行倾斜校正。因此，我们首先定义一个函数deskew()，它接收一个数字图像并进行倾斜校正。以下是deskew()函数：

def deskew(img)
m = cv.moments(img)
    if abs(m['mu02']) < 1e-2
        return img.copy()
skew = m['mu11']/m['mu02']
M = np.float32([[1, skew, -0.5*SZ*skew], [0, 1, 0]])
img = cv.warpAffine(img,M,(SZ, SZ),flags=affine_flags)
    return img

下图显示了上述deskew函数应用于数字零的图像效果。左图是原始图像，右图是倾斜校正后的图像。

图像

接下来，我们需要找到每个单元格的HOG描述符。为此，我们找到每个单元格在X和Y方向上的Sobel导数。然后找到每个像素的梯度幅度和方向。这个梯度被量化为16个整数值。将图像分成四个子区域。对于每个子区域，计算方向的直方图（16个bin），并用它们的幅度加权。因此，每个子区域都会给你一个包含16个值的向量。四个这样的向量（四个子区域）一起给我们一个包含64个值的特征向量。这就是我们用来训练数据的特征向量。

def hog(img)
gx = cv.Sobel(img, cv.CV_32F, 1, 0)
gy = cv.Sobel(img, cv.CV_32F, 0, 1)
mag, ang = cv.cartToPolar(gx, gy)
bins = np.int32(bin_n*ang/(2*np.pi)) # 将bin值量化为(0...16)
bin_cells = bins[:10,:10], bins[10:,:10], bins[:10,10:], bins[10:,10:]
mag_cells = mag[:10,:10], mag[10:,:10], mag[:10,10:], mag[10:,10:]
hists = [np.bincount(b.ravel(), m.ravel(), bin_n) for b, m in zip(bin_cells, mag_cells)]
hist = np.hstack(hists) # hist是一个64位向量
    return hist

最后，与之前的例子一样，我们首先将大型数据集拆分成单个单元格。对于每个数字，保留250个单元格用于训练数据，其余250个数据用于测试。完整的代码如下所示，您也可以从这里下载。

#!/usr/bin/env python
 
import cv2 as cv
import numpy as np
 
SZ=20
bin_n = 16 # bin数量
 
 
affine_flags = cv.WARP_INVERSE_MAP|cv.INTER_LINEAR
 
 
def deskew(img)
m = cv.moments(img)
    if abs(m['mu02']) < 1e-2
        return img.copy()
skew = m['mu11']/m['mu02']
M = np.float32([[1, skew, -0.5*SZ*skew], [0, 1, 0]])
img = cv.warpAffine(img,M,(SZ, SZ),flags=affine_flags)
    return img
 
 
 
def hog(img)
gx = cv.Sobel(img, cv.CV_32F, 1, 0)
gy = cv.Sobel(img, cv.CV_32F, 0, 1)
mag, ang = cv.cartToPolar(gx, gy)
bins = np.int32(bin_n*ang/(2*np.pi)) # 将bin值量化为(0...16)
bin_cells = bins[:10,:10], bins[10:,:10], bins[:10,10:], bins[10:,10:]
mag_cells = mag[:10,:10], mag[10:,:10], mag[:10,10:], mag[10:,10:]
hists = [np.bincount(b.ravel(), m.ravel(), bin_n) for b, m in zip(bin_cells, mag_cells)]
hist = np.hstack(hists) # hist是一个64位向量
    return hist
 
 
img = cv.imread(cv.samples.findFile('digits.png'),0)
if img is None
    raise Exception("我们需要samples/data目录下的digits.png图像！")
 
 
cells = [np.hsplit(row,100) for row in np.vsplit(img,50)]
 
# 前一半是训练数据，剩余的是测试数据
train_cells = [ i[:50] for i in cells ]
test_cells = [ i[50:] for i in cells]
 
 
 
deskewed = [list(map(deskew,row)) for row in train_cells]
hogdata = [list(map(hog,row)) for row in deskewed]
trainData = np.float32(hogdata).reshape(-1,64)
responses = np.repeat(np.arange(10),250)[:,np.newaxis]
 
svm = cv.ml.SVM_create()
svm.setKernel(cv.ml.SVM_LINEAR)
svm.setType(cv.ml.SVM_C_SVC)
svm.setC(2.67)
svm.setGamma(5.383)
 
svm.train(trainData, cv.ml.ROW_SAMPLE, responses)
svm.save('svm_data.dat')
 
 
 
deskewed = [list(map(deskew,row)) for row in test_cells]
hogdata = [list(map(hog,row)) for row in deskewed]
testData = np.float32(hogdata).reshape(-1,bin_n*4)
result = svm.predict(testData)[1]
 
 
mask = result==responses
correct = np.count_nonzero(mask)
print(correct*100.0/result.size)

这种特殊技术使我的准确率达到了近94%。您可以尝试不同的SVM参数值，以检查是否可以获得更高的精度。或者您可以阅读该领域的专业论文并尝试实现它们。

练习

OpenCV示例包含digits.py，它对上述方法进行了轻微改进以获得更好的结果。它还包含参考。请检查并理解它。

目标

手写数字OCR

更多资源

练习