目标

本章内容

我们将运用kNN的知识构建一个基础的光学字符识别(OCR)应用程序。
我们将使用OpenCV自带的数字和字母数据来测试我们的应用程序。

手写数字的OCR

我们的目标是构建一个能够读取手写数字的应用程序。为此，我们需要一些训练数据和一些测试数据。OpenCV自带了一个名为digits.png的图像（位于opencv/samples/data/文件夹中），其中包含5000个手写数字（每个数字500个）。每个数字都是一个20x20的图像。因此，我们的第一步是将此图像分割成5000个不同的数字图像。然后，对于每个数字（20x20图像），我们将其展平成具有400个像素的单行。这就是我们的特征集，即所有像素的强度值。这是我们可以创建的最简单的特征集。我们使用每个数字的前250个样本作为训练数据，其余250个样本作为测试数据。因此，让我们首先准备好它们。

import numpy as np
import cv2 as cv
 
img = cv.imread('digits.png')
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
 
# 现在我们将图像分割成5000个单元格，每个单元格大小为20x20
cells = [np.hsplit(row,100) for row in np.vsplit(gray,50)]
 
# 将其转换为NumPy数组：其大小将为(50,100,20,20)
x = np.array(cells)
 
# 现在我们准备训练数据和测试数据
train = x[:,:50].reshape(-1,400).astype(np.float32) # 大小 = (2500,400)
test = x[:,50:100].reshape(-1,400).astype(np.float32) # 大小 = (2500,400)
 
# 创建训练数据和测试数据的标签
k = np.arange(10)
train_labels = np.repeat(k,250)[:,np.newaxis]
test_labels = train_labels.copy()
 
# 初始化kNN，在训练数据上进行训练，然后使用k=1的测试数据进行测试
knn = cv.ml.KNearest_create()
knn.train(train, cv.ml.ROW_SAMPLE, train_labels)
ret,result,neighbours,dist = knn.findNearest(test,k=5)
 
# 现在我们检查分类的准确性
# 为此，将结果与test_labels进行比较，并检查哪些是错误的
matches = result==test_labels
correct = np.count_nonzero(matches)
accuracy = correct*100.0/result.size
print( accuracy )

因此，我们的基本OCR应用程序已准备就绪。此特定示例的准确率为91%。提高准确率的一种方法是添加更多训练数据，尤其是在错误较多的数字方面。

与其每次启动应用程序时都查找此训练数据，不如将其保存起来，以便下次可以直接从文件中读取此数据并开始分类。这可以借助一些NumPy函数来完成，例如np.savetxt、np.savez、np.load等。请查看NumPy文档以了解更多详细信息。

# 保存数据
np.savez('knn_data.npz',train=train, train_labels=train_labels)
 
# 现在加载数据
with np.load('knn_data.npz') as data
print( data.files )
train = data['train']
train_labels = data['train_labels']

在我的系统中，它大约占用4.4 MB的内存。由于我们使用强度值（uint8数据）作为特征，因此最好先将数据转换为np.uint8，然后再保存。在这种情况下，它只占用1.1 MB。然后在加载时，您可以转换回float32。

英文字母的OCR

接下来，我们将对英文字母执行相同的操作，但是数据和特征集略有不同。在这里，OpenCV自带了一个数据文件letter-recognition.data（位于opencv/samples/cpp/文件夹中），而不是图像。如果您打开它，您会看到20000行，乍一看可能像是垃圾数据。实际上，每一行中的第一列是一个字母，它是我们的标签。接下来的16个数是不同的特征。这些特征是从UCI机器学习库获得的。您可以在此页面中找到这些特征的详细信息。

共有20000个样本可用，因此我们将前10000个样本作为训练样本，其余10000个样本作为测试样本。我们应该将字母转换为ASCII字符，因为我们不能直接使用字母。

import cv2 as cv
import numpy as np
 
# 加载数据并将字母转换为数字
data= np.loadtxt('letter-recognition.data', dtype= 'float32', delimiter = ',',
converters= {0: lambda ch: ord(ch)-ord('A')})
 
# 将数据集分成两部分，每部分各有10000个样本用于训练和测试集
train, test = np.vsplit(data,2)
 
# 将trainData和testData分成特征和响应
responses, trainData = np.hsplit(train,[1])
labels, testData = np.hsplit(test,[1])
 
# 初始化kNN，分类，测量准确性
knn = cv.ml.KNearest_create()
knn.train(trainData, cv.ml.ROW_SAMPLE, responses)
ret, result, neighbours, dist = knn.findNearest(testData, k=5)
 
correct = np.count_nonzero(result == labels)
accuracy = correct*100.0/10000
print( accuracy )

我的准确率为93.22%。同样，如果您想提高准确率，可以迭代地添加更多数据。

附加资源

维基百科关于光学字符识别的文章

练习

这里我们使用了k=5。如果您尝试其他k值会发生什么？您能否找到一个最大化准确率（最小化错误数量）的值？