图像内容分类
本章介绍图像分类和图像内容分类算法。首先,我们介绍一些简单而有效的方法和 目前一些性能最好的分类器,并运用它们解决两类和多类分类问题,
1K 邻近分类法(KNN)
在分类方法中,最简单且用得最多的一种方法之一就是 KNN(K-Nearest Neighbor ,K 邻近分类法),这种算法把要分类的对象(例如一个特征向量)与训练集中已知类标 记的所有对象进行对比,并由 k 近邻对指派到哪个类进行投票。这种方法通常分类效 果较好,但是也有很多弊端:与 K-means 聚类算法一样,需要预先设定 k 值,k 值的 选择会影响分类的性能;此外,这种方法要求将整个训练集存储起来,如果训练集 非常大,搜索起来就非常慢。对于大训练集,采取某些装箱形式通常会减少对比的次 数 1 从积极的一面来看,这种方法在采用何种距离度量方面是没有限制的;实际上, 对于你所能想到的东西它都可以奏效,但这并不意味着对任何东西它的分类性能都很 好。另外,这种算法的可并行性也很一般。
1.2用稠密 SIFT 作为图像特征
我们来看如何对图像进行分类。要对图像进行分类,我们需要一个特征向量来表示 一幅图像。在聚类一章我们用平均 RGB 像素值和 PCA 系数作为图像的特征向量; 这里我们会介绍另外一种表示形式,即稠密 SIFT 特征向量。
在整幅图像上用一个规则的网格应用 SIFT 描述子可以得到稠密 SIFT 的表示形
1.3图像分类:手势识别
将图 像分辨率调成了常见的固定大小。这是非常重要的,否则这些图像会有不同数量的描述子,从而每幅图像的特征向量长度也不一样,这将导致在后面比较它们时出错。
2贝叶斯分类器
另一个简单却有效的分类器是贝叶斯分类器 1(或称朴素贝叶斯分类器)。贝叶斯分 类器是一种基于贝叶斯条件概率定理的概率分类器,它假设特征是彼此独立不相关的 (这就是它“朴素”的部分)。贝叶斯分类器可以非常有效地被训练出来,原因在于 每一个特征模型都是独立选取的。尽管它们的假设非常简单,但是贝叶斯分类器已经 在实际应用中获得显著成效,尤其是对垃圾邮件的过滤。贝叶斯分类器的另一个好处 是,一旦学习了这个模型,就没有必要存储训练数据了,只需存储模型的参数。
该分类器是通过将各个特征的条件概率相乘得到一个类的总概率,然后选取概率最 高的那个类构造出来的。
3支持向量机
SVM(Support Vector Machine,支持向量机)是一类强大的分类器,可以在很多分 类问题中给出现有水准很高的分类结果。最简单的 SVM 通过在高维空间中寻找一 个最优线性分类面,尽可能地将两类数据分开。对于一特征向量 x 的决策函数为:
f(x)=w·x-b 其中 w 是常规的超平面,b 是偏移量常数。该函数月阈值为 0,它能够很好地将两 类数据分开,使其一类为正数,另一类为负数。通过在训练集上求解那些带有标记 {, }y 11i ! - 的特征向量 xi 的最优化问题,使超平面在两类间具有最大分开间隔,从 而找到上面决策函数中的参数 w 和 b。该决策函数的常规解是训练集上某些特征向 量的线性组合:
ywx iii i a= /
所以决策函数可以写为:
()fy b xx xii i i $ -a= /
这里的 i 是从训练集中选出的部分样本,这里选择的样本称为支持向量,因为它们 可以帮助定义分类的边界。
SVM 的一个优势是可以使用核函数(kernel function);核函数能够将特征向量映射到 另外一个不同维度的空间中,比如高维度空间。通过核函数映射,依然可以保持对决 策函数的控制,从而可以有效地解决非线性或者很难的分类问题。用核函数 K(xi , x) 替代上面决策函数中的内积 xi · x。
下面是一些最常见的核函数:
线性• 是最简单的情况,即在特征空间中的超平面是线性的,K(xi , x)=xi · x; 多项式• 用次数为 d 的多项式对特征进行映射,K(xi , x)=(γxi · x+r)d,γ>0; 径向基函数• ,通常指数函数是一种极其有效的选择,K(xi , x)=e(-γ||xi - x||2),γ>0; Sigmoid 函数,一个更光滑的超平面替代方案,• K(xi , x)=tanh(γxi · x+r)。
每个核函数的参数都是在训练阶段确定的。
对于多分类问题,通常训练多个 SVM,使每一个 SVM 可以将其中一类与其余类分 开,这样的分类器也称为“one-versus-all”分类器
4光学字符识别
作为一个多类问题实例,让我们来理解数独图像。OCR(Optical Character Recognition,
光学字符识别)是一个理解手写或机写文本图像的处理过程。一个常见的例子是通 过扫描文件来提取文本,例如书信中的邮政编码或者谷歌图书(http://books.google. com/)里图书馆卷的页数。这里我们看一个简单的在打印的数独图形中识别数字的 OCR 问题。数独是一种数字逻辑游戏,规则是用数字 1~9 填满 9×9 的网格,使每 一行每一列和每个 3×3 的子网格包含数字 1…91。
4.1训练分类器
对于这种分类问题,我们有 10 个类:数字 1…9,以及一些什么也没有的单元格。 我们给定什么也没有的单元格的类标号是 0,这样所有类标记就是 0…9。我们会用 已经剪切好的数独单元格数据集来训练一个 10 类的分类器 2 文件 sudoku_images.zip 中有两个文件夹“ocr data”和“sudokus”,后者包含了不同条件下的数独图像集, 我们稍后讲解。现在我们主要来看文件夹“ocr_data”,这个文件夹包含了两个子文 件夹,一个装有训练图像,另一个装有测试图像。这些图像文件名的第一个字母是 数字(0…9),用以标明它们属于哪类。图 8-6 展示了训练集中的一些样本。图像是 灰度图,大概是 80×80 像素(有一幅波动)