数据驱动的图像分类方式：K最近邻与线性分类器

最邻近规则分类器KNN

简单描述：首先在n个数据集中指定m个分类，这是学习过程。在使用中，对于新输入的数据，计算其k范围内，或者最邻近的k个点，根据多数表决规则，决定其属于m分类中的哪个分类。

关于距离：

可以使用马哈顿距离、欧式距离等。

关于多数表决原则：

等价于经验风险最小化。

关于具体实现：

kd树。

 

线性分类器

两张图片，一张猫的，一张狗的如何分类？

 

如图所示，为的图片，可以拉伸为的一维数组，构建一个有的神经元的网络，根据如下公式。

，其中xi和b为权值。

得到一个实数输出，根据这个实数输出得到图片的分类。

可以看到，由于xi值得不同，线性分类器得到不同的输出，这时候根据是否大于零就可进行分类了。

可以看到分类器没有利用像素之间的空间关系，所以实际上分类效果很差。

在实际使用中，需要手动对图片进行标记，是一种最简单的有监督学习，而后根据人工标记的正确分类调整wi，从而让输入的分类和实际分类是一样的。

 

关于线性分类器的训练。

下一节学习。