李哈哈的模式识别笔记【part 3：感知器算法】

线性分类器训练的一般思路

人类的思维具有整体性和逻辑性，机器的思维擅长重复性
解区域：
线性判别函数解不唯一，而是位于一个区域，称为解区域。
=>权向量w待定，偏移量w0待定。
一般思路：

• 首先设定一个标量的准则函数，使其值能够代表解的优劣程度，标准函数值越小，说明解越符合要求。
• 通过寻找标准函数的最小值，就能找到最优的一个解，使准则函数取得极小值的增光权向量，就是最优解。

这里有必要重新认识一下线性判别函数的通式，可参照下图：

感知器算法的原理

感知器模型：
是一种最简单的神经元模型，具有多个输入和一个输出，各输入加权求和，与阈值相比较，判断是否**输出1。
由此可见，感知器模型是一种线性分类器，可以做出二分类决策

准则函数：错分样本的判别函数值之和（Important）
寻优方式：梯度下降法，逐次寻优
不同的具体寻优方式可能出现不同的最优解
哪个才是最优解呢？
在感知器模型中，都是最优解，因为准则函数只与能否将所有样本都正确分类有关，所以只要能够正确分类，就为最优解。

感知器算法的学习速率

感知器算法权向量调整递推公式如下：

这里的调整步长ρ可以体现调整速率。
另外，调整精度和速度之间是存在矛盾的。
学习速率的各种不同的设定方法：

• 固定值
• 绝对修正
• 部分修正
• 变步长法
• 最优步长法

感知器算法的深入分析

• 感知器算法是首个采用误差反馈学习规则来实现的机器学习算法，模拟了人类的试错过程，逐步逼近客观规律。
  损失函数：
  模型得到的输出和样本对应的真实输出之间的差别，成为损失函数。
  代价函数：
  对具有一定分布的整体的损失函数的数学期望，称为代价函数。

梯度下降的优化方法

批量梯度法 BGD：
对所有成员进行梯度运算，找到代价函数值减小的方向，但计算量相当巨大。
随机梯度下降法 SGD：
每次采用随机的方式寻找权向量，大大降低了运算量，提升了学习速率，同时可以随时加入新的成员，可以实现在线学习。