感知机
一、定义
1. 统计学习方法一书中感知机有如下定义
由上面可知，感知机模型是一种判别模型且是线性的，模型主要任务是求得参数w和b。
2. 定义损失函数
那么我们最小化损失函数求得的w、b即为最优解。
用梯度下降法来最小化损失函数，损失函数的梯度如下：
二、算法
三、对偶形式
1. 总结w的更新，假设每个训练样本被误分次数为,初始值
，最后得到的
和
可以表示为
因而，感知机函数可以写为
2. 此时问题归为求，算法如下
(1)设立初始值
(2)训练集中选取数据
(3)如果
(4)转到(2)直到没有误分数据。
为了方便计算，引入Cram矩阵
四、收敛性