本节课介绍感知机Perceptron模型，并推导课程的第一个机器学习算法：Perceptron Learning Algorithm（PLA）。

视频中使用了一个银行的例子。银行要根据用户情况来判断是否给该用户发信用卡。

1.问题描述

现在有训练样本D，即之前用户的信息和是否发了信用卡。我们要根据D，通过A，在H中选择最好的h，得到g，接近目标函数f，也就是根据先验知识建立是否给用户发信用卡的模型。银行用这个模型对以后用户进行判断：发信用卡（+1），不发信用卡（-1）。

2.问题分析

我们把用户的个人信息作为特征向量x，令总共有d个特征，每个特征赋予不同的权重w，表示该特征对输出（是否发信用卡）的影响有多大。那所有特征的加权和的值与一个设定的阈值threshold进行比较：大于这个阈值，输出为+1，即发信用卡；小于这个阈值，输出为-1，即不发信用卡。感知机模型，就是当特征加权和与阈值的差大于或等于0，则输出h(x)=1；当特征加权和与阈值的差小于0，则输出h(x)=-1，而我们的目的就是计算出所有权值w和阈值threshold。

为了计算方便，通常我们将阈值threshold当做w0，于是h(x)的表达式做如下变换：

3.转化为二维几何模型

为了更清晰地说明感知机模型，我们假设Perceptrons在二维平面上，即h(x)=sign(w0+w1x1+w2x2)h(x)=sign(w0+w1x1+w2x2)。其中，w0+w1x1+w2x2=0w0+w1x1+w2x2=0是平面上一条分类直线，直线一侧是正类（+1），直线另一侧是负类（-1）。权重w不同，对应于平面上不同的直线。

我们要得到的最终结果很简单，就是找出一条直线把蓝色的圈和红色的叉叉分到各自对应的区域。

4.PLA（Perceptron Learning Algorithm）算法

PLA的大体思想就是逐点修正，如下图

5.PLA证明

https://blog.****.net/red_stone1/article/details/70866527——part 3

6.PLA缺点

  （1）数据存在杂质

  （2）虽然最终会完成，但时间未知

7.PLA在非线性模式下的修改

修改后的PLA称为Packet Algorithm。它的算法流程与PLA基本类似，首先初始化权重w0w0，计算出在这条初始化的直线中，分类错误点的个数。然后对错误点进行修正，更新w，得到一条新的直线，在计算其对应的分类错误的点的个数，并与之前错误点个数比较，取个数较小的直线作为我们当前选择的分类直线。之后，再经过n次迭代，不断比较当前分类错误点个数与之前最少的错误点个数比较，选择最小的值保存。直到迭代次数完成后，选取个数最少的直线对应的w，即为我们最终想要得到的权重值。

如何判断数据集D是不是线性可分？对于二维数据来说，通常还是通过肉眼观察来判断的。一般情况下，Pocket Algorithm要比PLA速度慢一些。