Hinton Neural Networks for Machine Learning 第二讲：感知机-几何描述

权值空间( Weight-space )

之前讲到的感知机是将实例点作为一个空间(输入空间), 权值则为超平面对实例点进行划分, 这里略有不同: 将所有的权值作为一个空间, 使用实例点作为输入向量从而对权值空间进行划分.

我们的目标是选择合适的权重.

当输入实例的正确输出为 1 时, 将该输入实例向量作为法线找到一个过原点的超平面, 超平面把权值空间划分为两部分, 与法线(输入实例)的夹角小于 90° 的权重向量是可以接受的合适的权重.

当输入实例的正确输出为 0 时, 将该输入实例向量作为法线找到一个过原点的超平面, 超平面把权值空间划分为两部分, 与法线(输入实例)的夹角大于 90° 的权重向量是可以接受的合适的权重.

有了以上规则, 将所有实例输入进来, 实例通过各种超平面对权值空间进行划分, 将权值限定在一个合适的范围内, 权值要满足所有输入实例, 所以有唯一解

Hinton Neural Networks for Machine Learning 第二讲：感知机-几何描述

计算当前权值向量和可行解的平方距离 d2a+d2b

Hinton Neural Networks for Machine Learning 第二讲：感知机-几何描述

定义一个可行域, 每次发生错误更新权值时, 更新的长度要比输入向量的模长( margin ), 经过有限次的更新, 最后将停留在可行域内.

Hinton Neural Networks for Machine Learning 第二讲：感知机-几何描述

证明奇奇怪怪的, Hinton 表示大家知道这样做可以就行, 比起数学证明更喜欢工程运用

这个地方看了好久, 虽然和后续内容无关, 只是说明感知机有局限, 不能用于模式识别.

个人理解这个例子有限定条件:

Hinton Neural Networks for Machine Learning 第二讲：感知机-几何描述

对于图案A, B. 每个像素都是 4 个黑块, 所以总的输入( 黑块的数量 ) 都是相同的. 感知机无法区分.

以上说明了, 感知机的局限是只能区分线性模型, 解决这个问题的方案是使用线性单元( non-linear units )