【笔记】《神经网络设计第二版》-Hebb学习规则

整理自Martin T. Hagan的《神经网络设计第二版》

定义：

Hebb学习规则是一个无监督学习规则，这种学习的结果是使网络能够提取训练集的统计特性，从而把输入信息按照它们的相似性程度划分为若干类。这一点与人类观察和认识世界的过程非常吻合，人类观察和认识世界在相当程度上就是在根据事物的统计特征进行分类。Hebb学习规则只根据神经元连接间的**水平改变权值，因此这种方法又称为相关学习或并联学习。为了理解其背后的思想，首先以有监督的形式入手。

来源：

基于这样一个假说：“ 突触的联结强度随着突触前后神经元的活动而变化，变化的量与两个神经元的活性之和成正比“。这个假说是从神经学领域提出的，怎么去验证？其之后的医学实验证明了其正确性。从数学角度怎么实现呢？抽象化！

公式化：

Step1：设计网络：

a=Wp (p为输入，W为权重矩阵)  或

Step2：对假设进行公式化：

其中：a为输出，Pjq为第q个输入向量中的第j个元素。

向量化得：

假设初始权重为0:

性能检测：

注意：Hebb规则中输入向量是标准正交向量。

所以，若输入向量时标准正交向量，则能输出正确结果。

反之：  将会引入误差

逼近思想-引入伪逆矩阵：

伪逆矩阵的作用是去替代逆矩阵不存在情况下的一个近似工具。

A.引入优化函数：

B.若网络有解则（F(W)=0），

C.扩大其公式的作用于：

其中伪逆矩阵计算公式如下：

例子：

将要权值矩阵代入原始数据验证：

得证。

总结：

Hebb规则的实现，巧妙在于将神经学假设进抽象成了数学问题。但数学定义难免有理想化，所以在对优化函数进行操作部分出现了输入向量不能完全可逆的情况，对此，引入了伪逆矩阵进行逼近。