《神经网络设计》读书笔记——Widrow-Hoff学习算法
Widrow-Hoff学习算法
简介
将性能学习的原理应用到单层线性神经网络。
Widrow-Hoff学习算法是一个近似最速下降法，其中性能指标为均方误差。
Widrow-Hoff学习算法被广泛应用于信号处理应用中
Widrow-Hoff学习算法是多层网络中BP算法的先驱
ADALINE
和感知机网络具有相同的基本结构，唯一不同点是ADALINE使用了线性传输函数purelin
均方误差
-
F(x)=E[e2]=E[(t−a)2]=E[(t−xTz)2]
可以写为
-
F(x)=c−2xTh+xTRx
其中
-
c=e[t2],h=e[tz],R=E[zzT]，z=[p1]
若唯一最小值存在，则为：
-
x∗=R−1h
LMS算法
-
W(k+1)=W(k)+2αe(k)pT(k) -
b(k+1)=b(k)+2αe(k) - 收敛点
x∗=R−1h - 稳定学习速度
0<α<1λmax(λmax是R的最大特征值)