delta学习规则及梯度下降法
Delta学习规则
代价函数(Cost Function, Lost Function)
其中，误差E是权向量Wj的函数。欲使误差E最小，Wj与误差的负梯度成正比，即：
梯度下降法的问题
1. 学习率难以选取，太大会产生震荡，太小会收敛缓慢
2. 容易陷入局部最优解
代价函数(Cost Function, Lost Function)
其中，误差E是权向量Wj的函数。欲使误差E最小，Wj与误差的负梯度成正比，即：
1. 学习率难以选取，太大会产生震荡，太小会收敛缓慢
2. 容易陷入局部最优解