【Deep Learning笔记】前馈神经网络和BP算法
1 前馈神经网络
右图是左图的一个单个神经元。
所有权重的集合就可以是模型参数，知道参数之后，模型就可可以直接使用。
假设C是误差（评估函数），在A和B之间做调整（梯度下降法），让C达到最小。
梯度——》求导。
、
记忆化搜索。
1.1 网络训练一些定义
2 反向传播算法
2.1 前言
2.2 符号约定
2.3 反向传播算法的推导
从输出层开始：
随机初始化网络，输入样本，前向计算，反向计算，算出三层网络输出层和隐藏层的误差，最后更新梯度权重。
2.4 总结过程
3 收敛和局部极值
4 神经网络杂谈
随机梯度下降算法（Stochastic gradient descent，SGD）在神经网络模型训练中，是一种很常见的优化算法。这种算法是基于梯度下降算法产生的，所以要理解随机梯度下降算法，必须要对梯度下降算法有一个全面的理解。