人工智能学习笔记--理解深度学习中的前向传播和反向传播算法

一个典型的神经元模型可以用下图表示:

人工智能学习笔记--理解深度学习中的前向传播和反向传播算法


 

一个典型的全连接前向神经网络如下图所示:

人工智能学习笔记--理解深度学习中的前向传播和反向传播算法

 

设**函数为f,权重矩阵为W,偏置项为b,输入为A,最终输出为Y,则Y = f(WA+b),计算输出Y这个过程就是前向传播的过程。

对于一个还没有训练好的神经网络而言,各个神经元之间的参数都是随机值,即初始化时赋的值,前向传播过程是神经网络的输入输出过程,即网络是如何根据A的值得到输出的Y值的。

本文参考了李宏毅老师的讲义,后面的数学推导也采用李老师的表示,因此采用李宏毅老师讲义里定义的模型,表达的意思是完全一样的。

未完待续