4 介绍神经网络——反向传播

介绍神经网络——反向传播

1. Computational graphs

4 介绍神经网络——反向传播
 TensorFlow和Torch这些框架的自动求导就是基于计算图, 张量作为边在计算图中流动,而算子或者操作符作为节点。
 下面是一个复杂一点的例子: 主要就是记住 [localgradient]×[upstreamgradient][local gradient] \times [upstream gradient]
4 介绍神经网络——反向传播
 上面的计算图是将整个表达式分解到了加减乘除这种最简单的四则运算,而为了提升效率,只要能够写出操作算子的local gradient,就可以将这些算子任意分组,比如这里面可以分一个sigmoid gate。
 下面这个是向量的算法, 这就需要用到雅各比矩阵了(PS:W的梯度这里应该转置,感觉是ppt写错了)。
4 介绍神经网络——反向传播

2. Summary

4 介绍神经网络——反向传播