深度学习/花书:第十章(序列建模:循环和递归网络)

一:主要流程
深度学习/花书:第十章(序列建模:循环和递归网络)
二:为什么需要序列模型?
深度学习/花书:第十章(序列建模:循环和递归网络)
三:网络记忆能力

在RNN出现前,一些具有记忆能力的网络:
1)TDNN
深度学习/花书:第十章(序列建模:循环和递归网络)
2)自回归模型
深度学习/花书:第十章(序列建模:循环和递归网络)
四:循环神经网络
深度学习/花书:第十章(序列建模:循环和递归网络)
五:循环神经网络的计算图
深度学习/花书:第十章(序列建模:循环和递归网络)
深度学习/花书:第十章(序列建模:循环和递归网络)
深度学习/花书:第十章(序列建模:循环和递归网络)
六:序列模型解决的问题
深度学习/花书:第十章(序列建模:循环和递归网络)
七:BPTT(随时间反向传播)—重点
深度学习/花书:第十章(序列建模:循环和递归网络)


深度学习/花书:第十章(序列建模:循环和递归网络)

1)前向传播
深度学习/花书:第十章(序列建模:循环和递归网络)
2)反向传播


深度学习/花书:第十章(序列建模:循环和递归网络)


深度学习/花书:第十章(序列建模:循环和递归网络)


深度学习/花书:第十章(序列建模:循环和递归网络)


深度学习/花书:第十章(序列建模:循环和递归网络)


深度学习/花书:第十章(序列建模:循环和递归网络)


八:双向循环神经网络
深度学习/花书:第十章(序列建模:循环和递归网络)
九:长期依赖的挑战
深度学习/花书:第十章(序列建模:循环和递归网络)


深度学习/花书:第十章(序列建模:循环和递归网络)
十:LSTM
深度学习/花书:第十章(序列建模:循环和递归网络)


深度学习/花书:第十章(序列建模:循环和递归网络)

十一:GRU
深度学习/花书:第十章(序列建模:循环和递归网络)


深度学习/花书:第十章(序列建模:循环和递归网络)