cs224n---lecture8: RNN

附一个不错的资料：https://blog.****.net/apsvvfb/article/details/52848554
https://www.toutiao.com/i6491156699737489933/?group_id=6491156699737489933&group_flags=0

首先通过一个例子说一下语言模型：

RNN优点：

1. 可以处理任意长度的输入
2. weights在所有时刻都是共享的
3. 可以利用前面时刻的信息

RNN缺点：
1. 耗时，无法并行
2. 实际中，很难利用前面很远时刻的信息

RNN公式：
ht=tanh(Whht−1+Weet+b1)$h_t=tanh(W_h{h}_{t-1}+W_e{e}_t+b_1)$
ot=softmax(Uht+b2)$o_t=softmax(U{h}_t+b_2)$
其中，Wh,We,b1,U,b2$W_h,W_e,b_1,U,b_2$只有一套。

RNN可能会遭遇梯度消失或梯度爆炸问题：
∂E∂W=∑1...T∂Et∂W$\frac{\mathrm{\partial }E}{\mathrm{\partial }W}=\sum _{1...T}\frac{\mathrm{\partial }{E}_t}{\mathrm{\partial }W}$
其中
∂Et∂W=∑1...t∂Et∂ot∂ot∂ht∂ht∂hk∂hk∂W$\frac{\mathrm{\partial }{E}_t}{\mathrm{\partial }W}=\sum _{1...t}\frac{\mathrm{\partial }{E}_t}{\mathrm{\partial }{o}_t}\frac{\mathrm{\partial }{o}_t}{\mathrm{\partial }{h}_t}\frac{\mathrm{\partial }{h}_t}{\mathrm{\partial }{h}_k}\frac{\mathrm{\partial }{h}_k}{\mathrm{\partial }W}$
其中
∂ht∂hk$\frac{\mathrm{\partial }{h}_t}{\mathrm{\partial }{h}_k}$ 可以很大或很小。注意到∂hj∂hj−1$\frac{\mathrm{\partial }{h}_j}{\mathrm{\partial }{h}_{j-1}}$是向量对向量求导，结果是一个Jacobian矩阵，矩阵元素是每个点的导数。

对于梯度爆炸，使用Gradient clipping。

对于梯度消失，可以选择好的初始化，使用Relu**函数。但是主要的方法还是使用GRU和LSTM。