循环神经网络知识要点笔记

循环神经网络
基于当前的输入与过去的输入序列，预测序列的下一个字符。循环神经网络引入一个隐藏变量$H$H，用$H_{t}$Ht​表示$H$H在时间步$t$t的值。$H_{t}$Ht​的计算基于$X_{t}$Xt​和$H_{t-1}$Ht−1​，可以认为$H_{t}$Ht​记录了到当前字符为止的序列信息，利用$H_{t}$Ht​对序列的下一个字符进行预测。
假设$X_{t}\in \mathbb{R}^{n\times d }$Xt​∈Rn×d是时间步长$t$t的小批量输入，$H_{t}\in \mathbb{R}^{n\times h }$Ht​∈Rn×h是该时间步的隐藏变量，则：
$H_{t}=\phi(X_{t}W_{xh} +H_{t-1}W_{hh}+b_{h})$Ht​=ϕ(Xt​Wxh​+Ht−1​Whh​+bh​)
其中$W_{xh}\in \mathbb{R}^{d\times h}$Wxh​∈Rd×h，$W_{hh}\in \mathbb{R}^{h\times h}$Whh​∈Rh×h，$b_{h} \in \mathbb{R}^{1\times h}$bh​∈R1×h，$\phi$ϕ函数是非线性**函数。由于引入了$H_{t-1}W_{hh}$Ht−1​Whh​，$H_{t}$Ht​能够捕捉截至当前时间步的序列的历史信息，就像是神经网络当前时间步的状态或记忆一样。由于$H_{t}$Ht​的计算基于$H_{t-1}$Ht−1​，上式的计算是循环的，使用循环计算的网络即循环神经网络（recurrent neural network）。
在时间步$t$t，输出层的输出为：
$O_{t}=H_{t}W_{hq} +b_{q}$Ot​=Ht​Whq​+bq​
其中$W_{hq}\in \mathbb{R}^{h\times q}$Whq​∈Rh×q,$b_{q}\in \mathbb{R}^{1\times q}$bq​∈R1×q。

GRU
RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT）
⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系
RNN:

$H_{t}=\phi(X_{t}W_{xh} +H_{t-1}W_{hh}+b_{h})$Ht​=ϕ(Xt​Wxh​+Ht−1​Whh​+bh​)
GRU:

$R_{t}=\phi(X_{t}W_{xr} +H_{t-1}W_{hr}+b_{r})$Rt​=ϕ(Xt​Wxr​+Ht−1​Whr​+br​)
$Z_{t}=\phi(X_{t}W_{xz} +H_{t-1}W_{hz}+b_{z})$Zt​=ϕ(Xt​Wxz​+Ht−1​Whz​+bz​)
$\tilde{H_{t}}=tanh(X_{t}W_{xh} +(R_{h}\odot H_{t-1})W_{hh}+b_{h})$Ht​~​=tanh(Xt​Wxh​+(Rh​⊙Ht−1​)Whh​+bh​)
$H_{t}=Z_{t}\odot H_{t-1} +(1-Z_{t})H_{t-1}\odot \tilde{H_{t}}$Ht​=Zt​⊙Ht−1​+(1−Zt​)Ht−1​⊙Ht​~​
• 重置⻔有助于捕捉时间序列⾥短期的依赖关系；
• 更新⻔有助于捕捉时间序列⾥⻓期的依赖关系。

LSTM
长短期记忆long short-term memory :
遗忘门:控制上一时间步的记忆细胞 输入门:控制当前时间步的输入
输出门:控制从记忆细胞到隐藏状态
记忆细胞：⼀种特殊的隐藏状态的信息的流动

$I_{t}=\phi(X_{t}W_{xi} +H_{t-1}W_{hi}+b_{i})$It​=ϕ(Xt​Wxi​+Ht−1​Whi​+bi​)
$F_{t}=\phi(X_{t}W_{xf} +H_{t-1}W_{hf}+b_{f})$Ft​=ϕ(Xt​Wxf​+Ht−1​Whf​+bf​)
$O_{t}=\phi(X_{t}W_{xo} +H_{t-1}W_{ho}+b_{o})$Ot​=ϕ(Xt​Wxo​+Ht−1​Who​+bo​)
$\tilde{C_{t}}=tanh(X_{t}W_{xc} +H_{t-1}W_{hc}+b_{c})$Ct​~​=tanh(Xt​Wxc​+Ht−1​Whc​+bc​)
$C_{t}=F_{t}\odot C_{t-1} +I_{t}\odot \tilde{C_{t}}$Ct​=Ft​⊙Ct−1​+It​⊙Ct​~​
$H_{t}=O_{t}\odot tanh(C_{t})$Ht​=Ot​⊙tanh(Ct​)

参考资料：
https://www.kesci.com/org/boyuai/project/5e4291f05f2816002ce8f9a0