整理并翻译自吴恩达深度学习系列视频：序列模型第一周，有所详略。

Recurrent Neural Network

一个标准的循环神经网络如图所示，在网络的每一个时间步$t$t，它接受前一层的**函数值$a^{&lt;t-1&gt;}$a<t−1>和输入$x^{&lt;t&gt;}$x<t>， 使用权值矩阵使用$W_{aa}$Waa​和$W_{ax}$Wax​计算$a^{&lt;t&gt;}$a<t>，使用结果$a^{&lt;t&gt;}$a<t>和权值矩阵$W_{ya}$Wya​计算$\hat{y}^{&lt;t&gt;}$y^​<t>，计算方法如第二小节。

Forward Propagation

可总结为以下：
$a^{&lt;t&gt;}=g_1(W_{aa}a^{&lt;t-1&gt;}+W_{ax}x^{&lt;t&gt;}+b_a)$a<t>=g1​(Waa​a<t−1>+Wax​x<t>+ba​)
$\hat{y}^{&lt;t&gt;}=g_2(W_{ya}a^{&lt;t&gt;}+b_y)$y^​<t>=g2​(Wya​a<t>+by​)

上图右边是向量化版本的实现，它将两个参数矩阵横向堆砌成$[W_{aa}|W_{ax}]$[Waa​∣Wax​]构成$W_a$Wa​，将两个输入纵向堆砌成$[\frac{a^{&lt;t-1&gt;}}{x^{&lt;t&gt;}}]$[x<t>a<t−1>​](横线表示分隔符不是除法)。

Backward Propagation

循环神经网络的反向传播同其他网络一致，按反方向计算导数，编程时框架会自动帮我们处理反向传播，但了解其基本原理也是有助益的。

如上图所示，需注意，每一个横向上的参数矩阵是共享的，$W_y、b_y$Wy​、by​用于每次计算$\hat{y^{&lt;t&gt;}}$y<t>^​，$W_a、b_a$Wa​、ba​也用于每次计算$x^{&lt;t&gt;}$x<t>。

其损失函数使用的是交叉熵(cross entropy loss)。
$\mathcal{L}^{&lt;t&gt;}(\hat{y}^{&lt;t&gt;},y^{&lt;t&gt;})=-y^{&lt;t&gt;}log\hat{y}^{&lt;t&gt;}-(1-y^{&lt;t&gt;})log(1-\hat{y}^{&lt;t&gt;}))$L<t>(y^​<t>,y<t>)=−y<t>logy^​<t>−(1−y<t>)log(1−y^​<t>))
$\mathcal{L}(\hat{y}^{&lt;t&gt;},y)=\sum_{t=1}^{T}\mathcal{L}^{&lt;t&gt;}(\hat{y}^{&lt;t&gt;},y^{&lt;t&gt;})$L(y^​<t>,y)=t=1∑T​L<t>(y^​<t>,y<t>)

其他种类的RNN

根据输入和输出的对应关系，RNN有图示几种结构，即一对一、一对多、多对一、多堆多。