量太大了，我先挑几个我感兴趣的学一下，漏下的等有空再补上了

循环神经网络

参考博客：零基础入门深度学习(5) - 循环神经网络
1.循环神经网络最大的用处就是处理序列的信息，即前面和后面的输入是有关系的，比如理解一句话的意思，以及处理视频

2.语言模型：给定一句话前面的成分，预测接下来最有可能的一个词是什么

3.下面是一个简单的RNN模型示意图，它由输入层、隐藏层和输出层组成

4.全连接层：该层的每个节点都和隐藏层的每个节点相连

5.循环神经网络展开后如下：

其中U，V，W都是权重矩阵，s_t是第t层隐藏层的值
我们来分析一下，第t层隐藏层的值s_t和输出o_t:
o_t=g(Vs_t)
s_t=f(Ux_t+Ws_t-1)

6.双向循环神经网络：

在这张图中，y是输出，A是正向隐藏层的值，A‘是反向隐藏层的值，同样，我们来分析一下第t层隐藏层的值s_t和输出o_t:
o_t=g(Vs_t+V’s’_t)
s_t=f(Ux_t+Ws_t-1)
s_t=f(U’x_t+W’s_t-1)

7.深度循环神经网络：

其中，设每一层隐藏层的隐藏单元个数为h，x_t$\in$∈ R^n×d，n个样本，d个输入单元，
记W_xh⁽ⁱ⁾为横向传播的权重参数，即从H^(i-1)到H⁽ⁱ⁾的传播权重；
记W_hh⁽ⁱ⁾为纵向传播的权重参数，即从H_t-1到H_t的传播权重；
所以有：
H_t^(l)=$\Phi$Φ(H^(l-1)_tW_xh^(l)+H_t-1^(l)W_hh^(l))
横向就是隐藏层数(上标l)增加，纵向就是时间点（下标t）增加