1.BiRNN

    之前提过的RNN结构都是单向的，但实际问题中还存在不仅依赖于之前的序列还依赖于之后的序列进行预测的问题，对于那些问题，就需要使用双向RNN（Bidirectional RNN， BiRNN），其结构如下图：

                                    ---来源http://lib.csdn.net/article/deeplearning/45503

    输入通过不同的隐藏层连接到前向输入及后向输入，也就是说前向的参数与后向的参数是不共享的。之后，前向与后向共同作用于结果。

2.DRNN

   RNN有不同的方式可以进行深度扩展，花书中就有三种方式进行深度的扩展，这里只对阐述其中一种，如下图所示。

                                                                                                ---来源Andrew Ng深度学习课件

    直接在每个时间步长上包含多个隐藏层。相比于CNN上百层的网络来说，RNN由于加入时间维度，三层的网络已经很大了。