1.简化版GRU

    一般的RNN的单元结构如下图所示：

          

                                        ---来源Andrew Ng深度学习课件

    GRU（Gated Recurrent Units）改进了隐藏层，从而使梯度消失的问题得到改善。如下图：

                                              ---来源http://binweber.top/2018/02/20/deep_learning_9/  c̃ -来源http://binweber.top/2018/02/20/deep_learning_9/

• C是一个向量，代表记忆细胞（Memory Cell），用于记忆信息。且这里的记忆细胞c⟨t⟩直接等于输出的**a⟨t⟩
• c̃也是一个向量，代表此时刻c的候选值
  
• Γu代表更新门，用它来控制记忆细胞的更新与否。
• 对应的数学表达式为：
  

    上式中的×代表元素相乘。本时刻是信息是否需要更新到记忆细胞中，可以通过Γu控制控制，前面的记忆细胞中的信息有多少需要继续保存，则是通过1-Γu控制。

2.完整GRU

    上面是只添加了更新门的GRU，一般在GRU中还有一个门控--相关门Γr，表示此时刻的候选记忆c̃ 与上一时刻的记忆细胞的相关性。