attention RNN LSTM Gru gate

attention

注意力机制即 Attention mechanism在序列学习任务上具有巨大的提升作用，在编解码器框架内，通过在编码段加入Attention模型，对源数据序列进行数据加权变换，或者在解码端引入Attention 模型，对目标数据进行加权变化，可以有效提高序列对序列的自然方式下的系统表现。
原文：https://blog.csdn.net/guohao_zhang/article/details/79540014
Attention机制的基本思想是：打破了传统编码器-解码器结构在编解码时都依赖于内部一个固定长度向量的限制。
Attention机制的实现是 通过保留LSTM编码器对输入序列的中间输出结果，然后训练一个模型来对这些输入进行选择性的学习并且在模型输出时将输出序列与之进行关联。
attention的机制就是一个加权求和的机制

RNN

Gate

划分英语句子

Gru

重置门（reset gate）和更新门（update gate)

rt表示重置门，
决定有多少历史信息不能继续传递到下一时刻。同更新门的数据处理一样，将前一时刻和当前时刻的信息分别进行线性变换，也就是分别右乘权重矩阵，然后相加后的数据送入重置门，也就是与sigmoid函数相乘，得出的数值在[0, 1]之间。只是两次的权重矩阵的数值和用处不同。
zt表示更新门。
决定有多少过去的信息可以继续传递到未来。 将前一时刻和当前时刻的信息分别进行线性变换，也就是分别右乘权重矩阵，然后相加后的数据送入更新门，也就是与sigmoid函数相乘，得出的数值在[0, 1]之间。
1重置门rt决定是否将之前的状态忘记。(作用相当于合并了 LSTM 中的遗忘门和传入门）
2将先前隐藏状态ht-1和遗忘门输出的向量进行点乘。当rt趋于0的时候，前一个时刻的状态信息ht−1会被忘掉，隐藏状态会被重置为当前输入的信息。
3得到了新的隐藏状态ĥ ， 但是还不能直接输出，而是通过更新门来控制最后的输出：ht=(1−zt)∗ht−1+zt∗ĥ t

LSTM

GRU和LSTM的性能在很多任务上不分伯仲。
GRU 参数更少因此更容易收敛，但是数据集很大的情况下，LSTM表达性能更好。
从结构上来说，GRU只有两个门（update和reset），LSTM有三个门（forget，input，output），GRU直接将hidden state 传给下一个单元，而LSTM则用memory cell 把hidden state 包装起来。
原文：https://blog.csdn.net/u012223913/article/details/77724621