LSTM理论知识讲解
结构
1. RNN与LSTM的对比
RNN:
LSTM:
其中的notation:
这里要注意:上图中四个黄框,每一个都是普通的神经网络,**函数就是框上面所标注的。
通过对比可以看出,RNN的一个cell中只有一个神经网络,而LSTM的一个cell中有4个神经网络,故一个LSTM cell的参数是一个RNN cell参数的四倍。
从上图也可以看出,原来的一个RNN cell只需要存储一个隐藏层状态h,而一个LSTM cell需要存储两个状态c和h。
LSTM比RNN多了一个细胞状态,就是最上面一条线(也就是c),像一个传送带,信息可以不加改变的流动。即Ct-2可能和Ct+1存储的信息可能非常相似,所以LSTM可以解决RNN长依赖的问题。
2. LSTM信息的流动
一个LSTM cell有3个门,分别叫做遗忘门(f门),输入门(i门)和输出门(o门)。要注意的是输出门的输出ot并不是LSTM cell最终的输出,LSTM cell最终的输出是ht和ct。
这三个门就是上图中三个标着的黄色的框。sigmoid层输出0-1的值,表示让多少信息通过,1表示让所有的信息都通过。
LSTM的输入: , 和
LSTM的输出: 、
= ( [, ] + )
= ( [, ] + )
= ( [, ] + )
= +
= ( [, ] + )
= ()
注意上面公式中的是对应元素乘,而不是矩阵的乘法
忘记门:扔掉信息(细胞状态)
第一步是决定从细胞状态里扔掉什么信息(也就是保留多少信息)。将上一步细胞状态中的信息选择性的遗忘 。
实现方式:通过sigmoid层实现的“忘记门”。以上一步的和这一步的作为输入,然后为里的每个数字输出一个0-1间的值,记为,表示保留多少信息(1代表完全保留,0表示完全舍弃)
例子:让我们回到语言模型的例子中来基于已经看到的预测下一个词。在这个问题中,细胞状态可能包含当前主语的类别,因此正确的代词可以被选择出来。当我们看到新的主语,我们希望忘记旧的主语。
例如,他今天有事,所以我… 当处理到‘’我‘’的时候选择性的忘记前面的’他’,或者说减小这个词对后面词的作用。
输入层门:存储信息(细胞状态)
第二步是决定在细胞状态里存什么。将新的信息选择性的记录到细胞状态中。 实现方式:包含两部分,
- sigmoid层(输入门层)决定我们要更新什么值,这个概率表示为
- tanh层创建一个候选值向量,将会被增加到细胞状态中。 我们将会在下一步把这两个结合起来更新细胞状态。
例子:在我们语言模型的例子中,我们希望增加新的主语的类别到细胞状态中,来替代旧的需要忘记的主语。 例如:他今天有事,所以我…
当处理到‘’我‘’这个词的时候,就会把主语我更新到细胞中去。
更新细胞状态(细胞状态)
注意上面公式中的是对应元素乘,而不是矩阵的乘法
更新旧的细胞状态 实现方式: 表示忘记上一次的信息的程度,
表示要将候选值加入的程度, 这一步我们真正实现了移除哪些旧的信息(比如一句话中上一句的主语),增加哪些新信息,最后得到了本细胞的状态 。
输出层门:输出(隐藏状态)
最后,我们要决定作出什么样的预测。 实现方式:
- 我们通过sigmoid层(输出层门)来决定输出的本细胞状态 的哪些部分;
- 然后我们将细胞状态通过tanh层(使值在-1~1之间),然后与sigmoid层的输出相乘得到最终的输出 。
所以我们只输出我们想输出的部分。 例子:在语言模型的例子中,因为它就看到了一个 代词,可能需要输出与一个 动词相关的信息。例如,可能输出是否代词是单数还是复数,这样如果是动词的话,我们也知道动词需要进行的词形变化。
例如:上面的例子,当处理到‘’我‘’这个词的时候,可以预测下一个词,是动词的可能性较大,而且是第一人称。 会把前面的信息保存到隐层中去。
LSTM的各个变量
⊙ 是element-wise乘,即按元素乘
介绍下各个变量的维度,LSTM cell的输出 的维度是黄框里隐藏层神经元的个数,记为d,即矩阵 , , , 的行数。t 时刻LSTM cell的输入的维度记为 n,最终的输入是和的联合,即[, ] ,其维度是,所有矩阵(包括 , , , )的维度都是[,+],所有的向量包括( , , , , , , , , , , 和)维度都是。(为了表示、更新方便,我们将bias放到矩阵里)
以举例:
同理:
合并为一个矩阵就是:
转载自:https://blog.****.net/wjc1182511338/article/details/79285503 , 个别地方有补充