CV第十讲

一、知识梳理

CV第十讲

二、重点讲解

未完待续

三、作业

1.rnn公式

1)网络结构

CV第十讲

2)公式

CV第十讲

2.画出lstm结构,并写出数学表达式

1)结构:

CV第十讲

2)公式:

CV第十讲

3.lstm每个门的作用,输入和输出是什么

1)遗忘门:

CV第十讲

作用与输入输出:

决定上一时刻中哪些信息从单元状态中抛弃,即根据当前的输入xt和上一时刻输出ht-1计算出一个向量。在每一维度上的值都在(0,1)范围内,再将上一时刻的ct-1与ft向量按位相乘,那么ft取值接近于0的维度上信息就会被忘记,而ft取值接近于1的维度上的信息会被保留。

CV第十讲

2)输入门:

CV第十讲

作用与输入输出:

输入门一共有两步:sigmoid 层决定哪些信息需要更新;一个 tanh 层生成一个向量,将值映射到(-1,1),也就是备选的用来更新的内容,两部分结合共同构成输入门。作用是决定单元状态中保存哪些新信息。它会根据xt和ht-1决定哪些信息加入到Ct-1中生成新的状态Ct。

CV第十讲

3)输出门:

CV第十讲

作用与输入输出:

结合输入与遗忘最终进行输出,作用是决定输出什么。

CV第十讲