学习吴恩达--深度学习工程师---序列模型之1

       序列模型应用很广:语音识别,音乐生成,语句分类,DAN序列分析,机器翻译,视频活动识别,命名实体识别等等。
最初设计的模型是输入和输出是相同长度的,例子如下。其中Tx 表示的是输入的序列的长度,Ty表示输出的序列的长度,该模型叫做标准化模型。 学习吴恩达--深度学习工程师---序列模型之1

那么现在就出现了两个明显的问题:1 输入输出不一定永远是相同长度的(当然这可以通过补0来实现);2.从文本上不同位置学习到的特征并不共享(这个问题比较严重),为此引入循环神经网络(RNN),如图2所示。
      学习吴恩达--深度学习工程师---序列模型之1每一个循环神经网络都有两个不同集合d 权重:一个是输入X(t)的权重(即wx),另一个就是针对上一时刻输出y(t-1)的权重,记为wy.则单个神经元的输出就是:学习吴恩达--深度学习工程师---序列模型之1其中b是偏置, ϕ(·)是**函数。换一种形式就是:学习吴恩达--深度学习工程师---序列模型之1