LSTM长短时记忆网络
为了解决RNN中出现的问题(梯度消失和弥散),所以有LSTM长短时记忆网络
总体框架
将LSTM分为一小部分一小部分
RNN最大的问题就是不会忘记,LSTM会决定,选择有价值的保留,没价值的舍弃,需要设定控制参数。
比如[0,0.5,1],0舍弃,0.5部分保留,1保留,那么C是如何做到的?
x号表示门,sigmoid和乘的操作
整个LSTM网络
为了解决RNN中出现的问题(梯度消失和弥散),所以有LSTM长短时记忆网络
总体框架
将LSTM分为一小部分一小部分
RNN最大的问题就是不会忘记,LSTM会决定,选择有价值的保留,没价值的舍弃,需要设定控制参数。
比如[0,0.5,1],0舍弃,0.5部分保留,1保留,那么C是如何做到的?
x号表示门,sigmoid和乘的操作
整个LSTM网络