对于LSTM可能的一些误解以及其参数个数的计算

LSTM作为RNN的一种,在计算其参数的时候可能会有一些错误的理解。如果对于参数计算过程不理解,那么对网络可能也并不是很理解。如图   
 

对于LSTM可能的一些误解以及其参数个数的计算

 上图是一个简单RNN的示意图,为了方便理解,都会画成下面的形式

对于LSTM可能的一些误解以及其参数个数的计算

这样就会造成一些误解,将RNN理解为t个不同的模块,并且错误的认为每个模块有不同的参数。其实这里的RNN就只有一个模块。其余的是时间线上的展开。LSTM也类似

对于LSTM可能的一些误解以及其参数个数的计算

上图也是时间线上的展开,不是有三个不同的lstm模块。所以这些模块的参数是相同的。

那什么时候会有多个lstm模块呢?只有当多层lstm出现的时候才会有更多的参数出现。

计算可以参考知乎上的一篇回答:https://www.zhihu.com/question/263700757

截图如下

对于LSTM可能的一些误解以及其参数个数的计算