介绍

LSTM模型在语言模型，机器翻译等领域取得了非凡的成就，然后LSTM网络有几百万的参数以及需要数周在多GPU系统中进行训练。因此，一下介绍两种方法来缩减网络参数以及训练时间。两种方法分别为factorized LSTM（FLSTM）以及group LSTM（GLSTM）。

FLSTM

FLSTM网络主要是将大的LSTM矩阵转化为两个小的矩阵。

LSTM模型简单介绍

在LSTM网络中，

其中xt$x_t$表示输入，ht$h_t$表示cell state，ct$c_t$表示cell memory。
令cell gates（i,f,o,g）可以计算为：

其中xt∈Rp,ht∈Rp.andT:R2p→R4n$x_t\in R^p,h_t\in R^p.andT:R^{2p}\to R^{4n}$是一个仿射变换 T=W∗[xt,ht−1]+b$T=W\ast [x_t,h_{t-1}]+b$，则ht∈Rp,ct∈Rn可以用下面的等式计算$h_t\in R^p,c_t\in R^n可以用下面的等式计算$：

其中，P:Rn→Rp$P:R^n\to R^p$是一个线性的映射，这里主要的计算量是在仿射变换T，由于其涉及到4n*2p的矩阵W，因此，FLSTM网络主要减少W的参数。

优化方法

在FLSTM网络中，主要是将矩阵W转化为两个矩阵，可以近似为W≈W2∗W1$W\approx W_2\ast W_1$，其中W1$W_1$大小为2p*r，W2$W_2$大小为r*4n。并且，r < p <= n ，这里主要的假设是矩阵W能够被r阶矩阵所表示，因为转换后的参数大小为（r*2p+r*4n），而LSTM网络的参数为2p*4n。

GLSTM

GLSTM主要是将不同的LSTM cell分到独立的组里。
假定一些输入xt$x_t$以及隐藏层ht$h_t$可以被分到不同的独立的组中。例如，如果有两个组，则xt$x_t$和ht$h_t$能够有效的被分成两个向量，xt=(x1t,x2t)$x_t=(x_t^1,x_t^2)$和ht=(h1t,h2t)$h_t=(h_t^1,h_t^2)$，其中hit$h_t^i$仅依靠xit,hit−1$x_t^i,h_{t-1}^i$以及cell memory state。因此，分为k个组的公式可以表示为：

其中，Tj$T^j$是组j的从R2p/k到R4n/k$R^{2p/k}到R^{4n/k}$的放射变换，组T有k∗4n∗2pk∗k$k\ast \frac{4n\ast 2p}{k\ast k}$个参数，这种结构适合并行计算，因为每个组的计算都是独立的。具体结构如图1所示。

实验结果

源码

https://github.com/okuchaiev/f-lm

参考文献：
factorization tricks for lstm networks