Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting

这篇文章来大致介绍一下ConvLSTM的基本原理和应用场景。个人认为有时候对于一个算法改进很大程度上会受到应用场景的启示，比如现在要说的这篇。不知道论文作者当时想到这个idea时是不是也是这样。

1.论文的核心思想

先来想象一下这么一个应用场景：根据某个城市历史的降雨量数据，来预测在接下来的某个时间t降雨量的多少。根据作者的思路：

• a 先将城市划分成个格子，每个格子代表一个小的区域（例如） ；
• b.每个格子里面的数值表示在某个时间间隔内的降雨量（例如6分钟）

如下图所示：

 因此，对于每一个时刻 来说，其都对应的着由每个小区域降雨量所构成的矩阵,单独对于每个矩阵来说，每个小区域的降水量与之周围小区域的降水量肯定有着某种联系（类似对于图片中的某个像素点来说，它肯定与之周围的像素点相关）。因此，基于这个想法对于单独的每个矩阵我们可以采用卷积的方式来提取特征。同时从时间轴来看，每个降雨量矩阵在时间维度上也存在着某种联系。例如某个小区域的当前降雨量肯定会很大程度上影响其下一个时间间隔内的降雨量。故，从时间维度上又可以用LSTM来提取特征。

 以上就是论文的核心思想，下面再来稍微看看作者所考虑的其它因素。

2.论文梗概

首先，论文的改进并不是基于原始的LSTM(Long Short-Term Memory)，而是论文Generating Sequences With
Recurrent Neural Networks所引用的一个结构来改变的，作者将其称为"FC-LSTM"，如下图所示：

 可以发现，这个"FC-LSTM"就是加了窥视连接"peephole connections"的LSTM:

 其次，作者对于已有的网络结构作者提出了如下主要缺点:

1.fully connected LSTM (FC-LSTM) layer adopted by their model does not take spatial correlation into consideration
2.Although the FC-LSTM layer has proven powerful for handling temporal correlation, it contains too much redundancy for spatial data

 接着，作者提出了基于FC-LSTM所改进的ConvLSTM。ConvLSTM网络的主体连接方式同FC-LSTM一样，却别在于提取特征的方式不一样，前者采用的卷积方式提取特征，而后者依旧是全连接。

 同时，从作者论文中所给出的图(下图)来看，通过分别对,做卷积处理，然后结合得到,；接着再将得到的结果与进行处理，得到以此类推。

以及，作者说到：对于ConvLSTM来说，依旧可以向其它RNN一样采取多层叠加的方式来使得模型的预测能力更强。如下图，作者以两层ConvLSTM为例，先对两层的网络进行训练，然后再将其用来预测。

 最后，作者进行了相关实验。遗憾的是均没有提供现有的数据集。另外对于实现过程的一些小细节，将在下一篇文章中介绍。