Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting论文阅读

问题描述：

时空域序列预测问题：需要通过过去的雷达图预测未来的雷达图：

其中，$\chi\in R^{P\times M\times N}$χ∈RP×M×N，表示面积范围 $M\times N$M×N 的 $P$P 个观测，需要通过过去的$J$J个观测预测未来$K$K个观测。
本文通过提出ConvLSTM结构建立2D图片之间的时序关系。

传统LSTM结构

FC-LSTM原理：


其中，$i_t, f_t, o_t$it​,ft​,ot​表示门控单元，其值取0~1之间，分别表示input gate、forget gate、output gate，$c_t$ct​表示memory cell，$h_t$ht​表示final state，$x_t$xt​表示输入, 即上一个时间点的memory cell和final state会对下一个时间点产生影响。

注意，$x_t, c_t, h_t$xt​,ct​,ht​可以为1维向量，此时相当于构建一维向量与一维向量之间的时序关系。$W_{xi}$Wxi​与$x_i$xi​相当于fully connect全连接操作。

ConvLSTM结构

同样，$i_t, f_t, o_t$it​,ft​,ot​表示门控单元，其值取0~1之间，分别表示input gate、forget gate、output gate，$C_t$Ct​表示memory cell，$H_t$Ht​表示final state，$X_t$Xt​表示输入，三者为二维数据，相当于建立二维数据与二维数据之间的时序联系。

与FC-LSTM相比，$X_t, H_t, C_t$Xt​,Ht​,Ct​为二维数据，$W_{xi}$Wxi​与$X_i$Xi​之间的关系为卷积关系，而FC-LSTM为全连接关系。

Ref.:
[1] Xingjian, S., et al. (2015). Convolutional LSTM network: A machine learning approach for precipitation nowcasting. Advances in neural information processing systems.
[2] Graves A. Generating sequences with recurrent neural networks[J]. arXiv preprint arXiv:1308.0850, 2013.