视频预测论文(GAN)(1)-DEEP MULTI-SCALE VIDEO PREDICTION BEYOND MEAN SQUARE ERROR
准备就一系列论文的学习写博客,方便自己查找。
这是第一篇
DEEP MULTI-SCALE VIDEO PREDICTION BEYOND MEAN SQUARE ERROR
这篇我主要关注通过gan网络生成的预测
首先我们的输入包括真实前置帧X,真实待预测帧Y,生成器G,判别器D
在训练判别器时,我们将真实的X,Y打包成(X,Y)
在训练生成器时,我们将X与高斯分布Y’打包得到(X,G(X))并将它作为输入
输入判别器中
判别器的训练
我们将真实待预测帧定义为1,将生成器生成帧定义为0
对于真实图片,我们尽可能让D(X,Y)=1,
对于生成图片,让D(X,G(x))=0
Lbce表示交叉熵
生成器的训练
对于生成图片,让D(X,G(x))=1
然后通过随机梯度下降法进行训练
训练网络
生成器,映射为(m+n)*h*w->(m+n)*h*w
判别器,映射为(m+n)*h*w->[0,1]
实验结果:
数据集:UCF101
1帧和2帧预测
1帧和8帧预测
这里我们可以看到,当预测帧数较多时,SSIM不是很高,这篇论文比较早,看之后的论文有没有解决。