Image Inpainting via Generative Multi-column Convolutional Neural Networks
1. Motivation
- 提取合适的特征评估 patch之间的相似性;
- 寻找最接近的 patch;
- 聚合辅助信息。
2. Approach
2.1 Network Structure
- 生成器:三个并行的编码器,用于提取不通尺度的特征,一个公用的解码器。
- 判别器:局部判别器+全局判别器。
2.2 Loss function
- ID-MRF regularization:
这个损失或正则项其实就是常见的感知损失或特征损失的改良版,用上面的公式去度量 patch之间的相似性,相似性越高,RS的值越大,所以第三个公式中前面有个负号。第四层卷积得到的 feature map表示语义信息,第二、三层卷积得到的 feature map表示图像的纹理信息。
- Spatial variant reconstruction loss:
了对空间位置施加约束,设计了新的重建损失,其中靠经填充边界的未知像素要比远离边界的区域受到更强的约束,通过改变 mask的值对不同的像素点的位置进行约束。
- Adversarial loss:Wasserstein GAN的损失【1】
- Final loss:
3. Discussion
我认为本文的创新点主要有三个:
- 不同尺度的感受野,更好的提取图像中的特征;
- ID-MRF正则化,不仅让局部的 patch找到最接近的 patch,整体的分布也更加接近;
- 新的重构损失,对不同位置使用不同级别的限制。
这篇文章和 “Image Fine-grained Inpainting” 【2】有点像,【2】是这篇文章的改良版,感兴趣的话可以看一下。
局限性:不适用于大规模数据。
源代码:https://github.com/shepnerd/inpainting_gmcnn
4. References
【1】Gulrajani, Ishaan, et al. "Improved training of wasserstein gans." Advances in neural information processing systems. 2017.
【2】Hui, Zheng, et al. "Image fine-grained inpainting." arXiv preprint arXiv:2002.02609 (2020).
【3】Wang, Yi, et al. "Image inpainting via generative multi-column convolutional neural networks." Advances in neural information processing systems. 2018.