基于金字塔式注意力机制的图像修复技术

传统的两种修复算法

基于边缘像素，利用微分方程来进行填补。

首先从边缘确立一个patch？

然后在其他区域搜索较为相似的区域，对缺失部分进行填充

缺点就是，含有语义的部分较难恢复。

基于深度学习

网络结构设计

开山之作，使用全连接层，只能做到128x128，而且恢复图像较为模糊

引入全卷积，增加感受野，修复256x256，最后还有两个辨别器进行判别

attention注意力机制

它是从缺失区域和完整区域进行一个匹配，有点类似传统算法，但是用于深度学习当中

不规则的mask缺失区域

多阶段的框架

它会从结构图，分割后的图，再流到下一阶段，进行更细致的生成

传统算法：容易丢失语义

深度算法：基于CNN卷积网络，容易丢失一些细节，生成图形比较模糊

金字塔式

启发

由深到浅

多次补全

案例

整体框架

解码器部分
由较深的特征，基于attention机制，解码上一层，

基于L1loss和GANloss 进行约束

未来的挑战

1. CNN喜欢对边缘进行传播，导致边缘会扩散
2. 容易导致物体结构缺失

QA环节

生成的图像有色差：

1.训练时间要久

2.网络是否使用BN层，因为mask不一样，会影响均值方差的计算

是否要求人脸对齐？
1.人脸对齐后，生成效果好，但是换一个数据集可能影响较大

图像修复的评价指标:

1.PSNR SSRM 以图像质量作为主要评价

目前学术界也在探索一个更好的评价方法