Background Matting: The World is Your Green Screen,来啊,一起来抠图呀
CVPR2020评价颇高的一抠图算法,非常适用于static background的相关领域,可用高细粒度的前景提取,以及背景替换(可用于小样本数据增强),目前github开源已经三千多星
论文地址:https://arxiv.org/abs/2004.00626
代码:https://github.com/senguptaumd/Background-Matting
上算法原理前,需要介绍,抠图物理模型是基于
I = αF + (1 − α)B , 很好理解, I是原图,F是前景,B是背景,alpha可以理解为前景heatmap
算法主体思路包括两部分,上图:
第一部分,前景抠图网络:输入包括四部分,原图I,背景B,分割结果S,前后帧灰度图M,经过encoding后,将B,S,M采样结果分别与I采样结果concat,之后经过一步卷积,融合所有信息前向并上采样得到输出,alpha以及foreground
作者实验后发现,单纯使用Adobe数据集训练的网络在变换场景后,抠图效果不理想,故级联了第二步工作,级联GAN,GAN的部分初始化了新的抠图网络Greal,同时需要使用第一步训练得到的网络Gadobe,利用Gadobe作为教师网络并结合判别器(Discriminator)的loss训练Greal,最后,每五个iteration,更新一次判别器参数