利用先验知识来约束和引导图像重建过程
一、低秩约束的图像非盲去模糊
论文题目:Deep Non-Blind Deconvolution via Generalized Low-Rank Approximation
1、退化过程
非盲去模糊为模糊核已知。退化过程可以表示为:
其中x表示target,k表示模糊核,y为退化的模糊图像。
转到频域可以表示为:
2、非盲去模糊
去模糊的过程,实际是在求模糊核k的伪逆矩阵k*。
如图所示,当模糊核为15x15时,伪逆矩阵为150x150,甚至更大,这样会导致计算量非常的大。对于这个大矩阵,利用SVD进行分解,得到特征向量和特征矩阵。
但是对于含有多个模糊核的退化退化图像来说,不同的伪逆矩阵拥有不同的特征向量和特征矩阵,所以利用广义低秩矩阵分解(kp表示多个模糊核):
大规模点扩散函数张量的低秩先验:
利用大规模点扩散函数张量的低秩先验约束网络参数(参数初始化):
从上图可以看到,网络的前三层实际是模拟了左特征向量、特征矩阵和右特征向量的运算,由于模糊核已知,所以伪逆矩阵所对应的特征向量和特征矩阵是已知的,利用这些数据,作为前三层网络的初始化参数,从而将低秩先验加入到深度模型中。
3、实验结果
可以看出,右先验约束,特征图的模糊减少。
二、三维结构约束的人脸图像去模糊
论文:Face Video Deblurring using 3D Facial Priors(ICCV2019)
1、人脸先验引导人脸重建任务的相关工作:
(1)利用边缘先验引导人脸重建:
缺点:只能检测出大的轮廓,对于一些城西街轮廓效果较差
(2)利用语义信息来引导人脸重建
缺点:得到的是区域信息,对于关键的边缘信息仍然无法检测到
2、利用三维人脸重建算法生成清晰的人脸引导图
(1)3DMM人脸重建算法
3DMM算法可以利用人脸的身份信息,纹理信息,姿态信息等来生成一幅边缘锐化,清晰的人脸图像(尽管输入人脸是模糊的,也能得到清晰地重建人脸)。
(2)模型总体流程图
从图中可以看出,模型总体分两部分:3D人脸重建和Unet网络去模糊,具体算法流程为:
-
训练resnet50,得到人脸的关键信息(姿态,纹理,关照等),利用公式加权得到3维人脸重建结果。训练过程算是函数为:
-
将重建的清晰人脸直接concat到输入,同时将学习到的纹理、姿态光照等先验信息也concat到中间层,这样就将先验知识融入到深度网路中去。
3、实验结果
三、三维结构约束的人脸图像超分辨率
实验结果: