2012-IJCV - Non-uniform deblurring for shaken images
项目地址:https://www.di.ens.fr/willow/research/deblurring/
作者:Oliver Whyte
- 非一致性模糊
- 针对相机转动提出新的模糊模型
- 将新模型代替卷积模型代入两种去模糊算法框架:Fergus et al. (2006,VB) and Cho and Lee (2009,MAP)
平移vs.转动
文章首先说明了相机转动比平移更容易造成图像模糊,因此本文只考虑了相机转动影响,忽略了相机平移。如下图:
当造成大小的模糊时(像平面上的像素偏移距离),相机需要平移的大小为:,需要转动的角度为:, 代入实际数据时,当目标距离相机1米时,需要平移1cm,仅需要转动!所以模糊更有可能是由相机转动造成的。
转动还可以分为in-plane 与 out-of-plane。
in-plane 指围绕Z轴的旋转,相比out-of-plane,像素偏移路径在整个图像中变化更大。
新模型
其中表示观测图像中的齐次坐标,为潜在图像,表示观测噪声,T表示相机曝光时间,为t时刻的单应矩阵。
单应矩阵可以写成:
为相机旋转矩阵,为标定矩阵(calibration matrix)。传送门:相机标定及内参外参
一般来说,模糊的图像没有相关的时间信息T,因此改为对角度的积分(相机不同时刻都会对应一个角度,每个角度也会对应一个单应矩阵):
是一个三维权重矩阵,。即广义上的“模糊核”。
进一步地,将单应变换写成矩阵乘法:
展开后,
其中是一个非常稀疏的矩阵,上式对于和都为线性(双线性),
因此可以直接代入一致性去模糊算法(卷积运算也是双线性的)。
需要注意的是,卷积运算可以通过傅里叶变换加速,而该模型中的双线性形式是不可以的。
接着文章介绍了两种框架:VB-based和MAP-based
VB-based
R. Fergus, B. Singh, A. Hertzmann, S. T. Roweis, and W. T. Freeman.
Removing camera shake from a single photograph. ACM Trans.
Graphics (Proc. SIGGRAPH 2006), 25(3):787–794, 2006.
MAP-based
S. Cho and S. Lee. Fast motion deblurring. ACM Trans. Graphics
(Proc. SIGGRAPH Asia 2009), 28(5):145:1–145:8, 2009.
能量函数如下:
文章发现原文中对于模糊核2范数先验效果并不好,所以改成了1范数:
非盲去模糊
文章采用了两种:
一种是使用了超拉普拉斯先验的;
D. Krishnan and R. Fergus. Fast image deconvolution using hyperlaplacian
priors. In NIPS, 2009.
另一种是RL算法,文章也简单介绍了,并发现对于包含饱和区域的图像 (由于过大像素值被裁剪,线性模型不再有效),RL算法结果更好。