Structure-Revealing联合去噪增强模型论文解读

一、文章摘要概述

文章的题目是：
《Structure-Revealing Low-Light Image Enhancement Via Robust Retinex Model》
这是一篇2018年6月份的TIP(视觉顶刊)会议文章，文章针对弱光(低照度)图像存在密集噪声的问题，提出一种基于Rubost Retinex分解模型的
Structure-revealing弱光增强方法，考虑图像存在的噪声项，并且为了有效地解决模型优化问题，文章提供了一种基于拉格朗日乘子的交替方向最小化(ADM)算法代替对数变换。另外文章指出，该算法还可用于处理如用于水下或遥感的图像增强，以及在模糊或沙尘条件下的图像增强问题。与前几篇JED(联合增强和去噪)文章相比，这篇文章重点介绍了ADM在序列迭代过程中的具体计算过程。总结一下，文章在使用传统方法做联合图像增强和去噪时，做了3项创新：

• 在经典Retinex模型的基础上考虑噪声项的影响，提出一种Robust Retinex模型，并在模型基础上，首次尝试预测图像噪声，同时估计
  Structure-revealed 反射图和分段平滑的照明图。
• 提出一种基于增广Lagrange乘子的ADM算法代替对数变换，有效解决了模型优化问题。
• 该算法不仅可以用在含噪声弱光环境下，还可用在如水下图像增强、遥感图像增强、图像消除灰尘和灰尘的天气图像增强中。

二、背景(先验)知识

经典Retinex模型为：
$\mathbf{I}=\mathbf{R}\circ \mathbf{L}$I=R∘L式中，$\mathbf{I}$I表示原始弱光图像，$\mathbf{R}$R和$\mathbf{L}$L分别代表分解后的反射图和照明图。一般为减少计算量会转换到对数域计算分量。
但是，传统Retinex一方面对原始图像的光照平滑度和对比度有较高要求，另一方面没有考虑到模型噪声。因此文章提出一个Robust Retinex模型，并证明模型的优越性，公式如下：
$\mathbf{I}=\mathbf{R}\circ \mathbf{L}+\mathbf{N}$I=R∘L+N式中，$\mathbf{N}$N表示噪声项，文章认为噪声项较为均匀的分布在原始图像中，在前人的工作中也有考虑噪声的弱光增强方法，值得借鉴：

• Elad[PDF]使用两个双边滤波器，在对数域Retinex分解上抑制照明图和反射图噪声。
• Li[PDF]在反射图估计后使用边缘保持平滑法实现去噪。
• Yu[PDF]在反射图估计后使用导向滤波平滑法实现去噪。
  而文章不使用对数变换时，通过联合优化迭代方法分析模型和算法求解，如下。

二、Structure-Revealing弱光增强模型

联合去噪增强整体流程图：
文中给出了两套分解策略，作为对比，其中一套可以作为Baseline(不含噪声项)，另外一套就是文中所提的创新方法：

Baseline

Retinex分解模型如下所示：
$\underset{\mathbf{R},\mathbf{L}}{argmin}\left \| \mathbf{R}\circ \mathbf{L}-\mathbf{I} \right \|_{F}^{2}+\beta \left \| \triangledown \mathbf{L} \right \|_{1}+\omega \left \| \triangledown \mathbf{R}-\mathbf{G} \right \|_{F}^{2}$R,Largmin​∥R∘L−I∥F2​+β∥▽L∥1​+ω∥▽R−G∥F2​式中，$\beta$β和$\omega$ω表示每一项系数，$\left \| \cdot \right \|_{F}$∥⋅∥F​和$\left \| \cdot \right \|_{1}$∥⋅∥1​分别表示F-norm和1-norm，$\bigtriangledown$▽表示一阶微分算子，$\circ$∘表示点乘操作，$\mathbf{G}$G表示原始图像$\mathbf{I}$I的调整梯度，以上各项分别代表：

• $\left \| \mathbf{R}\circ \mathbf{L}-\mathbf{I} \right \|_{F}^{2}$∥R∘L−I∥F2​：原始图像$\mathbf{I}$I和重构图像$\mathbf{R}\circ \mathbf{L}$R∘L之间的保真度。
• $\left \| \triangledown \mathbf{L} \right \|_{1}$∥▽L∥1​：总体稀疏度，和$\mathbf{L}$L的区域平滑度。
• $\left \| \triangledown\mathbf{R}-\mathbf{G} \right \|_{F}^{2}$∥▽R−G∥F2​：反射估计图$\mathbf{R}$R和$\mathbf{G}$G的距离，增强反射图的结构信息。

文章提到两个可解释性问题：
一、针对照明估计图$\mathbf{L}$L的平滑度约束问题，在以往的工作中一般是使用L2-norm，在ML和DL中，L2-norm常常用在Loss函数中，防止模型过拟合提高模型的泛化能力，和L1-norm不同的是，L2-norm是对矩阵向量各元素平方和求平方根，所以其对矩阵中突变值更敏感，对应弱光图像中照度(光照)突变的区域，L2范数强制空间平滑照明会产生区域模糊现象，也叫边缘伪影现象，因此文中使用L1-norm范数来约束照明梯度，保持照明图像的整体结构，以取得更好的视觉效果。

二、反射图的梯度约束问题，考虑到低对比度通常表示较低的梯度范围，所以模型第三项通过调整反射率梯度来提高整体对比度，梯度矩阵$\mathbf{G}$G是通过自适应调整因子和原始图像的梯度乘积得到的，公式如下：
$\left\{\begin{matrix} \mathbf{G}=\mathbf{K}\circ \triangledown \mathbf{I} & \\ \mathbf{K}=1+\lambda e^{-\left | \triangledown \mathbf{I} \right |/\sigma }& \end{matrix}\right.${G=K∘▽IK=1+λe−∣▽I∣/σ​​式中，$\lambda$λ和$\sigma$σ分别控制放大程度和放大率，自适应调节因子$\mathbf{K}$K与梯度$\triangledown \mathbf{I}$▽I成反比，使得调整梯度$\mathbf{G}$G具有较为均匀的梯度变化，文章展示该项在整体增强效果中的作用，如图：

从肉眼来看，整体对比度信息差别不大，但是’白色方块’处局部对比度结构的确展示的要更加完整。

Robust Retinex模型分析及求解

考虑到自然弱光图像噪声不仅仅是加性(或乘性)高斯白噪声，通过某种分布很难评估噪声水平，因此文章从输入图像$\mathbf{S}$S(HSV空间)直接估计一个噪声图，故通过Robust Retinex得到增强噪声优化模型如下所示：$\underset{\mathbf{R},\mathbf{L},\mathbf{N}}{argmin}\left \| \mathbf{R}\circ \mathbf{L}+\mathbf{N}-\mathbf{I} \right \|_{F}^{2}+\beta \left \| \triangledown \mathbf{L} \right \|_{1}+\omega \left \| \triangledown \mathbf{R}-\mathbf{G} \right \|_{F}^{2}+\delta \left \|\mathbf{N} \right \|_{F}^{2}$R,L,Nargmin​∥R∘L+N−I∥F2​+β∥▽L∥1​+ω∥▽R−G∥F2​+δ∥N∥F2​式中，$\mathbf{N}$N表示噪声图，其他项如前所述，$\left \|\mathbf{N} \right \|_{F}^{2}$∥N∥F2​项限制整体噪声，另外修改梯度矩阵$\mathbf{G}$G，如下：
$\left\{\begin{matrix} \mathbf{G}=\mathbf{K}\circ \triangledown \mathbf{\widehat{I}} & \\ \mathbf{K}=1+\lambda e^{-\left | \triangledown \mathbf{\widehat{I}} \right |/\sigma }& \end{matrix}\right.${G=K∘▽IK=1+λe−∣▽I∣/σ​​其中，$\triangledown\mathbf{\widehat{I}}$▽I是一个绝对值函数，
$\triangledown \mathbf{\widehat{I}} =\left\{\begin{matrix} 0, &if\left | \mathbf{\widehat{I}} \right | <\varepsilon \\ \mathbf{\widehat{I}}, & otherwise \end{matrix}\right.$▽I={0,I,​if∣∣∣​I∣∣∣​<εotherwise​这样，小梯度(噪声水平)在放大前就被抑制了，避免后续增强过程中对极低照度下密集噪声的方法效果。

未完，待续…