通过分解和增强学习恢复微光图像(CVPR2020)

Learning to Restore Low-Light Images via Decomposition-and-Enhancement 

Problems

•在同时增强微光图像并去除其噪声是不适定的问题，我们观察到噪声在不同频率层表现出不同程度的对比度，并且在低频层比在高频层更容易检测到噪声。受此启发，我们提出了一种基于频率的微光图像分解与增强模型

Motivation

•是微光sRGB图像增强问题，包括图像增强和去噪两个方面。我们的动机基于两个观察结果。首先，图像低频层比图像高频层保留更多的信息，例如对象和颜色，并且受噪声的影响较小。这表明，与直接增强整个图像相比，增强低频图像层更容易。其次，图像基元的内在维度非常低，这使得神经网络能够学习图像基元的全部信息。因此，在给定基元的低频信息的情况下，网络可以通过推断相应的高频信息来重建整个基元。 

•这两个观点启发我们学习基于频率的微光图像分解和增强模型。

Contribution

•我们提出了一种新的基于频率的分解和增强模型来增强弱光图像。它首先在抑制噪声的同时恢复低频层的图像内容，然后重新覆盖高频图像细节。 

•我们提出了一个网络，利用上下文编码（ACE）模块来分解输入信息，以自适应地增强高频/低频层，并利用跨域变换（CDT）模块来抑制噪声和增强细节。

•为了便于学习，我们准备了一个包含真实噪声和相应地面真实图像的微光图像集。

Architecture

Attention to Context Encoding (ACE) 

Cross Domain Transformation (CDT) 

Proposed Dataset 

•基于SID(see-in-the-dark)数据集准备训练数据 

•这些原始数据是在曝光时间短（通常为0.1s或0.04s）的微光下成像时收集的。它们相应的ground truth是在长曝光时间（通常为10秒或30秒）下拍摄的，其中噪声可以忽略不计。然而，线性相机原始数据与非线性sRGB数据显著不同，特别是在噪声和图像强度方面。因此，基于原始数据训练的模型不能直接应用于sRGB图像。为了解决这一问题，我们考虑了图像形成管道中的几个关键步骤（即曝光补偿、白平衡和去线性化），并对它们的操作进行了操作，以便对来自不同相机的现实世界中的有噪低光sRGB图像进行建模。

Loss function 

Experiment