微光图像增强的零参考深度曲线估计

在这篇论文中，我们呈现了一种新的深度学习方法，零参考深度曲线估计，来进行微光图像增强。它可以在各种各样的灯光条件包括不均匀和弱光情况进行处理。不同于执行图像到图像的映射，我们把任务重新设定为一个特定图像曲线估计问题。特别地，提出的这种方法把一个人微光图像作为输入，并把产生的高阶曲线作为它的输出。然后这些曲线被用作对输入的变化范围的像素级调整，从而获得一个增强的图像。曲线估计是精心制定的以便于它保持图像增强的范围并保留相邻像素的对比度。重要的是，它是可微的，因此，我们可以通过一个深度卷积神经网络来了解曲线的可调参数。所提出的网络是轻量级的，它可以迭代地应用于近似高阶曲线，以获得更稳健和更精确的动态范围调整。

一个特别的优势是我们的深度学习给予的方法是零参考。与现有的基于CNN和GAN的方法一样，它在训练过程中不需要任何成对的或者甚至不成对的数据。这是通过一组特别设计的非参考损失函数实现的，这些函数包括空间一致性损失、曝光控制损失、颜色恒定性损失和光照平滑度损失，所有这些都考虑了光增强的多因素。我们发现，即使使用零参考训练，zero-DCE仍然可以与其他需要成对或不成对数据进行训练的方法相比具有竞争力。图1示出了增强包含非均匀照明的微光图像的示例。与最新的方法相比，零DCE在保持固有颜色和细节的同时使图像变亮。相比之下，基于CNN的方法[28]和基于GAN的EnightGan都产生了低于（面部）和过度（内阁）的增强。

典型微光图像的视觉比较。所提出的零DCE在亮度、颜色、对比度和自然度方面都达到了令人满意的效果，而现有的方法要么无法处理极端的背光，要么产生颜色伪影。与其他基于深度学习的方法相比，我们的方法在没有任何参考图像的情况下进行训练。

我们的贡献总结如下。

1） 我们提出了第一个弱光增强网络，它独立于成对和不成对的训练数据，从而避免了过度拟合的风险。结果表明，该方法能很好地推广到各种照明条件下。

2） 我们设计了一个特定于图像的曲线，它能够通过迭代应用自身来近似像素级和高阶曲线。这种特定于图像的曲线可以在较宽的动态范围内有效地进行映射。

3） 我们展示了在没有参考图像的情况下，通过任务特定的非参考损失函数（间接评估增强质量）训练深度图像增强模型的潜力。

我们的零DCE方法在定性和定量度量方面都取代了最先进的性能。更重要的是，它能够改进高级视觉任务，例如人脸检测，而不会造成很高的计算负担。它能够实时处理图像（在GPU上，640×480×3大小的图像约为500fps），训练只需30分钟。