论文：Deep Learning Underwater Image Color Correction and Contrast Enhancement Based on Hue Preservation
作者：Chia-Hung Yeh
年份：2019
期刊： IEEE Underwater Technology (UT)

1 介绍

框架

本篇论文提出一种基于色相保留的高效的基于深度学习的框架。该框架包含用于水下图像颜色恢复的三个卷积神经网络，框架包括四个阶段：
（1）水下图像灰度阶段：使用第一个CNN将水下图像转换为最佳的灰度通道图像；
（2）灰度水下图像细节增强阶段：通过第二个CNN去除噪声，提高图像质量；
（3）水下图像颜色恢复阶段：通过第三个CNN（端到端CNN进行）对输入的水下图像执行颜色校正；
（4）获得高质量图像并校正水下彩色图像的阶段：基于色相保留的方法，整合三个阶段，将三种CNN的输出进行积分，得到色彩校正后的图像。
水下CNN的问题在于水下训练数据太少并且没有相应的地面真实性。因此，本文使用无监督学习方法CycleGAN来训练水下CNN。设计了一种训练方法，它是三个CycleGAN的组合，可以同时训练三个CNN以共享回归状态。这种训练方法可以让提出的框架的三个CNN互相支持，从而避免训练过度且没有约束。通过提出的框架和训练方法，我们的方法可以高质量，低计算量地处理水下图像。
与WaterGAN（无监督管道，基于生成对抗网络）不同，本文使用无监督学习来训练图像恢复方法，还添加了一些收敛条件来限制网络训练，使网络训练更加全面和正确。

框架图

水下图像恢复框架

2 水下图像恢复框架

A.水下图像灰度变压器

（将RGB三通道相结合的3个系数转换为相应的灰度图像）

与空中图像不同，水下图像的红色和绿色通道会因光传播而衰减,必须分析光衰减的程度，以评估三个通道之间的最佳比率，本文使用卷积神经网络来预测比率。
CNN由四个卷积层组成。连接层（用Concat表示）将两个具有不同滤波器大小的卷积层的输出进行叠加。所有卷积层的**函数都是整流的线性单元（ReLU）。 ReLU主要用于非线性，可以实现更快，更正确的回归。从最终卷积层的输出中获取每个特征图中所有元素的均值的系数。

优势

优势：可以提取多尺度图像特征，有助于灰度比率预测。

B水下灰度图像细节增强

基于色调保存，提出水下灰度图像细节增强CNN用于水下图像的去噪和CNN处理后的图像细节校正。该CNN将输入的水下灰度图像变换为增强透射图，由七个卷积层组成，选择参数化整流线性单位（PReLU）作为**函数。在学习有关图像纹理修改和增强的透射图方面，PReLU比ReLU更好。最后，通过将增强透射图添加到输入灰度图像中来获得增强水下灰度图像。

C水下图像色彩还原（主要阶段）

使用端到端卷积神经网络来校正水下图像中的颜色损失。本文设计一个损失函数，该函数限制了水下图像颜色恢复CNN回归的许多条件。作为端对端的图像处理CNN，水下图像颜色恢复CNN的输入和输出是输入水下图像和颜色恢复水下图像。

D色相保存增强

使用一种基于色调保持增强的全局对比度自适应增强方法。 这是整合色彩校正和细节增强结果的好方法。 输出图像IR是通过将其他三个阶段的输出积分而生成的：

3 水下训练方法

本文结合三个CycleGAN作为训练方法，以同时训练提出框架的三个CNN。 通过它们的生成器来区分这三个CycleGAN。
（1）训练水下灰度图像细节增强CNN作为第一个CycleGAN生成器。输入训练数据的两个域是灰色水下图像和灰色空中水下图像。
（2）水下图像色彩恢复CNN被训练为第二个CycleGAN的生成器。第二个CycleGAN学习彩色水下图像和彩色空中图像之间的映射。
（3）最后一个CycleGAN的生成器是整个框架，它的训练数据与第二个相同，使用这三个CycleGAN，可以同时训练整个框架中的所有CNN。
但是，仅CycleGAN不能完美地训练水下图像恢复框架，会过度拟合和陷入贪婪优化循环，影响训练结果。因此，在损失函数中额外设置了一些条件来限制CNN回归。这些条件共享其他CNN的训练信息，以使CNN更全面地了解映射。
原始CycleGAN损失函数（生成器G的映射函数：X→Y）：

（后向散射生成器????的损失函数：????→????，和（3）相似仅使对抗损失中的域反向：）

为了训练水下图像的灰度变换CNN，损失函数如下：

对于水下色彩恢复CNN必须学习的映射GCR，损失函数如下：

结构相似性损失公式（有助于防止CycleGAN陷入压倒性的优化）：

最后，训练水下灰度图像细节增强CNN以学习映射GGE，设计损失函数：

整合这些损失函数和三个CycleGAN架构，可以训练提出的基于深度学习的水下图像恢复框架。

实验结果