Fast Underwater Image Enhancement for Improved Visual Perception

今天介绍的是一篇发表在IEEE Robotics and Automation Letters,2020的一篇水下图像增强的论文

数据集

水下图像工作的一大难点在于难以获得pair的数据集，现有的数据集基本上都是利用水下图像仿真合成的图像作为GT，本文提出了一个新的数据集EUVP Dataset，数据集包括配对图像和不配对图像。

看了下这个数据集pair数据大部分还是UGAN那篇论文的数据集，Unpair部分则根据图片的质量分成了不同的等级，同样这边的GT部分图像都是合成的。

网络结构

采用的是一个叫FUnIE-GAN的结构，生成器是使用了一个五层的U-Net结构，鉴别器部分使用了PatchGAN，PatchGAN可以分块检验生成图片的质量。最早是在Pix2Pix这篇文章提出的，有兴趣的可以去了解一下。

网络LOSS

前面提到这篇论文使用的数据包括两个部分，一个是pair数据集，一个是Unpair的，在训练时作者也分成了两块来训练，训练起来有所不同

Pair Data

LOSS分为三个部分

1、Global similarity

计算生成图片和GT的局部相似性

这边是类似于cGAN的，Z表示噪声

2、Image content

图片内容损失

这边的内容损失主要是用一个预训练的VGG19网络提取图片的特征进行对比计算。

3、GAN loss

这部分就是鉴别器部分的PatchGAN计算的loss

总的loss是上面三项加权和

Unpair Data

unpair的数据部分因为没有对应的GT，这边的loss采用了一个比较常见的循环一致损失

总的loss就是循环一致loss 和GAN loss的一个加权和

实验结果

评价指标

Pair Data

配对数据集方面，论文采用了常用的PSNR和SSIM以及一个水下图像专用的评价指标UIQM

Unpair Data

这部分数据集没有对应的GT，所以只使用了UIQM这个指标