UnderwaterImageEnhancement by Dehazing WithMinimum Information Loss and Histogram Distribution Prior

论文:Underwater Image Enhancement by Dehazing With Minimum Information Loss and Histogram Distribution Prior
作者:Chong-Yi Li
年份:2016年
期刊:IEEE TRANSACTIONS ON IMAGE PROCESSING

摘要

本文提出一种有效的水下图像去雾算法,以恢复水下图像的可见性,颜色和自然外观。该方法包括水下图像去雾算法和对比度增强算法。
(1)提出一种基于最小信息丢失原理和水下成像光学特性的有效水下图像去雾算法,可以恢复退化的水下图像的可见度和颜色。此水下图像去雾算法减少了输出图像的信息损失,考虑了不同颜色光的不同衰减率,通过推导水下成像的光学性质,建立了三色通道介质透射图的关系。
(2)提出一种于直方图分布先验的对比度增强算法可以有效提高对比度和亮度。使用这个直方图分布先验与一个无雾的输出版本,可以直接产生另一个高对比度和亮度的输出版本。此对比度增强算法简单省时。具有更少的伪像和更清晰的细节。
所提出的方法能产生两个增强输出的版本:
(1)具有相对真实颜色,高的可见度和自然外观,适合显示
(2)具有高对比度和亮度,可用于提取更多有价值的信息并揭示更多细节。

局限性

(1)由于可见光的限制,去雾算法对在几个具有挑战性的场景(如弱光条件)下拍摄的水下图像的细节和颜色揭示得很少
(2)本文在去雾模型中只考虑了物体和相机之间的距离。物体到水面的距离对水下成像有的影响还有待考虑
(3)提出的方法不能消除噪声的影响

介绍

在水下,摄像机接收到的光主要由三个分量产生:
(1)反射来自物体的光的直接成分
(2)前向散射,随机地使光线偏离它到达相机的方向
(3)后向散射,在光实际到达物体之前将光反射向相机。
水下图像可以表示为三个分量的线性叠加。前向散射分量会导致图像模糊,后向散射分量会掩盖场景的细节。海洋积雪(即宏观的漂浮颗粒)带来了不想要的噪声并增加了散射的影响。

相关工作

传统的图像增强方法不能自适应地补偿水下图像的对比度下降,直接将它应用于退化的水下图像会忽略事实:即水下图像的对比度退化与物镜距离成正比。
优:本文的水下图像去雾算法可以通过从背景光获得光学特性,从而减少还原图像的信息损失,并建立三个颜色通道的介质透射图之间的关系。
本文的基于室外自然场景图像统计数据的对比度增强算法简单有效。另外,在可见性,对比度和颜色方面,所提出的方法可以实现比现有方法更好的视觉质量。

方法

所提出的方法包括两个主要部分:水下图像去雾和水下图像对比度增强。

UnderwaterImageEnhancement by Dehazing WithMinimum Information Loss and Histogram Distribution Prior

A 水下图像去雾

本文的全局背景光估计算法结合了分层搜索和在水中传播的光的属性,更加有效强大,因为它消除了明亮物体和悬浮粒子的影响。也不需要多个图像或有关水下场景的复杂信息。
方法:
UnderwaterImageEnhancement by Dehazing WithMinimum Information Loss and Histogram Distribution Prior

(1)全局背景光估计A

通常将A估计为水下图像中最亮的颜色。但是该假设不适用于物体比全局背景光亮的方案。本文首先使用基于四叉树细分的分层搜索技术,然后通过DCP算法消除悬浮粒子的影响,最后消除明亮物体的干扰并根据在水中传播的光的特性确定A。
1)将水下图像分为四个矩形区域。为了选择平坦的背景区域,将每个区域的分数定义为平均像素值减去该区域内像素值的标准偏差。通过搜索得分最高的区域来选择候选区域。
2)为避免悬浮粒子的影响,在候选区域的暗通道中选择前0.1%的最亮像素。传播距离蓝光最长(因为波长最短),其次是绿,红。
3)在这些最亮的像素中,在输入图像中选取蓝红差最大的像素作为A,以消除亮物体的影响。

(2)介质透射图估计

UnderwaterImageEnhancement by Dehazing WithMinimum Information Loss and Histogram Distribution Prior
为了最大程度减少信息丢失
1)估算水下图像最退化的通道(即红色通道)的t。红色通道的t对水下图像更具代表性(绿色和蓝色通道的t与室外有雾场景中捕获的图像相似,因此,估计红色通道的t更适合于恢复退化的水下图像)。将红色通道的局部块B中的信息损失成本Inforloss定义为截断值的平方和:
UnderwaterImageEnhancement by Dehazing WithMinimum Information Loss and Histogram Distribution Prior
假设介质传输图在本地块B中具有相同的像素值:
UnderwaterImageEnhancement by Dehazing WithMinimum Information Loss and Histogram Distribution Prior

若不产生任何信息损失:
UnderwaterImageEnhancement by Dehazing WithMinimum Information Loss and Histogram Distribution Prior
图5可被写成:
UnderwaterImageEnhancement by Dehazing WithMinimum Information Loss and Histogram Distribution Prior
UnderwaterImageEnhancement by Dehazing WithMinimum Information Loss and Histogram Distribution Prior

选择满足式(7)约束的最小值(大的t可能会导致对比度代价)
UnderwaterImageEnhancement by Dehazing WithMinimum Information Loss and Histogram Distribution Prior

min(Ir(x))和max(Ir(x)) (x∈B)中有丰富的纹理信息和边缘信息,这干扰了t估计的准确性,因此:
1)去除在 min(Ir(x))和max(Ir(x)) (x∈B)中的纹理和边缘,保留深度信息。
2)逐块估计t和Ar。由于基于块的介质传输图会产生块效应,所以加入引导过滤器来细介质传输图。改进的透射图t rˆ ∗:
UnderwaterImageEnhancement by Dehazing WithMinimum Information Loss and Histogram Distribution Prior
用以下方法选出最佳参数κx和νx:
UnderwaterImageEnhancement by Dehazing WithMinimum Information Loss and Histogram Distribution Prior
将式(10)的解代入式 (9),红色通道的t 能实现。
(用与红色通道相同的约束来估计绿色和蓝色通道的t,结果不够好)
当通过相同约束获得的三个还原通道聚在一起形成彩色水下图像时,就会出现伪像。因为在不同通道中相同位置的像素不相关。需探索三个颜色通道的介质透射图的相关性。
总背景光表示为:
UnderwaterImageEnhancement by Dehazing WithMinimum Information Loss and Histogram Distribution Prior

UnderwaterImageEnhancement by Dehazing WithMinimum Information Loss and Histogram Distribution Prior

整体背景光与散射系数成正比,与总衰减系数成反比。散射系数与一般水中的光波长近似成线性关系:
一般水中的λr,λg和λb分别为620nm,540nm和450nm。
UnderwaterImageEnhancement by Dehazing WithMinimum Information Loss and Histogram Distribution Prior
绿色和蓝色通道的t可以估计为:
UnderwaterImageEnhancement by Dehazing WithMinimum Information Loss and Histogram Distribution Prior

(3)自适应曝光图估计

观察到的水下图像的暗区和亮区用本文的水下图像去雾算法恢复后变得太暗或太亮,采用自适应曝光图来调整。解决以下优化问题来获得自适应曝光图s(x):
UnderwaterImageEnhancement by Dehazing WithMinimum Information Loss and Histogram Distribution Prior

1)求解s(x)不需要平滑正则化,它有一个封闭形式的解。
2)应用导向滤波器G FI 来平滑该解决方案,获得一个快速的近似解:
UnderwaterImageEnhancement by Dehazing WithMinimum Information Loss and Histogram Distribution Prior

即: UnderwaterImageEnhancement by Dehazing WithMinimum Information Loss and Histogram Distribution Prior

B 水下图像对比度增强

(基于具有视觉吸引力的自然场景图像的直方图分布统计)
在水下:蓝色成分的直方图集中在最亮的一面,然后是绿,红,这是由于吸收,散射,漂浮粒子的影响。采用近似直方图匹配的方法对水下去雾算法获得的无雾图像的直方图分布进行调整。
对比度增强结果保留了去雾结果的真实色彩和可见度,获得了更高的对比度和更清晰的细节。

实验(超级详细)

A 模拟实验

模拟了三组水下图像。
类型一:具有变分高斯随机噪声的水下图像的零均值和固定的介质透射图及全局背景光
类型二:具有变分全球背景光和固定介质透射图的水下图像
类型三:具有变分介质透射图和固定的全局背景光的水下图像
结果表明,介质传播图值较小,准确估计更难。严重退化的水下图像很难还原为原始图像。

B 定性比较

估计的全局背景光影响三个颜色通道的介质透射图的估计。假设光的估计是错误的(例如,通常将光估计为水下图像中最亮的颜色,Ac大约为255),则红色通道的估计介质传输图倾向于1(根据等式7)。估计的绿色和蓝色通道的介质传输图也趋于1(17,18)。则恢复的图像接近于输入的退化图像(2)。
定性比较表明,本文对比度增强方法具有更好的对比度和亮度,较少的伪影,更清晰的细节。
实验环境:混浊场景,深水场景,人工照明场景,低光场景(最有挑战性,因为容易饱和像素,干扰A和t的估计),噪声场景

C 定量比较

MSE,PSNR,熵,基于补丁的对比度质量指数(PCQI),水下彩色图像质量评估(UCIQE),处理时间(PT)
MSE,PSNR:评估图像噪声,较低的MSE值和较高的PSNR值表示生成的图像的噪点更少,信息更有价值
熵:用于测量图像信息内容,一幅图像的熵值越高,说明该图像包含的信息越多
PCQI:PCQI值越高,图像的对比度越好。
UCIQE:用于量化水下图像的不均匀色偏、模糊和低对比度。较高的UCIQE值表明图像在色度、饱和度和对比度之间有更好的平衡

D 色彩准确度测试

(1)提取结果中的色块部分
(2)调整颜色块部分的大小和方向,使其与标准颜色检查器图表图像的大小和方向匹配
(3)使用调整后的色块部分和标准的颜色检查图图像计算MSE和PSNR的值