SIDD：智能手机相机降噪数据集
泡泡图灵智库，带你精读机器人*会议文章
标题：A High-Quality Denoising Dataset for Smartphone Cameras
作者：Abdelrahman Abdelhamed,Stephen Lin,Michael S. Brown
来源：CVPR2018
编译：博主
欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权
摘要
大家好，今天带来的文章是：SIDD：智能手机相机降噪数据集，该文章发表于CVPR2018。
过去十年中，摄影技术已经发生了翻天覆地的变化，从最开始的专业数码单镜反光相机(DSLR)，变成了更简单的智能手机上的傻瓜相机。由于光圈和传感器的大小，智能手机会比单反产生更多的噪声。为解决此问题，一些学者开始研究智能手机相机的降噪问题。不过针对该问题，业界内仍旧缺少具有高质量真值（噪声较少）的数据集。
为此，本文提出了一套系统的方法来从原始噪声影像估计无噪声的真值数据。基于此方法，本文提出了一套用于智能手机相机降噪研究的数据集SIDD(Smartphone Image Denoising Dataset)。SIDD使用5种具有代表性的手机拍摄了大概10个场景*30000张在不同光照条件下的带噪声的影像，还有对应的“无噪声”的真实影像。
本文在SIDD上测试了一些降噪算法，并得到了一些结论。同时，本文也发现利用SIDD数据集训练的基于CNN的降噪模型能够比用低ISO数据集训练的模型具有更好的降噪效果。
主要贡献
1）提出了一套用于建立智能手机相机降噪数据集的算法流程，并在次基础上建立了一个用于智能手机相机降噪算法的数据集SIDD，该数据集包含约30000张影像，为降噪算法的研究提供了基础；
2）分析和验证了本文数据集的可靠性，测试了一些目前常用的降噪算法在本文数据集山上的表现，同时发现使用SIDD训练的CNN降噪模型效果更好。
算法流程
图1：图一展示了SIDD建立的全过程。首先需要采集数据，然后去除错误像素和错误影像，接写来对影像进行对齐，最后生成“无噪声”的真实影像。
错误像素改正
错误像素会给真实数据的估计带来较大的影响，因此首先需要对错误像素进行改正。本文的思路是在同一个场景下拍摄500张影像，然后在起平均图片上分析错误像素，最后通过插值的方式对错误像素进行改正。
下图展示了本文错误像素改正的记过，图(d)是改正错误后的结果。
外点影像剔除
虽然影像的采集都是在控制外部环境的情况下拍摄的，然而由于场景亮度和相机曝光等等硬件因素的影响下，获取影像的亮度还是会有略微差异。因此本文计算采集影像的平均亮度来剔除掉亮度差异较大的影像，从而保证影像亮度的稳定性。
影像对齐
由于智能手机相机的光学稳像（OIS）功能不可禁止，因此拍摄的序列影像之间并不能完全对齐。本文通过使用基准点的方式来将这些影像进行对齐。下图中，（b)和(c)展示了Apple iPhone 7和Google Pixel的对齐平移量。
鲁邦平均图像估计
当图片一经对齐后，就需要通过平均的方式来获取平均图像。比较简单直接的思路是滤除掉过暗和过亮的像素，然后进行平均值的计算。本文在此基础上使用了一种更加鲁邦的均值计算思路，基于WLS算法进行了改进，从而得到了更优的效果。
下图展示了本文算法与DND算法的结果比较，可以发现本文算法在真实数据集上具有更低的噪声结果。
主要结果
为平均SIDD数据集的质量，本文做了两个实验。一个实验是利用本文数据集平均一些降噪算法的效果；一个是对比SIDD训练的CNN模型和低ISO数据训练的降噪模型。
算法性能评价
下图展示了一些算法在本文数据集上的表现情况，其中绿色、蓝色和红色分别代表排名第一、第二和第三的算法。算法性能的评价指标主要有 PSNR和SSIM，但是由于所有算法在SSIM上性能差异不大，本文主要使用PSNR作为评价指标。
模型性能比较
下图展示了利用本文数据训练的CNN模型在经过几次迭代后的去噪能力。不难发现，本文的算法在真实噪声数据集上取得了最优的效果。
结论
本文提出了一个专门针对智能手机降噪的数据集SIDD，给相关研究提供了基础数据，也必定会推动相关研究的进一步发展。