读论文:Unprocessing Images for Learned Raw Denoising

1 先讲讲文章干啥的

    深度学习降噪需要成对的图像(噪点数据、对应的清晰数据)。

    通常 raw 数据经过 isp 流程(我前面的博客介绍过什么是 isp:图像 ISP 处理流程以及新人学习图像的注意点)后得到的 rgb 数据的噪点比较复杂,而原本的 raw 数据的噪点相对容易模拟。作者假设整体噪声可以更准确地建模为包含高斯和泊松信号相关分量或者从一个方差是强度函数的异方差高斯分布中采样

    所以,作者自己在清晰的 raw 上面和成有噪声的 raw,然后用神经网络降噪。

2 然后看看处理流程思路

    懂了作者要干啥,再看整个处理流程,就一目了然了,也不需要过多解释,网络用 UNet 的架构。

读论文:Unprocessing Images for Learned Raw Denoising

3 最后我个人总结总结

    文章其他细节都不需要看。

    其实用深度学习在 raw 上面降噪的话,为何不直接用有噪点的 raw 和原 raw 来计算 loss?后面加个 isp 流程,无非便于直观比较结果嘛。那根据 raw 计算 loss 后再加个 isp 流程得到 rgb 不照样可以比较结果?

    经过 isp 流程后的噪点其实会变得更加多样化,有点数据增强的意思。我没有看过作者其他的论文,也不知道他研究哪个领域。但凡一个 isp 相关的图像算法从业者,都知道 isp 的流程里面会包含 raw 域的降噪。全文看似是对 raw 降噪,我觉得本质还是对 rgb 降噪。