《Progressive Training of Multi-level Wavelet Residual Networks for Image Denoising》

---

摘要

       近年来，目睹了深度卷积神经网络（CNN）在图像去噪方面的巨大成功。尽管更深的网络和更大的模型容量通常会提高性能，但是训练非常深的图像去噪网络仍然是一个具有挑战性的实际问题。 以多级小波-CNN（MWCNN）为例，我们从经验上发现，通过增加小波分解级别或增加每个级别内的卷积层，都无法显着提高去噪性能。 为了解决这个问题，本文提出了一种多级小波残差网络（MWRN）架构以及一种渐进训练（PTMWRN）方案来提高图像去噪性能。 与MWCNN相比，我们的MWRN在每个级别的离散小波变换（DWT）之后和逆离散小波变换（IDWT）之前引入了几个残差块。 为了减轻训练难度，通过要求中间输出逼近地面真实图像的相应小波子带，将比例特定的损失应用于MWRN的每个级别。为了确保特定比例尺损失的有效性，我们还将噪声图像的小波子带作为编码器每个比例尺度的输入。 此外，采用渐进式训练方案以更好地学习MWRN，方法是从训练最低级别的MWRN开始，然后逐步训练较高的级别，以为去噪结果带来更多细节。 在合成噪声和现实噪声图像上进行的实验表明，我们的PT-MWRN在定量指标和视觉质量方面均优于最新的降噪方法。
关键词-图像去噪，卷积神经网络，小波变换，真实世界的嘈杂摄影。

1.介绍

       在许多实际应用中，图像降噪是图像处理和低级视觉中一项基本而活跃的任务。 一方面，已经开发出许多方法[1]，[2]，[3]，[4]来处理合成噪声，例如具有已知噪声方差σ2的加性高斯白噪声（AWGN）。 随着深度学习的到来，卷积神经网络（CNN）[5]，[6]，[7]已显示出对图像降噪的巨大希望，并显着提高了降噪性能。 另一方面，与合成噪声相比，真实世界的图像噪声通常要复杂得多。 近年来，通过建模复杂的真实噪声[8]，[9]，获取噪声和几乎无噪声的图像对[10]，[ 11]，或以无监督或自监督的方式学习降噪模型[12]，[13]，[14]。
尽管已经取得了显着的进步，但是训练高性能的深度去噪网络仍然是一个具有挑战性的问题。 一种提高去噪性能的直接解决方案是扩大深层网络容量。 但是，仅增加网络深度和宽度并不能总能改善性能。 例如，表1通过增加小波分解级别，每个级别的卷积层和网络宽度，列出了多级waveletCNN（MWCNN）[7]的几种变体的结果。
       与原始MWCNN [7]相比，具有更多分解级别和更多卷积层的MWCNN变体的定量增益非常有限，即，当σ= 25时，BSD68 [15]上的PSNR最多为0.03 dB。 另一方面，通过将网络宽度增加到其1.5倍，可以在BSD68上获得0.04 dB的增益，但是进一步增加网络宽度只能带来0.01 dB的增益。 因此，训练具有高模型容量的深度去噪网络仍然是一个具有挑战性的问题，并且无法通过增加网络深度和宽度来显着改善去噪性能。
        在本文中，我们通过在网络架构，损失函数和训练方案方面改进了MWCNN，从而开发了更深入有效的网络，即多级小波残差网络（MWRN）。 在MWCNN [7]中，在每个级别的小波变换（DWT）之后和逆离散小波变换（IDWT）之前，部署了四个卷积层。然而，简单地堆叠更多的卷积层会遭受性能下降的问题[16]。 即，随着网络深度的增加，甚至训练误差也可能停止减小或开始增大。 根据[16]，我们用几个残差块（即本工作中的四个）替换MWCNN的每个级别（即比例）中的最后三个卷积层，从而形成了我们的MWRN体系结构。
       但是，引入残差块并不能完全解决训练难度问题。 在[17]中，Lee等人。 结果表明，在隐藏层上部署中间监督对于提高模型的透明度和减轻训练难度是有效的。 考虑到MWRN的多尺度特征，自然而然地限制MWRN各个级别的中间输出，以逼近地面真实图像的相应小波子带。 因此，我们建议将特定于规模的损失部署到MWRN的每个级别。 尽管如此，我们凭经验发现，当我们仅将嘈杂的图像作为MWRN第一层的输入时，缩放比损失对降噪性能有中等程度的好处。 作为一种补救措施，对于编码器中的每个小波分解级别，我们也将带噪图像的小波子带作为输入，并应用额外的卷积层将其与较高比例的特征图组合。
       我们进一步提出了一种有效学习MWRN的渐进式训练计划，从而形成了PT-MWRN方法。由于将噪声图像作为每个分解级别的输入，因此可以预先训练较低级别的MWRN而无需较高级别的训练。 因此，我们首先训练最低尺度的MWRN，然后再训练较高尺度的MWRN，以为去噪结果带来更多细节。 渐进式训练从浅层网络的预训练开始。 然后，可以通过使用预先训练的参数初始化较低的尺度来逐步训练MWRN的较高尺度。 因此，渐进训练也有利于减轻更深的去噪网络的训练。 随着MWRN的引入，特定比例的损失和渐进式训练，PT-MWRN可以显着提高MWCNN的去噪性能。 从表I可以看出，在Set12 / BSD68 / Urban100数据集上，分别去除σ= 25的AWGN时，PTMWRN相对于MWCNN实现了0.17 / 0.10 / 0.34 dB的PSNR增益。

       进行了广泛的实验，以评估我们的PT-MWRN的灰度和彩色图像降噪效果。 消融研究表明，残差块，特定比例的损失和渐进训练均可用于减轻MWRN的训练，并有效改善降噪性能。 对于高斯降噪，PT-MWRN优于最新的降噪方法，例如BM3D [4]，TNRD [18]，DnCNN [5]，IRCNN [19]，RED [6]，MemNet [ 20]，用于灰度图像的N3Net [21]，NLRN [22]和MWCNN [7]，以及CBM3D [4]，IRCNN [19]，CDnCNN [5]，FFDNet [23]，DHDN [24]和CMWCNN [7] ]用于彩色图像。 当有成对的真实噪声图像时，可以轻松扩展PT-MWRN以处理真实噪声图像。 达姆施塔特噪声数据集（DND）[10]和智能手机图像降噪数据集（SIDD）[11]的结果表明，我们的PT-MWRN在现实的嘈杂照片上达到了最新的降噪性能。 通常，本文的主要贡献可归纳如下：
       •提出了更深的多级小波残差网络（MWRN），以实现有效的图像降噪。 与MWCNN相比，在编码器和解码器的每个级别中都引入了残差块，并且在编码器中，每个分解级别将带噪图像的小波子带作为输入。
        •进一步引入了针对特定比例的损失和渐进式训练，以简化MWRN的训练并改善降噪性能，从而形成了PT-MWRN。
        •定量和定性结果清楚地表明，我们的PT-MWRN在针对灰度和彩色图像的高斯去噪以及处理真实世界的噪点照片方面均优于最新方法。
        本文的其余部分安排如下。 第二部分简要概述了用于处理AWGN和实际噪声的深度降噪模型的进展。 第三部分介绍了网络体系结构，特定规模的损失和渐进式训练方案。 第四部分报告了同时具有AWGN和真实杂波噪声的图像的实验结果。 最后，第五节以几个结论结束了这项工作。

2.相关工作

        在本节中，我们简要介绍了用于消除AWGN和真实世界图像噪声的深度降噪网络的开发。

A.基于学习的高斯降噪

        作为基本的图像处理任务，数十年来一直对图像降噪进行了持续而深入的研究。许多传统方法，例如总变异（TV）[1]，双边滤波[2]，稀疏表示[3]，专家领域（FoE）[25]和非局部自相似（NSS）[4]，[ 26]，已经提出。 其中，BM3D [4]和WNNM [26]是两种具有代表性的基于NSS的方法，具有不错的去噪性能。 通过以区分性的方式学习图像先验模型参数以及紧凑展开的推理，模型指导的区分性学习也已引入到图像去噪中[27]，[18]，[28]。 例如，Schmidt等[27]通过将半二次分裂（HQS）优化与FoE模型相结合，提出了一个级联的收缩场（CSF）模型。 此外，Chen等[18]提出了一种可训练的非线性反应扩散（TNRD）方法来学习截断梯度下降的推论。 Lefkimmiatis [28]在学习基于近端梯度的推理之前，先结合了基于NSS的图像。
        深度去噪网络不是在图像先验和展开式推理上进行判别式学习，而是旨在学习从嘈杂图像到所需清晰图像的直接映射。 得益于深度学习的飞速发展，与传统方法和模型指导的判别学习相比，卷积神经网络（CNN）取得了非常有竞争力的表现[5]，[6]。 特别是，张等 [5]分析了模型指导的判别学习与深度CNN之间的联系，并将残差学习[16]与批处理归一化（BN）[29]结合在一起，构成了一个去噪卷积网络（DnCNN）。 而毛等文献[6]提出了一种具有对称跳过连接（即RED）的深层全卷积编解码网络。
        在深度CNN的发展推动下，越来越多的网络体系结构（例如，U-Net [30]，ResNet [16]和DenseNet [31]）和模块已被引入深度去噪网络的设计中，并不断进行改进。 高斯去噪性能。 在[32]中，结合了密集的连接层和局部残差学习以形成残差密集块（RDB），以建立残差密集网络（RDN）。 通过结合残差和残差结构上的残差，Anwar和Barnes [33]提出了一个真实的图像去噪网络（RIDNet）。 继非局部神经网络[34]之后，非局部模块也被引入到深度降噪网络中。 特别是，NLRN [22]结合了具有递归网络的非本地模块，而N3Net [21]则通过神经最近邻居块放松了k最近邻居（KNN）选择。
        还进行了一些近期研究，将小波变换[35]与CNN结合使用以提高去噪性能。 Bae等 [36]提出了一种小波残差网络来预测小波域中的干净图像。 刘等[7]提出了一种多级小波CNN（MWCNN），其中分别部署DWT和IDWT来代替编码器中的下采样和解码器中的上卷积。此外，小波变换还被用于构建深层CNN，用于其他低级视觉任务，例如单图像超分辨率[37]，[38]，[39]。 尽管已经实现了最先进的去噪性能，但是训练更深的基于小波的去噪网络（例如MWCNN）仍然是一个具有挑战性的问题。 因此，我们提出了一个更深层次的多级小波残差网络（MWRN），并结合了比例特定的损失和渐进式训练来简化模型训练。 此外，尽管我们建议使用PT-MWRN来改善MWCNN，但比例损失和渐进式训练的想法也可能有益于训练其他多尺度CNN在低视觉条件下。

B. 用于现实世界中嘈杂照片的深层网络

        对于现实世界中嘈杂的照片，噪声模型比AWGN更复杂，并且噪声模型的参数未知。 因此，用于高斯盲降噪的深层网络通常在现实世界的噪点图像上效果较差[10]。 一种可行的解决方案是开发逼真的噪声模型，然后将其用于从干净的图像中合成噪声图像并训练深度降噪器。 郭等文献[8]通过考虑异方差高斯噪声和原始像素的机内信号处理（ISP）提出了一种现实的噪声模型，并开发了卷积盲降噪网络（CBDNet）。 布鲁克斯等 文献[9]还采用信号依赖的异方差高斯模型对原始图像噪声进行建模，并建议首先将sRGB图像进行未经处理的原始测量，然后将去噪后的原始图像转换为sRGB空间。 Wei等[40]通过考虑从光子到电子，从电子到电压以及从电压到数字的成像流水线，为CMOS传感器提供了准确的原始图像噪声模型。 除了显式的噪声建模，还引入了基于学习的模型来对现实噪声和ISP程序进行建模[41]，[42]。
        此外，已经开发了几种方法来获取给定现实世界中嘈杂照片的几乎无噪声的图像。 特别是，Plotz和Roth [10]对低ISO图像进行对齐和后处理，以获得几乎无噪声的图像，而[11]，[43]通过对齐和平均多个噪点图像实现了这一目标。 基于成对的合成噪点清洁图像和成对的真实噪点和几乎无噪声的图像，可以训练深度降噪网络[8]，[44]，[33]处理真实世界的噪点照片。 路径恢复[45]采用了多路径CNN和路径查找器来动态选择适当的路径。 在NTIRE 2019实时图像去噪挑战中[46]，GRDN [47]，DHDN [24]和DIDN [48]赢得了sRGB轨道的前三名。 GRDN [47]合并了分组的残差密集块（GRDB）和卷积块注意模块（CBAM）[49]，而DHDN [24]和DIDN [48]基于改进的U-Net [30]体系结构。与上述方法相比，使用SIDD训练集和合成图像训练的PT-MWRN在DND和SIDD基准上可以获得非常有竞争力的降噪结果。

3.提出的方法

        在本节中，我们提出了一种多级小波残差网络（MWRN）和一种用于改善降噪性能的渐进训练方案。 首先，我们简要讨论更深层的MWCNN的训练难度问题。 然后通过引入残差块并将输入层添加到MWCNN的每个比例来提供MWRN。 此外，建议进行比例特定的损失和渐进式训练以减轻MWRN的训练，从而是我们的PT-MWRN。

A.更深的MWCNN的训练难度

        小波变换[35]提供了一种具有有吸引力的时频定位特性的有效信号分解，而小波逆变换则可以为小波子带准确地重建原始信号。 由于这些特性，MWCNN采用U-Net架构，并利用DWT和IDWT分别代替编码器中的下采样操作和解码器中的上卷操作。 由于小波变换具有吸引力的时频定位，MWCNN获得了最先进的去噪性能，并有效地恢复了精细的图像细节和结构。图1（a）显示了MWCNN的网络结构。 通常，它涉及D DWT和D IDWT操作。 在每个DWT之后和每个IDWT操作之前，将部署C卷积层。 具体来说，在图1（a）中，对于默认的MWCNN，卷积层的数量为C = 4，标度的数量为D = 3，并且每层中的通道数也显示在图中。
        为了进一步提高去噪性能，一种直接的解决方案是扩大MWCNN的模型容量，例如，增加C和D值或信道数量。用MWCNN（D，C，ρ）表示具有卷积层数C，标度数D的MWCNN的实现。此外，MWCNN（D，C，ρ）的通道数是MWCNN（D，C，ρ）的通道数的ρ倍。 图1（a）中的默认MWCNN。从表I中可以看出，D和C值的增加对降低性能增益几乎没有好处。 通过将ρ从1增加到1.5可以在BSD68上获得0.04 dB的增益，而将ρ进一步增加到2仅带来0:01 dB的增益。 结果表明，训练更深/更广泛的MWCNN仍然是一个具有挑战性的问题。 训练困难的一种可能原因是梯度消失/爆炸。 在下文中，我们将从网络架构，丢失功能和训练策略等方面缓解此问题。

B.MWRN的网络结构

        在本小节中，我们通过引入残差块并向MWCNN添加更多输入层来描述多级小波残差网络（MWRN）的结构。 图1（b）说明了MWRN的网络架构。 对于MWCNN（D，C，ρ）的每个比例，我们用C个残差块替换编码器中的最后C -1个卷积层和解码器中的第一个C-1个卷积层。 以默认的MWCNN（3，4，1）为例，MWCNN的网络深度为24个卷积层，而MWRN的网络深度为58层。 如[16]中所述，残差块的部署有助于训练中的梯度反向传播，并且在缓解梯度消失的同时有效地改善了收敛性。 因此，尽管MWRN比MWCNN更深，但是由于引入了残差块，MWRN可能更易于训练。

C. Scale-specific Loss

MWCNN中的“ 2-范数重构损失”也被用来训练我们的MWRN，其中x^是MWRN的去噪结果，x是地面真实图像。

D.渐进式训练

        多尺度体系结构和特定于尺度的损失也使逐步训练MWRN成为可能。 特别是，我们首先训练最低级别的MWRN，然后逐步训练最高级别的MWRN，从而得到PT-MWRN。 对于最低规模的MWRN，我们只需要训练一个带有8个残差的19层CNN

        在灰度，彩色和真实噪声图像上进行了实验，以评估提出的PT-MWRN。 在本节中，我们首先描述实验中使用的训练和测试集，并提供PT-MWRN的实现细节。 然后，我们将PT-MWRN与最新的去噪方法分别进行灰度，彩色和实际图像去噪的比较。 所有源代码和经过预训练的模型都可以在https://github.com/happycaoyue/PT-MWRN上公开获得。

4.实验

A. 实验设置

        在本小节中，我们介绍实验中使用的训练和测试集，并描述训练PT-MWRN模型的实现细节。 根据[7]，我们使用相同的训练集，该训练集是通过使用来自三个数据集（即伯克利分割数据集（BSD）[15]，DIV2K [51]和滑铁卢勘探数据库（WED）[52]）的图像构建的，用于图像降噪。 具体来说，我们从BSD收集了200张图像，从DIV2K收集了800张图像，还有4张； WED的744张图像，构成了我们的训练集。
        训练集中的灰度和彩色图像分别用于训练灰度和彩色图像去噪模型。 为了评估灰度图像降噪模型，我们采用了三个测试数据集，包括Set12 [5]，BSD68 [15]和Urban100 [53]。 对于彩色高斯噪声图像去噪，我们还使用了三个数据集，即CBSD68 [15]，Kodak24 [54]和McMaster [55]。 应当注意，所有这些数据集已被广泛用于评估高斯去噪方法，并且所有测试图像均未包含在训练集中。
        我们随机裁剪训练图像中的24×6000个补丁，大小为240×240。 为了以已知的噪声水平训练PT-MWRN进行高斯降噪，我们考虑三个噪声水平σ= 15、25和50。我们使用ADAM [56]优化器，其中β1= 0.9，β2= 0.999和= 1e -8以最小化损耗函数。 至于ADAM的其他超参数，则采用默认设置。 通常，PT-MWRN的训练涉及三个阶段，每个阶段最多采用40个epoch。 学习率设置为表II，我们在训练过程中采用了小批量24。 在训练期间使用基于旋转或/和翻转的数据增强。

        我们使用MatConvNet软件包[57]训练和测试我们的网络。 所有实验都是在Windows 10和Matlab（R2017b）环境中进行的，该环境在装有Xeon E3-1230 v5 CPU，Nvidia GeForce GTX 1080 Ti GPU和32 GB RAM的PC上运行。 Nvidia CUDA 8.0和cuDNN-v5.1用于加速GPU计算。 训练PT-MWRN模型大约需要两天。

B.消融实验

        对灰度图像进行了消融研究，以评估我们的PT-MWRN。 通常，我们的PT-MWRN从四个方面改进了MWCNN：（i）用残差块（RB）替换卷积层，（ii）将噪声图像的小波子带馈入编码器的每个尺度（即比例特定的输入， SI），（iii）合并特定于比例的损失（即SL）和（iv）逐步训练（PT）。 为了说明这些组件的效果，我们实现了PT-WMRN的七个变体，即MWRN（2RB），MWRN（4RB），MWRN（6RB），MWRN（SI），MWRN（SL），MWRN（SI + SL） ，以及完整的PTMWRN。 表III中提供了每种变体的构型，在消融研究中，我们还将MWCNN作为基线方法。

        以σ= 25的AWGN为例，表III列出了三个灰度图像数据集（即Set12，BSD68和Urban100）上PT-MWRN变体的PSNR和SSIM结果。 与MWCNN相比，MWRN（4RB）通过BSD68上的PSNR实现了0.04 dB的增益，并且进一步增加残留块的数量对性能改善的贡献很小。 因此，在默认的PT-MWRN中采用了四个残差块。 此外，标度特定的输入和标度特定的损失即MWRN（SI + SL）的结合可以带来相对于MWRN（4RB）的另一0.04 dB增益。 相比之下，MWRN（SI）和MWRN（SL）的改进要小得多，即只有0.01 dB，这清楚地表明音阶特定的输入和音阶特定的损耗是相辅相成的，可以组合使用以提高降噪性能。 最后，渐进式训练可以针对MWRN（SI + SL）带来另外0.03 dB的增益。 总而言之，受益于残差块，特定于比例的损耗和渐进训练，我们的PT-MWRN在Set12，BSD68和Urban100数据集上针对MWCNN的PSNR增益分别为0.17、0.10和0.34 dB（针对高斯去噪的MWCNN）。

C.灰度实验

        对于灰度图像的高斯去噪，我们将PT-MWRN与九种竞争性去噪方法进行了比较，即BM3D [4]，TNRD [18]，DnCNN [5]，IRCNN [19]，RED [6]，MemNet [20] ，N3Net [21]，NLRN [22]和MWCNN [7]。表IV列出了Set12 [5]，BSD68 [15]和Urban100 [53]上不同方法的平均PSNR（dB）/ SSIM结果。 可以看出，对于所有噪声水平和数据集，我们的PT-MWRN在所有竞争方法方面均表现出色。 我们还注意到，就BSD68的PSNR而言，我们的PT-MWRN超过了MWCNN 0.1 dB，而Set12的PT-MWRN则超过了约0.2 dB，这表明合并深度MWRN体系结构，特定于规模的损耗和渐进式训练的有效性。

        进一步提供了去噪结果的视觉比较。图3和4分别显示了Set12 [5]（σ= 25）和BSD68 [15]（σ= 50）的两个灰度图像的去噪结果。 可以看出，BM3D [4]，TNRD [18]，DnCNN [5]，IRCNN [19]，RED [6]，MemNet [20]， N3Net [21]。 MWCNN [7]和NLRN [22]在保留细节方面有效。 与竞争对手的方法相比，我们的PT-MWRN在恢复图像细节和结构方面更出色，并且可以获得视觉上更令人满意的结果。

D.彩色实验

        除了灰度图像降噪，我们还训练了彩色高斯图像降噪模型。 MWCNN [7]仅在原始论文中针对灰度图像进行训练，在这里，我们对MWCNN进行彩色图像降噪（CMWCNN）进行重新训练。 对于彩色图像降噪，我们将PT-MWRN与五种竞争方法进行比较，即CBM3D [4]，IRCNN [19]，CDnCNN [5]，FFDNet [23]，DHDN [24]和CMWCNN [7]。 表V列出了CBSD68，Kodak24和McMaster数据集上不同方法的平均PSNR（dB）/ SSIM结果。 在PSNR和SSIM方面，我们的PT-MWRN在三个数据集上均优于竞争方法。 在Kodak24数据集上，对于任何噪声水平的AWGN，我们的PT-MWRN的PSNR值均比第二好的方法（即CMWCNN [7]）高0.34dB以上。 定量结果进一步证明了我们的PT-MWRN在彩色图像去噪方面的有效性。图5和图6分别示出了通过不同方法的两个图像的去噪结果。 而且我们的PT-MWRN可以产生更精细的细节的清晰图像。

E.运行时间

        我们测试了PT-MWRN的运行时间以及灰度图像去噪方面的竞争方法。 表VI给出了不同图像尺寸的运行时间。 特别是，PT-MWRN比RED [6]和MemNet [20]快得多，但效率却不如TNRD [18]，DnCNN [5]和MWCNN [7]。 考虑到PSNR / SSIM相对于竞争方法的增益，我们的PT-MWRN可被视为降噪性能与计算效率之间的适当折衷

F. Blind Denoising of Real-world Noisy Photographs

        当使用一对真实的噪点和干净的图像进行训练时，我们的PT-MWRN也可以用于真实照片的去噪。 为此，我们将SIDD中等数据集[11]和[8]中采用的合成现实噪点图像结合在一起作为训练数据。 具体来说，我们在CBDNet中使用噪声水平估计子网[8]，并采用PT-MWRN作为降噪子网，然后使用训练集对它们进行联合训练。 DND [10]和SIDD [11]基准用于在真实的嘈杂照片上测试我们的PT-MWRN。

        DND: DND基准测试[10]包含50张现实世界中的嘈杂照片，并且没有为微调降噪网络提供任何其他训练数据。 使用PSNR和SSIM作为性能指标，我们将PT-MWRN与现有竞争算法进行了比较，包括传统算法BM3D [4]，KSVD [58]，MCWNNM [59]，TWSC [60]和深降噪器CDnCNNB [5]， TNRD [18]，FFDNet [23]，CBDNet [8]，RIDNet [33]，PRIDNet [61]，VDN [44]，CycleISP [42]，路径恢复[45]和AINDNet [62]。 表VII列出了竞争方法的去噪性能。 由于未发布干净的真实图像，因此列出的所有结果均来自官方基准网站1。 CDnCNN-B [5]和FFDNet [23]使用合成的AWGN进行训练，因此在处理现实世界中的嘈杂照片方面表现不佳。 在PSNR方面，我们的PT-MWRN优于所有其他方法，包括传统和深度去噪器。 路径还原[45]，AINDNet [62]和我们的PT-MWRN的SSIM值具有可比性，并且高于其他方法。

        图7显示了来自DND基准测试[10]的图像的去噪结果。 CDnCNN-B过度适合于AWGN去除，并且对于实际的噪点图像执行受限。对于BM3D [4]和TNRD [18]，仍然可以观察到明显的颜色伪影。 对于其他竞争方法，也无法避免小规模细节和纹理的过度平滑。 相比之下，我们的PT-MWRN在忠实地保留颜色和精细比例细节方面更为有效。

       SIDD:SIDD基准[10]包含320对用于训练的噪点和干净图像，并提供1,280张大小为256×256的噪点图像进行测试。 类似于DND，测试噪声图像的纯净真实图像无法公开获得。 我们将PT-MWRN与最新的竞争算法进行比较，这些算法包括传统方法BM3D [4]，KSVD [58]和深降噪器CDnCNN-B [5]，TNRD [18] CBDNet [8]，AINDNet [ 62]，VDN [44]，CycleISP [42]，DIDN [48]，DHDN [24]和GRDN [47]。 值得注意的是，DIDN [48]，DHDN [24]和GRDN [47]是2019年NTIRE实像去噪（RID）挑战的前三名获奖者解决方案。

       表VIII列出了竞争方法的PSNR / SSIM结果。 特别是第四栏给出了2019年NTIRE RID挑战赛上DIDN [48]，DHDN [24]和GRDN [47]的报告结果。 第五栏提供了SIDD官方基准网站2中给出的降噪性能。 2019年NTIRE RID挑战赛的测试图像与SIDD官方基准网站上的图像相同，但是评估采用了不同的数据精度，即分别为单精度（float）和整数（uint8）。因此，第四列和第五列中的结果差别不大。 GRDN [47]，DHDN [24]和DIDN [48]的结果基于作者个人网站中提供的代码和预先训练的模型。 从表VIII中可以看出，与前3名优胜者解决方案相比，我们的PT-MWRN竞争非常激烈，并且其性能要比其他竞争方法好得多。

       最后，表IX更详细地比较了我们的PT-MWRN与DDN和SIDD上的DIDN [48]，DHDN [24]和GRDN [47]。 DHDN [24]和DIDN [48]应用了自集成方法[63]来提高去噪性能，从而使它们在计算上变得繁重。 为了说明这一点，我们还在表IX的第二列中给出了256×256图像上GPU的运行时间（以毫秒为单位）。 除了SIDD数据集[10]，GRDN [47]还应用GAN作为噪声模拟器来生成其他合成训练图像。 总体而言，我们的PT-MWRN计算效率最高，在DND上实现了最高的PSNR，在SIDD上实现了第三高的PSNR，使其在处理现实世界中的嘈杂照片方面极具竞争力。

5.总结

       在本文中，我们提出了一个深层次的多级小波残差网络（MWRN）以及用于有效图像去噪的渐进式训练方案。 特别是，结合了MWRN，特定于比例的损失和渐进式训练，使减轻训练更深的去噪网络的难度变得可行。 为了确保标度特定损失的有效性，噪声图像的小波子带也被馈送到编码器的每个标度中。 实验表明，我们的PT-MWRN在灰度和彩色图像上的高斯去噪方面均优于最新方法，并且可以轻松扩展以处理现实世界中的噪点照片，具有极强的去噪性能。 尽管我们建议使用PT-MWRN来改善MWCNN的图像去噪，但它也可能有益于其他多尺度CNN架构的训练和其他图像恢复任务，这将在以后的工作中进一步研究。