论文阅读：Self-Refining Deep Symmetry Enhanced Network for Rain Removal
努力提升自己才是最应该做的。
2019 ICIP：Self-Refining DSEN
这篇文章主要提出了一种自细化的深度对称增强网络，并且引入了一种旋转等变特征的概念(rotation equivariant features)，还挺有意思.
代码：SDSEN
现有的大部分方法都是基于卷积神经网络CNN进行构建的，但是CNN对物体旋转不具有等变性，导致这些方法不适合处理倾斜的雨纹。
本文提出的深度对称增强网络可以从雨图中提取出旋转等变特征，并且还设计了一种自细化的机制，由粗到细地去除积累的雨纹。
自细化机制通过复用该网络使用一个新的信息链接，使梯度流进入更高的阶段。
主要思想阐述：
1、旋转等变性：
由图片可知，提取的雨层预计会根据雨带的旋转而旋转。r为雨纹顺时针旋转90度，f为雨提取模型的映射。* 听起来像是废话。 *
由于雨纹总是以不同的角度倾斜，我们预计生成的雨层将跟随雨纹的旋转。这个属性称为旋转等变性。
然而，CNNs中传统的卷积运算不具有旋转等变性，这降低了CNNs学习对像倾斜雨条纹等旋转对象的表示能力。
因此，现有的基于CNN的方法，由于其性质，在处理倾斜雨条纹方面存在困难。
2、主要思想：
为了解决上述问题，本文基于旋转等变性增强了CNN，提出了一种深度对称增强网络（DSEN）。
1、首先，引入了一种特殊的卷积层，它在数学上具有旋转等变性。通过叠加这一特殊的卷积层，提取雨的对称性增强特征，对倾斜雨条纹的表征能力比常规特征更强。
2、然后，使用聚合模块在雨层解码前对对称增强的特征进行聚合，避免下采样时信息丢失。
3、最后，使用常规卷积对雨层进行解码完成图像恢复。
主要创新之处：
1、提出了一种基于旋转等变性特征的深度对称增强网络，可以显式地处理图像中倾斜的雨条纹。
2、提出了一种新的对称聚合块，在不丢失方向信息的情况下收集对称增强特征。
3、设计了一个多阶段的自细化机制。为了有效地利用前一阶段的信息，该框架在每两个相邻阶段之间设计了新的信息链接，以从粗到细的方式去除雨纹。
网络结构：
观察网络框架图可以得知，
黄色模块名为P4ConvZ2，包含一个带有四个旋转的滤波器。
蓝色模块名为P4ConvP4，包含四个带有四个旋转的滤波器。
第一阶段中，首先将含雨图像O输入到一个对称增强卷积模块，该模块包含一个P4ConvZ2和四个P4ConvP4，同时使用P4ConvP4将每部分结果传递给下一阶段。
然后输入到一个对称聚合模块，这里结合了SE模块和卷积层。
最后是一个解码模块，也就是1x1 conv层，得到提取出的雨层 R‘。
使用输入O减去R’，得到这一阶段的结果O‘。
将上一阶段的去雨结果传给下一阶段。
最后第二阶段使用的是最初的O减去第二阶段提取到的雨层R，不知道是错误还是什么，后面再看。
翻看了代码，作者想表达的意思就是使用最初的图像ori减去当前阶段的雨层。
具体实现：
为了处理任意大小的图像，该模型被设计为一个没有完全连接层和池化操作的全卷积网络。
1、对称卷积增强模块：
对于扩展神经网络的等变性方面，
Tiled CNNs将权重共享策略改为平铺模式，用于学习数据的旋转对称。
深度对称网络在任意的对称group上泛化CNN并计算特征。
Dieleman等人研究表明，通过旋转特征图，对称性增强的CNN能够学习旋转等变表示，并成功完成多种任务。
Cohen和Welling提出了一个基于group理论的旋转等变研究的数学框架，并设计了一个旋转等变卷积，称为G -卷积。
G-卷积不是旋转特征图，而是旋转滤波器来实现旋转等方差。
从group H到group I的G卷积基本定义为：
在这一模块，采用p4 G-卷积作为基本操作，在通过深层结构提取高级特征的同时保持旋转变换的等变性。
p4 G -卷积包括两种类型:在Z2上的p4 G-卷积(P4ConvZ2)和在p4上的p4 G-卷积(P4ConvP4)。
为了处理输入图像的平面信息，第一层必须是P4ConvZ2。
其余层，P4ConvP4被堆叠起来，以增加抽象高层特征的网络容量，深度可根据实际需要进行调整。
各P4ConvP4层均采用残差连接。
p4 G-卷积(G ^ p4),因为每个转换 i 可以分解成一个转换x和一个旋转 r 从相应的点组C4(90°，180°，270°，360°),和出于同样的原因,h 可以分解成一个转换 y 和旋转 s ,P4ConvP4可以写成
其中T^ x为平移x的算子，T^r为旋转r的算子，由于Z2组只包含平移变换(y)，所以P4ConvZ2为
并且，这些G卷积都包含10个常规通道和所有滤波器的核大小5x5.
2、对称聚合模块：
由对称性增强卷积块生成的对称性增强特征图(称为G-feature maps)对于每个常规通道都有4个方向通道(对应C4中的4个旋转)。
为了聚合旋转等变特征，方向池方法在每个常规通道内的方向通道上进行二进制分割任务。
然而，由于不同的方向通道从相应的方面对雨纹进行编码，而雨纹则是不同的没有严格的相互垂直，定向池方法会造成信息丢失。
为了解决这一问题，我们提出对G-feature map的所有方向通道进行5×5卷积。
此外，由于聚合特征图的通道对雨层的贡献不同，因此采用压缩提取SE块明确计算各通道的注意值。
3、解码模块：
这一模块采用1x1的卷积进行解码并生成三通道的RGB图像雨层R。
并使用输入图像O减去R得到恢复后的图像。
恢复后的图像由每像素欧几里得损失(L2损失)函数监督。
4、自细化机制：
为了解决雨水积累问题，并且简单地重复网络会导致梯度消失问题。对于周期性结构，需要改善深浅层间的梯度流。
本文设计了一种新的自细化机制，带有一种阶段间的跳跃连接，类似于密集连接和跳跃连接的组合。
在网络结构的第二阶段，通过中间的P4ConvP4卷积层提取第 I 阶段各P4ConvP4层的G-feature map，并对其进行处理，生成中间的G-feature map。在第二阶段，将中间的G-feature map与同一层的输入连接，然后送入下一层。与密集连接不同的是，节点只存在于相邻阶段之间，并按阶段共享权值，因此增加阶段数不会增加模型参数，提高了细化能力。