20200807-计算机视觉&GAN--论文推荐
1.Li D , Yao A , Chen Q . PSConv: Squeezing Feature Pyramid into One Compact Poly-Scale Convolutional Layer[J]. 2020.
主要内容：尽管卷积神经网络（CNN）具有强大的建模能力，但是通常对尺度敏感，因此本文主要提出了PSConv（多尺度卷积）。为了增强CNN尺度变化的鲁棒性，来自不同层或filters的多尺度特征融合在现有解决方案中引起了极大的关注，而更细粒度的kernel空间却被忽略了。我们通过更精细地利用多尺度特征来弥合这种"遗憾"。PSConv混合了一系列的dilation rates（膨胀率），并在每个卷积层的单个卷积内核中巧妙地将它们分配给单个卷积层。具体地说，dilation rate沿着filter的输入和输出通道的轴周期性地变化，以整齐的样式在大范围的刻度上聚集特征。 PSConv可以替代许多流行的CNN骨干中的vanilla卷积，从而在不引入其他参数和计算复杂性的情况下实现更好的表征学习。实验在ImageNet和MS COCO基准上进行的全面实验验证了PSConv的出色性能。
主要贡献：1）开发了多尺度卷积，从而扩展了传统的单尺度卷积运算的范围。多尺度卷积通过在核格内循环地安排一个膨胀率谱来有效地、高效地聚合多尺度特征。2）我们通过核工程而不是网络工程的视角来研究多尺度网络设计，这样在适应现有CNN架构的同时，避免了调整网络结构或层配置的必要性，同时又获得了具有竞争力的性能。
核心算法：
- PSConv操作示意图。F表示输入feature map, G表示集合中的Cout卷积滤波器，在集合G的滤波器中，膨胀率相同的卷积核以相同的颜色渲染。
- 核格（kernel lattice）在不同卷积运算中膨胀空间的比较。标准卷积的核(有或没有膨胀)显示在最左边，其中每个核位于晶格的一个单元中。在高效网络设计中广泛使用的群卷积(群数g = 4)也可以作为参考。右侧的多尺度卷积(循环区间t = 4)和多尺度群卷积(组数g = 2，循环区间t = 4)与前两者有显著差异。
2.Ma X , Guo J , Tang S , et al. DCANet: Learning Connected Attentions for Convolutional Neural Networks[J]. 2020.
主要内容：尽管自注意力机制已在许多视觉任务中显示出不错的性能，但它一次只考虑当前的特征。我们表明，这种方式不能充分利用注意力机制。 在本文中，我们介绍了深度连接的注意力网络（DCANet），这是一种新颖的设计，可以在不对内部结构进行任何修改的情况下增强CNN模型中的注意力模块。 为了实现这一点，我们将相邻的注意力blocks互连，从而使信息在attention blocks之间流动。 使用DCANet，可以对CNN模型中的所有注意力模块进行联合训练，从而提高了注意力学习的能力。我们的DCANet是通用的。它不限于特定的注意力模块或基础网络体系结构。 在ImageNet和MS COCO基准测试上的实验结果表明，DCANet在所有测试用例中以最小的额外计算开销始终胜过最新的注意力模块。
网络结构：
1）DCANet网络结构。顶部和中间线:我们通过使用Grad-CAM来可视化中间特性的**。Vanilla SE-ResNet50在不同的阶段会有很大的变化。相比之下，我们的DCA渐进且递归地调整焦点增强了SE-ResNet50，并密切集中注意力在目标对象。底线:SE注意值对应的直方图。很明显SE的值集中在0.5左右，差别很小。使用DCANet后，分布变得相对均匀。
2）深度连接注意力网络（Deep Connected Attention Network）概述。我们将前一个注意块中变换模块的输出与当前注意块中提取模块的输出连接起来。在有多个注意维度的情况下，我们沿着每个维度连接注意。这里我们展示了一个有两个注意维度的例子。它可以是一个、两个、甚至更多的注意力维度。
3)我们通过特征提取、变换和融合三部分对注意力块进行建模。从左到右: SE 块， GEθ块，GC块和SK块。“⊕”表示element-wise summation，“⊗”代表element-wise multiplication,和“.”代表矩阵乘法。