Deep Layer Aggregation笔记

论文链接
首先说明一点 ，深层的网路可以提取更多的语义信息和全局特征，但是这个不代表网络最后一层就是图像的最终代表，skip connections已经证明了这一点，所以聚合是网络结构很重要的一方面。
简介：图像识别要求跨越低维到高维的、尺寸从小到大、分辨率从细粒度到模糊的丰富的表达。在一个神经网络中，单独的一层的特征表达能力是远远不够的，这时候自然而然想到去聚合这些层表达有助于提升效果（what and where ）。但是如何去聚合这些层是个值得注意的问题，残差网络考虑到这个问题了，但是它的结合相对来说太浅了，只混合简单的 单步操作，作者这里提出来一种思想，增强了原有的结构，聚合了更多的层，混合了更多的信息，这样不但取得了最好的效果，而且参数还减少了。
顾名思义，作者这里就是深层网络层的聚合，下图基本上就说明了作者的做法，非常明了。

上图展示了不同的聚合方法。(a)组成block时没用聚合，这是默认的分类和回归网络。(b)将网络的某些部分与skip连接结合起来，通常用于像分割和检测这样的任务，但这样做只是浅浅的通过合并早期的部分在每个单一的步骤。我们提议两种深度聚合体系结构:（c）通过重新排序(b)的skip连接来迭代聚合，使最浅的部分是聚合更多以便于进一步的处理和(d)聚合分层通过树结构的块更好跨越不同深度的网络特征层次结构。(e)和(f)是(d)的细化加深了聚合通过中间路由返回网络和合并同一层次连续的聚合。我们的实验证明（c）和(f)在识别和分辨率方面的优势。
深层聚合将语义融合和空间融合结合在一起，以更好地捕获是什么和在哪里。我们的聚合体系结构包含并扩展了DesNet网络工作和特征金字塔网络与层次和迭代跳过连接，加深了表示和细化分辨率。
作者在本文中提出来用于深层聚合(DLA)的两种结构:迭代式深层聚合(IDA)和层次式深层聚合(HDA)。这些结构是通过架构框架表达的，独立于主干的选择，以与当前和未来的网络兼容。IDA专注于融合分辨率和比例尺度，而HDA则专注于融合所有模块和channel的特征。IDA遵循基本层次结构，逐级强化分辨率和聚合各个尺度,HDA则组装自己的树结构连接层次结构，这些树结构连接通过交叉和合并阶段来聚合不层次的表达。

深层聚合学会更好地从网络中提取全局的语义和空间信息。迭代连接连接相邻的阶段，以逐步深化和空间加强表达。层次化连接跨越不同的阶段，树跨越不同的层次，以更好地传播特征和梯度。
实验结果就Imagenet2012结果来说很强：