Deep Layer Aggregation

Deep Layer Aggregation

主要应用于CV，PR等等方面。

目前问题：这种任务中，通常既需要底层信息，又需要高层信息，以及分辨率的高低，etc。通常的做法时skip connection，但这种方法往往并不足够，怎样实现最合理的Aggregation，是作者主要讨论的问题，即fuse information across layers，可以iterative，也可以hierarchical，作者做到了state of the art。

当前工作的几个方向：deeper and wider，more closely connected。使用不同block来解决这些问题，如residual，bottleneck，gated等

作者认为，Aggregation, like depth and width, isa critical dimension of architecture..

提出两种架构：HDA和IDA。

目前的结构有很多，包括AlexNet, GoogLeNet, Resnet,Fractual Net，For the most part these architecturesderive from innovations in connectivity: skipping, gating, branching, andaggregating.

Fusion 有两类，Sematic（DenseNet） 和Feature（FeaturePyramid），在DLA中，对应HAD和IDA。

作者用了一个表达方式把所有当前网络结构都表示出来，如下

C是IDA，f是HDA

HDA详细如下

IDA详细如下

结果当然是很好了。。

个人感觉是一个网络结构的统一理论，把之前的各种网络结构都囊括进来了，还表明自己的比那些要好，而且确实获得了更好的结果，总之就很牛逼。