EfficientDet论文笔记

论文链接
提出一种在不同资源平台都有良好适应性的单阶段模型，同时精度又高
创新点1：BI-FPNFPN针对已经被广泛使用：PANet，NAS-FPN的改进，这些融合FPN都只是简单地上采样后将特征想加，没有考虑不同分辨率特征贡献程度的差异，BIFPN引入了可学习权重去学习不同输入特征的重要性。
创新点2：之前的网络主要关注在更大的backbone或者更大的输入图片来提升精确度，本文发现提升特征网络和box/classification预测网络的尺度也很重要，提出了一种复合缩放法
目前无官方代码，个人代码链接（keras）（pytorch）

BIFPN

对于传统FPN来说

缺点是受限于单向的信息流，只是从语义信息强的高层向下流动，为解决这个问题PANet加了一个额外的从下向上流动的过程。相比NAS和FPN PANet效果最好，但参数多是一个缺点。为了解决这个问题 ，论文移除了那些只有一个输入的节点比如P3后面的一个节点以及P7后面一个节点
intuition:
if a node has only one input edge with no feature fusion, then it will have less contribution to feature network that aims at fusing different features.
得到简化PANET

更进一步：增加了额外的边链接原始输入到输出节点，如果他们在同一层，会得到更多的信息
最后一步 不像PANet只有一次的topdown和bottomup 本文会将这个结构重复多次来进行更多的高层特征融合

加权特征融合

普通的特征融合方法往往是将不同分辨率的特征resize之后相加没有区分度。为了解决这个问题，增加了一个额外的权重对每个输入在特征融合的时候并且让网络去学习每个特征的重要性。
这里有三种加权fusion的方法

unbounded fusion

wi可以是一个scalar，一个向量，或者一个多维张量
单个尺度效果最好，但是由于该值没有边界，可能会导致训练不稳定，需要额外加weight normalization

softmax-based fusion

对每个权重进行softmax 变成概率定义，缺点是会变的非常慢（有指数运算）

Fast normalized fusion

wi用relu确保大于等于0

注意：这里为了进一步提高效率，使用了depthwise separable conv并且在每个卷积之后都加了normalization和activation

EfficientDet

Compound Scaling

用一个简单的复合系数 联合的去scale up 所有的backbone，neck，head以及输入图片的尺度。由于检测头需要的图片尺寸大不能用分类用的网格搜索的思路，而需要用基于启发式的尺度缩放方法
主要思想来源：
Efficientnet: Rethinking model scaling for convolutional neural networks. ICML, 2019.

可以用到的方法：BIFPN和加权输入特征的结构，对FPN进行修改