Bag of freebies

改变培训策略，或者只会增加培训成本的方法，对测试不影响。

数据扩充：

光度畸变：调整图像的亮度、对比度、色调、饱和度和噪声
几何畸变：加入随机缩放、剪切、翻转和反旋转

模拟对象遮挡：

random erase，CutOut：可以随机选择图像中的矩形区域，并填充一个随机的或互补的零值
hide-and-seek、grid mask：随机或均匀地选择图像中的多个矩形区域，并将其全部替换为0
feature map：
DropOut、DropConnect和DropBlock。

结合多幅图像进行数据扩充：
MixUp、CutMix
创造出了一种基于CutMix的Mosaic data augmentation

Style Transfer GAN

解决类别不平衡：

hard negative example mining (只适用两阶段)
online hard example mining (只适用两阶段)
focal loss

label smoothing
标签松弛

bbox：

IoU_loss
IoU_loss
DIoU_loss
IoU_loss

YOLOv4 - use：
CutMix and Mosaic data augmentation、DropBlock regularization、 Class label smoothing、CIoU-loss、CmBN、Self-Adversarial Training、 Eliminate grid sensitivity、Using multiple anchors for a single ground truth、Cosine annealing scheduler、Optimal hyperparameters 通过遗传算法找到最优参数、Random training shapes。

Bag of specials

只会增加少量推理成本但却能显著提高对象检测精度的plugin modules和post-processing methods

enhance receptive field：扩充接收域
SPP，ASPP，RFB

attention module:
1、Squeeze-and-Excitation (SE)：可以改善resnet50在分类任务上提高 1%精度，但是会增加GPU推理时间10%。SENet
2、Spatial Attention Module (SAM)：可以改善resnet50在分类任务上提高0.5%精度，并且不增加GPU推理时间。

feature integration：
早期使用skip connection、hyper-column。随着FPN等多尺度方法的流行，提出了许多融合不同特征金字塔的轻量级模型。SFAM、ASFF、BiFPN。 SFAM的主要思想是利用SE模块对多尺度拼接的特征图进行信道级配重权。 ASFF使用softmax作为点向水平重加权，然后添加不同尺度的特征映射。 BiFPN提出了多输入加权剩余连接来执行按比例加权的水平重加权，然后加入不同比例的特征映射。

activation function：
ReLU解决了tanh和sigmoid的梯度消失问题。
LReLU ， PReLU ， ReLU6 ，SELU， Swish ， hard-Swish ， Mish 其中Swish和Mish都是连续可微的函数。

post-processing method
nms：c·p
soft-nms：解决对象的遮挡问题
DIoU nms：将中心点分布信息添加到BBox筛选过程中

YOLOv4 - use：
Mish activation、CSP、MiWRC、SPP-block、SAM、PAN、DIoU-NMS