YOLO V4 ——tricks
主要是看了Bubbliiiing的视频,感觉和我年龄相仿,但是水平真的差了好多,以后的竞争对手如果都是这样的大神,真怕找不到工作啊。
我是从V4的几个trick来学习
https://www.cnblogs.com/pprp/p/12771430.html
Mosaic数据增强
增强方式很简单,就是将四张图片拼成一张图片。
优点:
改进SAM
以前的空间注意力都是用一个maxpooling和averapooling拼接在一起的得到的,这里使用的是直接用卷积得到的。
不知道为何这样做,好处是什么~
改进PAN
原来的PAN是不同层相加特征相加,这里改成了乘。
同样不知道为啥~
Label Smoothing
标签平滑,就是经过one-hot原来是正样本应该是1负样本应该是0,现在让正样本变得小一点,负样本大一点。
优点:
1)无法保证模型的泛化能力,容易造成过拟合。
2) 全概率和0概率鼓励所属类别和其他类别之间的差距尽可能加大,而由梯度有界可知,这种情况很难适应。会造成模型过于相信预测的类别。
余弦退火学习率
在传统的学习率的设定是,随着迭代次数的增大,所以模型逐渐找到局部最优点。这个过程中,因为一开始的学习率较大,模型不会踏入陡峭的局部最优点,而是快速往平坦的局部最优点移动。随着学习率逐渐减小,模型最终收敛到一个比较好的最优点。
余弦退火学习率模型会迅速踏入局部最优点(不管是否陡峭),并保存局部最优点的模型。保存模型后,学习率重新恢复到一个较大值,逃离当前的局部最优点,并寻找新的最优点。因为不同局部最优点的模型则存到较大的多样性,所以集合之后效果会更好。
CIOU
之前写过
MISH**函数
这是NIKE公司提出的?
网上介绍优点有很多,我能看到的可能就是可以解决RELU的神经元死亡的问题吧。
DropBlock
传统的dropout丢弃一些神经元后,模型可能还会从它丢弃神经元的周围学到信息,所以dropclock就是一片一片的丢弃。