大迁移BiT
论文:Big Transfer (BiT):General Visual Representation Learning
Github:https://tfhub.dev/google/collections/bit/1
论文以ResNet-50作为基础主干网络结构,分别以3个不同的数据集进行训练得到3种family的模型结构。
BiT-S:在 ImageNet-1k (ILSRCV-2012-CLS)训练完成
BiT-M:在ImageNet-21k (Full ImageNet, Fall 2011 release)训练完成
BiT-L:在JFT-300M训练完成
在每一个family里面分别包含ResNet-50x1, ResNet-50x3, ResNet-101x1, ResNet-101x3, ResNet-152x4 共4种网络结构。
主要改进:
- scale,不同scale容量的模型,使用不同大小的数据集进行训练。大模型使用大的数据集,小模型使用小的数据集。充分考虑了training time, architecture size, dataset size 三者之间的关系。
- 使用Group Normalization (GN) + Weight Standardization (WS) 替换Batch Normalization (BN) 。主要因为BN受batchsize大小的影响较大,BN中权重的跟新对于迁移学习不友好。实验证明,GN+WS的设计对于迁移学习有很大的影响。
- 采用BiT-HyperRule 的训练策略。具体包括设置,training schedule length, resolution, whether to use MixUp regularization 等3个方面。
并且实验证明,测试阶段,略微提高测试分辨率是有精度提升的。
Therefore, it is common to scale up the resolution by a small factor at test time
MixUp 对于训练BiT效果不大,但是对于其他模型的迁移学习是会有效果的。
We found that MixUp [67] is not useful for pre-training BiT, likely due to the abundance of data. However, it is sometimes useful for transfer. Interestingly, it is most useful for mid-sized datasets, and not for few-shot transfer
实验结果:
分类任务:
BiT-L在各项任务上都取得了最好的结果。
检测任务: