mmdetecion-学习率调整-线性缩放原则
分类:
文章
•
2024-01-01 16:18:34
在使用mmdetetion平台时，我们会碰到很多配置文件，其中会涉及到学习率的配置。如下图所示：
这是MMdet中1x训练策略的optimizer配置，其中学习率等于0.02，但其实这个学习率是需要微调的，并不能直接使用。
直接使用最直接的后果就是可能会出现loss=nan或者inf的情况，因为这个学习率是8GPU*2img/GPU的情况下所设定的。
如何进行微调，这就要用到线性缩放原则，线性缩放原则来源于facebook的论文《Accurate, Large Minibatch SGD:Training ImageNet in 1 Hour》，原文链接为：https://arxiv.org/abs/1706.02677
自己的学习率怎么算呢，例如这里MMdet使用8GPU+2img/GPU,你使用1GPU+2img/GPU，那么计算公式为：
你=1GPU*2img/GPU=2
MMdet=8GPU*2img/GPU=16
MMdet_lr=0.02
你的lr=你/MMdet*MMdet_lr=0.0025
这就得到学习率了
