mmdetection、yolo系列等目标检测任务的学习率调度器

学习率(Learning rate，简称lr)作为目标检测这类监督学习中最重要的超参，其决定着分类函数或边界框回归函数能否收敛到局部最小值以及何时收敛到最小值。正确的学习率可使目标函数在合适的时间内收敛到局部最优。同时，学习率可以在训练的过程中动态改变，这个动态的改变过程就叫做学习率调度器。

首先，我们以YOLOX的学习率调整策略为例进行分析：该策略是带有Warmup(热身)的余弦调度策略。同时为了配合数据增强。在最后15个epoch里采用固定的最小学习率。

训练预热 - Warmup

•  训练初始阶段，模型的权重weights是随机初始化的，其对数据分布的理解为0。如果此时采用预设的学习率，将会带来模型的不稳定，甚至过拟合，后期需要要通过多轮训练才能拉回来。当训练了一段时间后，模型会很快地进行数据分布修正，对当前的数据有了一些正确的先验，就可以适当调大学习率加速训练。
• Warmup预测即在刚开始训练的几个epo

版权声明：本文为CSDN博主「@会飞的毛毛虫」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_42308217/article/details/122590567