mmdetection、yolo系列等目标检测任务的学习率调度器

文章目录[隐藏]

学习率(Learning rate,简称lr)作为目标检测这类监督学习中重要的超参,其决定着分类函数或边界框回归函数能否收敛到局部最小值以及何时收敛到最小值。正确的学习率可使目标函数在合适的时间内收敛到局部最优。同时,学习率可以在训练的过程中动态改变,这个动态的改变过程就叫做学习率调度器

首先,我们以YOLOX的学习率调整策略为例进行分析:该策略是带有Warmup(热身)的余弦调度策略。同时为了配合数据增强。在最后15个epoch里采用固定的最小学习率


训练预热 - Warmup

  •  训练初始阶段,模型的权重weights是随机初始化的,其对数据分布的理解为0。如果此时采用预设的学习率,将会带来模型的不稳定,甚至过拟合,后期需要要通过多轮训练才能拉回来当训练了一段时间后,模型会很快地进行数据分布修正,对当前的数据有了一些正确的先验,就可以适当调大学习率加速训练。
  • Warmup预测即在刚开始训练的几个epo

版权声明:本文为CSDN博主「@会飞的毛毛虫」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_42308217/article/details/122590567

我还没有学会写个人说明!

暂无评论

发表评论

相关推荐

目标检测之正负样本详解

概述 对于目标检测算法而言,正负样本的分配,采样策略以及正负样本的数量和比例的设置等,对算法的精度有着显著的影响,了解其机制和原理便于我们加深对算法的了解和后续对算法的优化改进&#xff

使用 YOLO v5 进行目标检测

使用样本数据集检测对象的步骤 一般来说,分类技术在自动驾驶汽车中没有多大帮助,因为它只预测图像中的一个对象,并且不给出该图像的位置。 而目标检测在自动驾驶汽车中非常重要,可以检测场景中的