基于检测任务的小样本增量学习 Few-shot Object Detection via Feature Reweighting. ICCV 2019论文详解

新加坡国立大学发表在ICCV 2019上。解决小样本目标检测问题。目前目标检测的增量都与小样本学习相结合,可能因为小样本的目标检测虽然性能较差,但是提升较大,因此容易产生一些贡献点和达到SOTA。

解决方案也是按照类似于,分类任务的方法,先将模型分为特征提取阶段和功能阶段,然后在功能阶段进行改进,从而使得特征提取阶段可以共用或者复用。

论文地址:[1812.01866] Few-shot Object Detection via Feature Reweighting (arxiv.org)

目录

1.概览

2.模型结构及训练方式

3.实验


 

1.概览

增量学习时容易有一些新增类别的样本量过少,本文用了两个方面解决这个问题。一个是meta feature learner,另一个是reweighting module。

特征提取模块运用原始任务易得的数据的特征提升增量任务的性能。

reweighting module根据样本平衡不同meta feature之间的重要程度。

few-shot的增量学习问题:

小量样本是Novel classes,大量样本是Base classes,本文希望通过Few-shot Detector提升inc数据集上的性能。

 

2.模型结构及训练方式

模型包含三个模块:

  • 特征提取模块feature learner: D
  • reweighting module: M
  • prediction layer: P

本文采用的模型框架是YOLOv2,图片I经过特征提取网络D获得特征图F=D(I),reweighting module M运用元学习的方法,通过一张support image,Ii和该图片的边界框构成的掩码图Mask获得该类的向量(生成卷积核)wi=M(Ii,Maski),此时该卷积核就可以与特征图F,进行1*1的卷积操作,得到加权后的特征图Fi,计算过程如下

注意,前一个手写体M是reweighting module,后面一个印刷体M表示图片的mask,也是ground truth,用于计算loss时使用的,两个不是同一个M。

prediction layer: P根据该特征图生成最终的预测:

目前为止,本篇文献采用的方法与ONCE(CVPR 2020)的方法一模一样,但是这篇文献在2019年已经出现了,先于ONCE(CVPR 2020)中的方法。ONCE中将元学习生成卷积核的网络称为class code generator,本篇中称为reweighting module。

最终的loss设计如下:

即图片经过D提取特征,与M生成的卷积核卷积,最后与真实标注Mjq的检测loss。

3.实验

本文与其他方法相比,均取得了不错的效果。

本文与直接的fine-tune对比,新增类的性能提升也非常大。

 

 

 

 

版权声明:本文为CSDN博主「祥瑞Coding」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/weixin_36474809/article/details/116891816

祥瑞Coding

我还没有学会写个人说明!

暂无评论

发表评论

相关推荐

Day 14 - 安装与执行 YOLO

Day 14 - 安装与执行 YOLO 在 介绍影像辨识的处理流程 - Day 10 有提到 YOLO 模型是由 Joseph Redmon 所提出,而到了 YOLOV4 后才换成另外一群人继续发展,

Cross Stage Partial Network(CSPNet)

Cross Stage Partial Network(CSPNet) 一. 论文简介 降低计算量,同时保持或提升精度 主要做的贡献如下(可能之前有人已提出): 提出一种思想,特征融合方式(降低计算量的