【3D 目标检测】M3DETR

本文可以借鉴的另一篇博客:

【3D 目标检测】PVRCNN详解(个人阅读心得并总结其他人的结论得出的文章)_JY.Wang_China的博客-CSDN博客

M3DETR:Multi representation, Multi scale, Mutual relation 3D Object Detection with Transformers 

一 核心思路

本文的主要思想在于将point-feature、voxel-feature、bird-eye view通过一系列的transformer得到RoI-Align需要用到的refine特征。是anchor-based的方法。

transformer利用multi-head attention来减少不同语义信息之间的的语义差距。本文中作者将自己的transformer方法称为M3 transformer,也就是有三个transformer,multi-representation、multi-scale、multi-relation transformer。结构草图如下所示:

二 核心步骤

整体框架如下图所示:

我们的目标是在一个joint embedding space上与transformer进行multi-representation、multi-scale、multi-relation的融合。主要包含如下三大步骤:

1、使用VoxelNet、PointNet和2D ConvNet为生成相同点云的不同embedding特征。

2、 使用M3transformer融合这些embedding features,利用multi-representation、multi-scale feature embedding和models mutual relationships之间的相互关系。

3、使用detection heads network进行3D detection,包括RPN和R-CNN stage。

2.1 Multi-Representation Feature Embeddings

原始输入点云,首先将它们编码成三个不同的embedding space,即voxel,point和bird’s-eye-view features。

1、Points

通常,在整个点云场景中有超过10K个original points。为了在不消耗大量内存的情况下,有效地覆盖整个点集,采用了最远点采样(FPS)算法采样n个keypoints,记为。采用PointNet++和PV-RCNN的Set Abstraction和Voxel Set Abstraction模块,在原始点云P中获取的point features,在VoxelNet中得到的特征获取的voxel特征

2、voxel

这里是使用简单的VoxelNet实现的,如上图中间的VoxelNet流程,最终通过下采样得到voxel features

3、Bird’s-eye-view

原文中说是采用VoxelNet的最后一层特征作为输入,得到BEV的features,,然后使用bi-binary interpolation方法,得到的BEV特征(这个地方在上图的下部分看着像是用每一层的voxel feature分别进行BEV得到point的BEV特征,具体做法还要参考代码。)

 2.2 Multi-representation, Multi-scale and Mutual-relation Transformer

这个步骤的大体思路如上图所示,就是将 作为输入,输入到Transformer中得到输出特征其目的是为了在第二阶段的RoI pooling时,将这一步得到的点的特征作为精细化处理的特征。具体做法如下图所示:

 M3 transformer主要由两大部分组成,Multi-scale and Multi-representation Transformer和Multi-relation Transformer。

 1、Multi-scale and Multi-representation Transformer

 

 2、Multi-relation Transformer

 

 2.3 Detection Heads Network

 这里也就是RPN与R-CNN操作,RPN操作很常规,先选择出一些合适的proposal,之后将这些proposal输入到R-CNN网络中进行更精细化的处理。

 在R-CNN阶段,借鉴了PVRCNN的第二阶段的RoI grid pooling方法,如上图所示,使用M3 transformer得到的n个点的point features作为精细化处理的特征。

  总结 

本文使用到transformer的方法,在PVRCNN的基础上进行改进,创新点是对transformer进行稍微的改进,效果还可以。

参考文献

[1] Guan T ,  Wang J ,  Lan S , et al. M3DeTR: Multi-representation, Multi-scale, Mutual-relation 3D Object Detection with Transformers.  2021.

版权声明:本文为CSDN博主「J.Wang_China」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_36380978/article/details/121384723

J.Wang_China

我还没有学会写个人说明!

暂无评论

发表评论

相关推荐