简介
主要从技术变更历史、发展路线、数据集、数据融合的方式、当前知名的实验室以及大牛,其中的侧重点等方面介绍。当作是文献阅读的一种记录。有不足之处还请指出。
目前主流的分类方法是根据输入数据是否经过处理来作为判断依据的。其中主要有两大类:point-based
和voxel-based
两大类。前者保留了点云的全部信息,预测准确度相对较高,但是计算量较大,后者损失了部分点云位置信息,准确度相对较低,计算量较小,但是目前这两者的界限也在慢慢模糊。也有根据2D目标检测划分标准,分为two-stage
和one-stage
。还有更为详尽的划分。本文也会提到。
随着自动驾驶逐渐落地,3D目标检测受到了科研和工程的双重重视。目前自动驾驶技术哪家强,当然是google的waymo
,他们的技术团队成员绝大部分来自于斯坦福,拥有很强的技术积累。当然之前uber
将旗下的ATG部门卖给了Aurora
,ATG老大是多伦多大学的ATG的Header。也是业内的大佬。从MIT走出的一家初创公司NuTonomy也挺强。毕竟有MIT做背书。现在苹果也来入局,开始和google强人才了。国内的话,百度无疑走到最前列。但是大佬都在香港。比如港中文的Hongsheng Li
,他与商汤有着技术深度合作,还有就是jiaya Jia
,之前出任腾讯的优图实验室的主任,后来离职又回归学校,也是在这个方向上的大牛。阿里相对入局晚点,达摩院有个自动驾驶实验室,而且还在2020年孵化出了小蛮驴,解决配送终端的无人配送问题。而且已经在去年双十一发挥了不小的作用,有兴趣的可以去浙大学校瞅瞅。
分类
这是截止到2020.4月份的文章脉络。后续会更新最新的文章。
我按照文章的分类(two-stage
和single-shot
)方法,之后再详细解释每个类别的含义。在Region Proposal-based
中,Multi-view Methods
是指输入有多种角度,如BEV、front-view(camera view)等。Segmentation-based Methods
是基于分割的方法,这里就会用到PointNet
和PointNet++
。Frustum-based Methods
则是先利用2D目标检测提取平头锥状的目标检测区域,之后再进行训练。这个方法无法做到实时性,目前不太看好这个方向。在Other Methods
中的R-CNN系列是基于R-CNN进行的改进和迁移。
在single-shot
中,BEV-based
的方法有着先天的局限性。由于丢失了部分3D空间信息,准确率也不是很高。Discretization-based
相对来说类似于voxel
,只是处理方式略有不同,如PointPollars
,就是将原始点云处理为Pillars
,便于2D卷积,同时还能进行3D预测。Point-based
则是直接利用点云,如3DSSD
和阿里的SA-SSD
都是这类方法。在Other
中,OHS-Dense
和OHS-Direct
在输入上引入了hotspot
。PointGNN
则是引入了GNN
结构。
Region Proposal-based Methods
Multi-view based Methods
MV3D
从BEV映射中一组高度精确地3D候选框,并将它们映射到多个视角的特征图中(如LiDAR的前视图,RGB图)。然后结合不同视角的每个区域的特征来预测原始的3D边界框。精度比较高,但是前向推理时间较长。
两个方面的改进:
- 高效融合不同模态信息
- 提取输入数据的鲁棒表示
AVOD
将高分辨率特征提取器和多模态融合RPN结构耦合,对小目标有较高召回率的3D proposal。同时整个推理时间和内存减少。
RT3D
ContFuse
SCANet
MMF
Segmentation-based Methods
IPOD
PointRGCN
PointRCNN
PointPainting
STD
Frustum-based Methods
F-PointNets
Point-SENet
PointFusion
RoarNet
F-ConvNet
Patch Refinement
Other Method
Fast Point R-CNN
PV-RCNN
Voxel R-CNN
VoteNet
Part-A^2Net
ImVoteNet
Single Shot Methods
BEV-based
PIXOR
HDNET
Discretization-based Methods
VeloFCN
3D FCN
Vote3Deep
3DBN
VoxelNet
SECOND
MVX-Net
PointPillar
SA-SSD
CIA-SSD
Point-based Methods
3DSSD
Other Methods
LaserNet
LaserNet++
OHS-Dense
Point-GNN
文献参考:
Deep Learning for 3D Point Clouds: A Survey—TPAMI2020
版权声明:本文为CSDN博主「xinxiang7」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/xinxiang7/article/details/113656895
暂无评论