基于目标检测的毫米波雷达与视觉融合方法综述

文章目录[隐藏]

摘要
文章总览
- 正文
  - 传感器校准
  - 三个层次的多传感器融合方案

短期内的主要任务是数据的收集：本次主要是对前期阅读的一篇文章进行梳理，前段时间主要是进行了数据集的调研与改造规划。
文章名称：
MmWave Radar and Vision Fusion based Object Detection for Autonomous Driving: A Survey
文章地址：
https://arxiv.org/abs/2108.03004

摘要

如今的自动驾驶需要满足应多种复杂场景，因此准确的目标检测方法对于汽车的安全驾驶具有关键意义，而毫米波雷达（以下统称为雷达）与视觉融合的方法成为主流，作者的这篇文章详述了当今毫米波雷达与相机融合的不同技术路线的融合方法。
文章第一介绍对于当今用于自动驾驶的数据集，目标检测的评价标准以及主要任务。随后在三个层次：数据，决策，特征层次对融合方法进行了详细的描述，尤其是近些年来兴起的基于特征层面的目标检测融合方法。

任务描述

在目标检测领域，在2D与3D空间的检测方式是不一样的，其中在2D空间中，需要对目标进行2Dbounding-box的绘制，此时对于图像的参数也较为简单，就是box所在的位置，种类信息。在3D领域，额外需要对物体的position进行描述，同时其bounding-box也变成一个长方体，所含的信息更加复杂。

评价标准

评价标准，无非就是常用的AP、AR等等，同时PR曲线也可以很好的反映检测的性能。

数据集

图片描述

fig1.数据集比较

文章总览

在这里插入图片描述

fig2.文章架构
其中，第一部分进行了传感器的比较，第二部分介绍传感器校准，第三部分介绍传感器融合

方案比较

fig3.自动驾驶中的技术方案比较

这是自己做的图，搜集了一些资料，对比当前多种方案的优劣性，纯视觉方案之前被马斯克所提出，但是我看到过一篇文章，当前人眼无论是从分辨率，注意力机制还有其他方面，都远胜过相机，纯视觉方案此处被pass，文章使用了安全性最高的相机＋雷达方案。

正文

传感器校准

在这里插入图片描述

fig4.传感器校准技术路线

首先，数据经过多传感器的采集，经过内参、外参的校正（也就是求各自传感器的内外参），但是，此时的数据还不能够进行融合，因为相机和雷达的坐标点的对应关系还没求出，因此需要进行一部叫做联合校准的步骤，求出两个传感器的坐标转换矩阵，使得两者的坐标点可以直接对应。
下一步，通过雷达点云滤波滤除一些杂波，然后进行误差的校正（对于决策层融合来说，会进行决策层的校正）。
经过以上环节，所获得的数据较为可靠，可输入至下一步进行融合。