关于自动驾驶中毫米波雷达传感器的一些知识（涉及多传感器融合）

引用：http://blog.****.net/leonardohaig/article/details/88724365

毫米波雷达

毫米波，是工作在毫米波波段（millimeter wave），工作频率在30～100GHz，波长在1～10mm之间的电磁波，通过向障碍物发射电磁波并接收回波来精确探测目标的方向和距离，其全天候全天时以及准确的测速测距深受开发者的喜爱；

激光雷达也是一个在自动驾驶领域非常重要的传感器了，Lidar利用激光来进行对目标进行探测，通过每分钟600转或1200转的进行扫射，它能非常详细的获得一个实时的三维点云数据，包括目标的三维坐标、距离、方位角、反射激光的强度、激光编码、时间等等，常用的有单线、4线、16线、32线、64线、128线束的，是一个高精度的传感器，而且其稳定性好、鲁棒性高，然而，它的成本却让众多厂商在落地的路上望而却步，另外，激光受大气及气象影响大，大气衰减和恶劣天气使作用距离降低，大气湍流会降低激光雷达的测量精度，激光束窄的情况难以搜索目标和捕获目标。一般先有其他设备实施大空域、快速粗捕目标，然后交由激光雷达对目标进行精密跟踪测量。

ADAS思路之一（视觉+毫米波雷达）

实现ADAS的技术主要有三类，分别是基于视觉传感器、毫米波雷达和激光雷达。
由于成本限制因素，国内主要使用前两种方式。
视觉传感器和毫米波雷达实现对ADAS功能的原理不同：
1.毫米波雷达主要是通过对目标物发送电磁波并接收回波来获得目标物体的距离、速度和角度。
2.视觉方案稍复杂，以单目视觉方案为例，它需要先进行目标识别，然后根据目标在图像中的像素大小来估算目标的距离（先做标定得到世界坐标系与像素坐标系的矩阵转换关系方程式，再进行测距）。

这两类技术各有优劣；
总体来讲，
**1.**摄像头方案成本低，可以识别不同的物体，在物体高度与宽度测量精度（毫米波雷达高度信息无法获知，宽度也不准确）、车道线识别、行人识别准确度等方面有优势，是实现车道偏离预警、交通标志识别等功能不可缺少的传感器，但作用距离和测距精度不如毫米波雷达，并且容易受光照、天气等因素的影响。
2.毫米波雷达受光照和天气因素影响较小，测距精度高，但难以识别车道线、交通标志等元素。另外，毫米波雷达通过多普勒偏移的原理能够实现更高精度的目标速度探测。

于是就有了第三种方案，将摄像头和雷达进行融合，相互配合共同构成汽车的感知系统，取长补短，实现更稳定可靠的ADAS功能。

毫米波和视觉融合思路

引用博客中作者采用的主要方案是利用毫米波雷达来辅助视觉。

以下融合方式在论文**《基于视觉和毫米波雷达融合的前方车辆检测算法研究》_秦汉以及 论文《非结构化环境下无人驾驶车辆跟驰方法》_张海鸣加粗样式** 均有使用；可以进一步参考

基本的思路是： 将毫米波雷达返回的目标点投影到图像上，围绕该点并结合先验知识，生成一个矩形的感兴趣区域，然后我们只对该区域内进行目标检测。它的优点是可以迅速地排除大量不会有目标的区域，极大地提高识别速度。而且对于前碰撞系统（FCWS），它可以迅速排除掉雷达探测到的非车辆目标，增强结果的可靠性，最后，可以利用毫米波返回的目标的距离、角度、速度信息来进行碰撞时间（collision time）计算，以达到预警功能，实现行人/车辆在预警时间阈值内预警，避免单目视觉距离测量及障碍物速度估计不准的问题。
当然，这个方案也有很明显的缺点：

1）首先，这个方法实现起来有难度。**理想情况下雷达点出现在车辆中间。首先因为雷达提供的目标横向距离不准确，再加上摄像头标定的误差，导致雷达的投影点对车的偏离可能比较严重。**我们只能把感兴趣区域设置的比较大。感兴趣区域过大后导致里面含有不止一辆车，这个时候目标就会被重复探测，这会造成目标匹配上的混乱。交通拥挤的时候尤其容易出来这种情况。在实际测试中这个问题非常明显；

2）噪声问题。对于性能比较差的毫米波，返回的目标点中包含了大量的噪声点，将这些点投影到图像上将会存在大量的矩形框，反而造成了程序的耗时；

3）另一方面是这种方法本质上只是对雷达目标的一种验证，无法充分发挥视觉的作用。雷达和摄像头的视野其实并不完全重合，导致毫米波检测到的目标在图像上并没有出现，或者图像上存在的目标毫米波反而检测不到。
（十分重要，注意体会，该种融合方式实际上成了毫米波雷达为主，视觉为辅的一种策略，在传感器重要程度上毫米波更重要，只要毫米波没检测到的障碍物一概进行忽略，没有充分发挥各自优势）

传感器标定（这一块资料比较多，建议有条件的同学直接用硬件进行测试，这样理解更加深入透彻）

建立精确的毫米波雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系和像素坐标系之间的坐标转换关系，是实现毫米波和视觉融合的关键。
毫米波雷达与视觉传感器在空间的融合就是将不同传感器坐标系的测量值转换到同一个坐标系中。
由于ADAS前向视觉系统以视觉为主，因此只需将毫米雷达坐标系下的测量点通过坐标系转换到摄像机对应的像素坐标系下即可实现两者空间同步。
此处首先讲解两传感器之间的标定问题：将毫米波检测的目标转换到图像上。

对于毫米波雷达和摄像头考虑如下安装位置，分别建立坐标系：

我们的目的是将毫米波的坐标转换到图像的对应位置上去；
在相机位置处建立三维世界坐标系，在点的转换过程中可以分为以下几个步骤：

a) 毫米波坐标系下的坐标转换到以相机为中心的世界坐标系中（只涉及到坐标的旋转、位移关系）；
b）将世界坐标系的坐标转换到相机坐标系；
c) 将相机坐标系的坐标转换到图像坐标系；
d) 将图像坐标系的坐标转换到像素坐标系；

毫米波雷达坐标到世界坐标系的转换

毫米波可以得到目标的x,y坐标信息，没有目标的z坐标信息（注意只有二维！！！），因此，可以将毫米波坐标系Om转到世界坐标系Ow的转换看做二维X-Y坐标系的转换，Om和Ow之间的关系不外乎平移和旋转。


安装毫米波雷达时，尽量保持角度取整，端正，不宜歪曲，带来倾角，使得转换矩阵变得复杂；

此处由于毫米波雷达缺乏目标的高度信息，进行了先验知识的假设（需要说明的是，这种直接假设一个高度值的方法过于简单粗暴，转换后的代表点在高度低于1.8m的障碍物中偏高，而在代表点高度高于1.8m的障碍物中偏低，需要进一步调整框的大小，）

可能的一种改进方式：无需知道