浅谈车载毫米波雷达和摄像头视频融合的联合标定

实现AEB的技术主要有三类，分别是基于视觉传感器+毫米波雷达或者是视觉+激光雷达。由于成本限制因素，国内主要使用毫米波雷达+视觉的解决方案。视觉传感器和毫米波雷达实现对车辆的AEB功能的原理不同：毫米波雷达主要是通过对目标物发送电磁波并接收回波来获得目标物体的距离、速度和角度。视觉方案稍复杂，以单目视觉方案为例，它需要先进行目标识别，然后根据目标在图像中的像素大小来估算目标的距离。

这两类技术各有优劣。总体来讲，摄像头方案成本低，可以识别不同的物体，在物体高度与宽度测量精度、车道线识别、行人识别准确度等方面有优势，是实现车道偏离预警、交通标志识别等功能不可缺少的传感器，但作用距离和测距精度不如毫米波雷达，并且容易受光照、天气等因素的影响。毫米波雷达受光照和天气因素影响较小，测距精度高，但难以识别车道线、交通标志等元素。另外，毫米波雷达通过多普勒偏移的原理能够实现更高精度的目标速度探测。

简单介绍下自动驾驶常用的传感器：
1.视觉类摄像机（包括单目、双目立体视觉）（目前商用车市场占有率较高的是是恒润Mobileye 的摄像头、安智摄像头）
2.雷达类测距传感器（毫米波雷达、超声波雷达等）（目前市场占有率较高的是continental的408和410雷达，安智、森思泰克、木牛科技、行艺道的77G雷达也有所发展）

其中，单目相机主要用于特征类符号的检测与识别，如车道线检测、交通标志识别、交通灯识别、行人和车辆检测等，尽管目前来说视觉检测可靠性并不是很高，但是基于机器学习/深度学习的视觉计算在自动驾驶普及之日一定会是必不可少的部分；双目视觉应用于室外场景目前尚不多见，毕竟双目的同步和标定是个大问题，双目匹配也是一个耗时的问题，在我做的双目视觉车道线检测中，双目立体匹配耗时和车道线检测耗时基本相当，没有GPU等硬件加速其耗时将影响程序的实时性；
毫米波雷达可能是当前较受欢迎的传感器了，毫米波，是工作在毫米波波段（millimeter wave），工作频率在30～100GHz，波长在1～10mm之间的电磁波，通过向障碍物发射电磁波并接收回波来精确探测目标的方向和距离，其全天候全天时以及准确的测速测距深受开发者的喜爱；当然，激光雷达也是一个在自动驾驶领域非常重要的传感器了，Lidar利用激光来进行对目标进行探测，通过每分钟600转或1200转的进行扫射，它能非常详细的获得一个实时的三维点云数据，包括目标的三维坐标、距离、方位角、反射激光的强度、激光编码、时间等等，常用的有单线、4线、16线、32线、64线、128线束的，是一个高精度的传感器，而且其稳定性好、鲁棒性高，然而，它的成本却让众多厂商在落地的路上望而却步，另外，激光受大气及气象影响大，大气衰减和恶劣天气使作用距离降低，大气湍流会降低激光雷达的测量精度，激光束窄的情况难以搜索目标和捕获目标。一般先有其他设备实施大空域、快速粗捕目标，然后交由激光雷达对目标进行精密跟踪测量。

毫米波和视觉融合思路
我在项目中主要方案是利用毫米波雷达来辅助视觉。
基本的思路是将毫米波雷达返回的目标点投影到图像上，围绕该点并结合先验知识，生成一个矩形的感兴趣区域，然后我们只对该区域内进行目标检测。它的优点是可以迅速地排除大量不会有目标的区域，极大地提高识别速度。而且对于前碰撞系统（FCWS），它可以迅速排除掉雷达探测到的非车辆目标，增强结果的可靠性，最后，可以利用毫米波返回的目标的距离、角度、速度信息来进行碰撞时间（collision time）计算，以达到预警功能，实现行人/车辆在预警时间阈值内预警，避免单目视觉距离测量及障碍物速度估计不准的问题。
当然，这个方案也有很明显的缺点：
1）首先，这个方法实现起来有难度。理想情况下雷达点出现在车辆中间。首先因为雷达提供的目标横向距离不准确，再加上摄像头标定的误差，导致雷达的投影点对车的偏离可能比较严重。我们只能把感兴趣区域设置的比较大。感兴趣区域过大后导致里面含有不止一辆车，这个时候目标就会被重复探测，这会造成目标匹配上的混乱。交通拥挤的时候尤其容易出来这种情况。在实际测试中这个问题非常明显；
2）噪声问题。对于性能比较差的毫米波，返回的目标点中包含了大量的噪声点，将这些点投影到图像上将会存在大量的矩形框，反而造成了程序的耗时；
3）另一方面是这种方法本质上只是对雷达目标的一种验证，无法充分发挥视觉的作用。雷达和摄像头的视野其实并不完全重合，导致毫米波检测到的目标在图像上并没有出现，或者图像上存在的目标毫米波反而检测不到。

整体标定思路分析
建立精确的毫米波雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系和像素坐标系之间的坐标转换关系，是实现毫米波和视觉融合的关键。毫米波雷达与视觉传感器在空间的融合就是将不同传感器坐标系的测量值转换到同一个坐标系中。由于ADAS前向视觉系统以视觉为主，因此只需将毫米雷达坐标系下的测量点通过坐标系转换到摄像机对应的像素坐标系下即可实现两者空间同步。此处首先讲解两传感器之间的标定问题：将毫米波检测的目标转换到图像上。

对于毫米波雷达和摄像头考虑如下安装位置，分别建立坐标系：

我们的目的是将毫米波的坐标转换到图像的对应位置上去。在相机位置处建立三维世界坐标系，在点的转换过程中可以分为以下几个步骤：

a)毫米波坐标系下的坐标转换到以相机为中心的世界坐标系中
b）将世界坐标系的坐标转换到相机坐标系
c)将相机坐标系的坐标转换到图像坐标系
下面对上面步骤予以讲解。
毫米波坐标到世界坐标的转换
毫米波可以得到目标的x,y坐标信息，没有目标的z坐标信息，因此，可以将毫米波坐标系Om到世界坐标系Ow的转换看做二维X-Y坐标系的转换，Om和Ow之间的关系不外乎平移和旋转。
由于编写代码是为了项目所用，因此其中的坐标转换部分不能公开啦。
但是思路在上面中已经列出，可以按照这个思路，很方便用代码实现这个过程。提供一个捷径，世界坐标系到像素坐标系的转换也可以参考这篇论文:http://www.vision.caltech.edu/malaa/publications/aly08realtime.pdf 。里面的实现是我所参考的。
最终，程序运行后界面显示如下：
通过拖动滑动条，当界面上矩形框到期待位置后，可以采用此时的相机外参以及毫米波与相机的夹角作为计算参数。
至此，毫米波雷达与相机的联合标定已结束，完成了空间上雷达检测目标匹配至图像的工作。接下来可进行下一步的工作。

部分文章来源于互联网：

https://blog.csdn.net/leonardohaig/article/details/88724365