探析自动驾驶规划控制发展现状及热点研究新时代

探析自动驾驶规划控制发展现状及热点研究

对自动驾驶而言，传感器、感知、地图定位和规划控制是目前研究的热点，本文奇点汽车美研中心首席科学家兼总裁黄浴博士从多个方面综述了目前自动驾驶的技术水平以及不同板块的重要性。

传感器技术

传感器而言，大家比较关心新技术。

在摄像头技术方面，HDR，夜视镜头，热敏摄像头等是比较热的研究。前段时间有研究（MIT MediaLab教授）采用新技术穿透雾气的镜头，叫做single photon avalanche diode (SPAD) camera；另外，能不能采用计算摄像技术（computational photography）改进一下如何避免雨雪干扰，采用超分辨率（SR）图像技术也可以看的更远。前不久，图森的摄像头凡是4G用户均可在乘坐地铁时体验到4G的超速下载。可以看1000米远吗，要么采用高清摄像头4K甚至8K，要么采用SR技术实现。

这是介绍SPAD的两个截图：

另外，单目系统比较流行，现在也有双目系统存在，比如安霸从意大利帕尔马大学买到的VisLab自动驾驶技术，还有Bertha Benz著名的Stixel障碍物检测算法。因为基线原因，车上可以配备多个双目系统，以方便测量不同距离的障碍物。懂计算机视觉的同学知道，立体匹配和基线宽度在涉及视觉系统的时候有一个权衡。深度学习已经用来估计深度/视差图，就如分割一样，PIxel-to-pixel。甚至单目也可以推理深度，结果当然比双目差。

激光雷达最热，一是降低成本和车规门槛的固态激光雷达，二是如何提高测量距离，三是提高分辨率和刷新频率，还有避免互相干扰和入侵的激光编码技术等。其实激光雷达的反射灰度图也是一个指标，3-D点云加上反射图会更好，比如用于车道线检测。

另外，摄像头和激光雷达在硬件层的融合也是热点，毕竟一个点云的点是距离信息，加上摄像头的RGB信息，就是完美了不是？一些做仿真模拟以及vr产品的公司就是这么做的，去除不需要的物体和背景就能生成一个虚拟的仿真环境。

这里是一家美国激光雷达创业公司AEye的技术iDAR截图，iDAR 是?INTELligent?Detection and Ranging，最近该公司宣称已经能够实现测距1000米（一两年前谷歌就说，它的激光雷达能看到3个足球场那么远）：

毫米波雷达方面，现在也在想办法提高角分辨率。毕竟它是唯一的全天候传感器了，如果能够解决分辨率这一痛处，那么以后就不会仅仅在屏幕上展示一群目标点，而是有轮廓的目标，加上垂直方向的扫描，完全可以成为激光雷达的竞争对手。希望新的天线和信号处理技术可以解决雷达成像的难点，包括功耗。

这里是NXP提供的新型高分辨率雷达和激光雷达比较的截图：

超声波雷达，基本是用在泊车场景，便宜。

感知模块

下面谈感知模块。

感知是基于传感器数据的，以前反复提过了，传感器融合是标配，信息越多越好吗，关键在于怎么融合最优。比如某个传感器失效怎么办？某个传感器数据质量变差（某个时候，比如隧道，比如天气，比如夜晚，比如高温低温等等造成的）怎么办？如果你要用数据训练一个感知融合模型，那么训练数据是否能够包括这些情况呢？

这里当然谈到深度学习了，而且深度学习也不仅仅用在图像数据，激光雷达点云数据也用，效果也非常好，明显胜过传统方法。不过，深度学习有弱点，毕竟还是靠大量数据“喂”出来的模型，有时候很敏感，比如像素上改变一点儿对人眼没什么而机器识别就造成错误，还有当识别类别增多性能会下降，同时出现一些奇怪的误判，比如谷歌曾经把黑人识别成猩猩。机器学习一个问题是泛化问题（generalization），如何避免overfitting是一个模型训练的普遍问题，当然大家都提出了不少解决方法，比如data augmentation，drop out等。

深度学习发展还是很快的，好的模型不断涌现，如ResNet, DenseNet；好的训练方法也是，比如BN成了标配，采用NAS基础上的AutoML基本上可以不用调参了（gpu设备很贵呀）；具体应用上也是进步很大，比如faster RCNN，YOLO3等等。

在激光雷达数据上，最近深度学习应用发展很快，毕竟新吗，而且这种传感器会逐渐普及，成本也会降下来，毕竟是3-D的报1233.20美元/盎司。周三美联储(Fed)在经过了为期两天的美联储公开市场委员会(FOMC)会议后公布了利率决议，比2-D图像还是好。这里要提到sync和calibration问题，要做好激光雷达和摄像头数据的同步也不容易，二者的坐标系校准也是，去年有个CNN模型叫RegNet，就是深度学习做二者calibration的。

谈到融合，这里包括几个意思，一是数据层的直接融合，前面提到硬件层可以直接完成，软件也可以，而且还可以解决硬件做不了的问题：激光雷达毕竟稀疏，越远越稀疏，有时候还会有“黑洞”，就是不反射的物质，比如车窗玻璃；而图像可以致密，分辨率也可以很高，毕竟造价便宜，二者在深度图（depth map）空间结合是一个互补，深度学习可以帮上忙，有兴趣的可以看看MIT的论文。

除了数据层，还有中间模型层融合，以及最后任务层（一般指多个模型结果输出）的融合，目前深度学习用在激光雷达数据以及结合图像数据融合的目标检测识别分割跟踪等方面有不少论文，基本可以在这三个层次划分。

很有趣的现象是