智能汽车环境感知算法作为智能汽车规划决策和控制执行的基础环节，是智能汽车研究的关键技术之一，也是智能汽车当前研究的热点问题。本文对智能车中的环境感知算法进行综述，其次总结了当前决策规划层的研究情况。

1) 目标检测算法

目标检测的任务是找出图像或视频中的感兴趣物体，同时检测出它们的位置和大小，是机器视觉领域的核心问题之一，至今已有将近二十年的研究历史。作为计算机视觉的基本问题，目标检测构成了许多计算机视觉任务的基础，目前目标检测算法已广泛应用于许多现实世界的应用，如智能驾驶、机器人视觉、视频监控等。从2012年开始，因大数据技术和硬件计算能力的提升，卷积神经网络(convolutional neural networks, CNN)再一次受到研究者的关注，CNN提取到的特征和传统手工特征^[17-21]相比，具有更鲁棒和更深层的特性，这也引导研究者将CNN应用到目标检测领域中。用深度学习解决目标检测算法，可被分为两组^[22]：两阶段法和一阶段法。两阶段法采用“由粗到细”的检测策略，而一阶段法利用神经网络模型，一步完成检测任务。

R-CNN^[23]是第一个将深度学习用于目标检测的网络，其训练过程展示了最初的两阶段法的思路：首先通过一组网络提取目标的候选框，然后每个候选框内的图像会缩放至相同尺度，并输入至一个CNN网络中提取特征，最后利用SVM^[24]等分类器对每个区域的特征进行学习分类，完成检测识别。具有代表性的工作是R-CNN，其mAP(mean average precision)指标在VOC07数据集上从33.7%提升至58.5%。Fast R-CNN^[25]改善了R-CNN计算冗余的问题，其在训练检测器时同时回归边框，mAP指标从58.5%进一步提升至70%，并且检测速度比R-CNN高近200倍，同时Fast R-CNN也进一步优化了两阶段法训练过程，将SVM分类器替换为softmax分类器，将分类过程和网络训练融合一体。

一阶段法对目标的检测更直接，一般采用端到端网络，有代表性的工作是文献[26]提出的YOLO(you only look once)网络，这是第一个采用深度学习方案的一阶段检测网络，尽管YOLO的检测速度非常快，但和两阶段法相比，其对目标位置的定位精度下降了，尤其是对一些小目标。后来作者继续在YOLO的基础上进行改进，提出了YOLO_v2^[27]和YOLO_v3^[28]，进一步提升了检测精度，在位置定位精度上也有所考虑。SSD(single shot multibox detector^[29]网络引入多引用和多分辨率检测技术，对小目标的检测精度提升明显。

2) 车道线检测算法

基于视觉的车道线检测技术已经广泛应用于辅助驾驶系统，如驾驶员熟悉的私家车车道保持功能，驾驶车辆时，如果车辆压在车道线上太久，则驾驶辅助系统会提醒驾驶员调整车辆位置。

近年来，基于深度学习的车道线检测算法被引入到智能驾驶领域，并表现出强大的检测性能。文献[30]使用一个8层的卷积神经网络训练端到端车道线检测模型。随着YOLO^[26]等目标检测网络的精度和效率越来越好，研究者们逐渐把目标检测网络引入到车道线检测系统中。文献[31]搭建了用于在单次正向推断中执行车道线检测的CNN模型，该模型用于回归车道线两个端点及其深度。然而，上述方法在车道线占比过小、遮挡等条件下检测性能并不理想，研究者们借鉴传统车道线检测算法在消影点、车道形状、轨迹等领域的研究成果^[32]，并将这类方法和神经网络结合起来，一定程度上抑制了漏检和误检问题。文献[33]提出用15个点对车道线进行建模，以避免车道线边界检测不准确。从人类感知车道环境的经验中得到启发，文献[34]设计了多任务网络来检测车道线消影点，提高了检测精度。文献[35]设计了特征图逐层卷积网络，在CNN框架中加入像素之间的约束，学习车道线的结构信息。

3) 目标跟踪算法

视觉跟踪通过在连续的视频图像序列中估计感兴趣目标的位置或所在区域，结合历史运动信息，预测其未来的运动信息，对智能车分析理解其周围环境至关重要。在线视觉跟踪的基本框图如图1所示。

图  1  视觉跟踪基本框图

近年来，神经网络技术借助其优秀的特征建模能力，在目标跟踪领域取得了巨大成功。基于滤波的目标跟踪受关注最多，其算法核心思想是将待跟踪目标的模板与待搜索区域(候选区域)内的图像进行相似度匹配，匹配度最高的位置即为跟踪到的目标图像块。经深度神经网络提取到的特征和传统特征相比具有更鲁棒的表征能力，但是由于网络的复杂性，往往无法实时提取图像特征，因此基于滤波的深度神经网络具有实用的研究价值。文献[36]设计了多层卷积网络用于视觉跟踪，认为深层特征具有良好的语义表述能力，但其空间位置信息较弱，而浅层特征恰好弥补了这一不足，其主要思路是将不同层特征分别用于训练滤波器，最终在定位目标位置时，将待搜索区域的滤波器响应加权形成响应图像，最终按响应最大值区域作为目标所在位置。和文献[36]的多层网络处理方式类似，文献[37]提出强化深度跟踪算法，采用了6层网络特征代替文献[36]中的3层特征，同时将固定权重优化为自适应学习权重。

神经网络除了应用于特征提取和滤波计算，还可以作为辅助网络提取图像中的显著性区域。文献[38]提出了基于循环神经网络(recurrent neural networks, RNN)的目标强化跟踪算法，使用RNN提取显著性图，将其和滤波器系数相融合，以增强滤波器对于背景干扰信息的抑制能力。也有文献将注意力机制与滤波网络相融合，提出了注意力机制相关滤波网络(attentional correlation filter network, AFCN)，利用注意力机制对图像的特征和滤波器进行选择，判断区域的可靠部分，进而引导下一帧图像中的目标定位^[39]。

4) 行为预测算法

行为预测功能会根据当前以及历史感知来预测智能车周围其他运动物体(如其他车辆、行人、非机动车等)的未来运动轨迹。为使智能车在道路上安全有效地行驶，智能汽车不仅应感知其周围其他运动元素的状态，还应主动预测其未来的运动轨迹，有助于智能车提前做出最优决策。机器学习尤其是深度学习的最新进展为解决智能车行为预测提供了有力工具。一般地，行为预测算法可以划分为如下3类解决方案：基于循环神经网络的解决方案、基于卷积神经网络(convolutional neural networks, CNN)的解决方案以及其他方案。文献[40]使用一组LSTMS来建模个体车辆的轨迹；另一组用来建模对交互的作用。文献[41-43]提出了多层长短期记忆网络(long short-term memory, LSTM)用于序列分类器。文献[44]提出用于估计加速度的两层LSTM网络。文献[45]提出多个RNN网络，一组LSTM网络用于建模个体车辆的轨迹，另一组网络用于建立当前智能车与其他元素的交互模型。在卷积神经网络解决方案里，文献[46]提出一个包含卷积层和全连接层的6层网络，用于预测周围车辆的意图。文献[47-48]使用MobileNet V2^[49]作为特征提取器，提取到的特征用来预测周围车辆意图。文献[50]先利用两个骨干CNN网络来提取激光雷达和栅格化地图的特征，然后将3个不同的网络分别生成检测、意图和轨迹模型。也有学者把RNN网络和CNN网络相结合用于行为预测。文献[51]从CNN中提取图像空间特征，将特征输入到LSTM中，最后馈送至反卷积网络，输出和原始输入同大小的预测图。

5) 导航与定位

除了上面讨论的感知信息外，智能车要实现全局路径规划，还需要通过定位系统精准的知道自身在全局环境中的位置。即时定位与建图(simultaneous localization and mapping, SLAM)技术借助视觉传感器、惯性测量单元(inertial measurement unit, IMU)等传感器设备，在智能车驾驶的过程中完成全局地图的构建，同时定位出自身在全局地图中的位置。总结SLAM的研究历史，其研究思路可以归纳为两类：基于扩展卡尔曼滤波的SLAM框架^[52-53]以及基于图优化的SLAM框架^[54-58]。

扩展卡尔曼滤波算法是卡尔曼滤波算法在非线性系统下的推广，基于扩展卡尔曼滤波的SLAM框架较简单，且较容易适配多传感器融合，因此这类SLAM框架运算效率一般都较快，但由于其相机参数是依靠滤波估计得出的，故无法得到精确、平滑的相机姿态。基于图优化的SLAM框架避免了借助图优化理论，前端完成相机跟踪，确定定位任务，后端实现建图与地图优化，后端一般会将相机姿态和地图优化至局部或全局最优处，因而基于图优化的SLAM跟踪到的相机轨迹会比较平滑，地图也更精细。PTAM^[54]是第一个可以接近实时运行的图优化SLAM框架，其基本思想是前端利用跟踪算法完成相机的位姿跟踪，当前端触发关键帧(key frame)生成条件时，激活后端建图任务。ORB-SLAM将前端跟踪算法替换为ORB描述符^[20]，并提供了可以商业化的开源代码^[59]，不过由于ORB-SLAM使用的是稀疏特征点，建立的地图也是稀疏的。SVO^[57]、DSO^[56]为半稠密地图、稠密地图提供了解决方案。为了适应一些复杂环境，多传感器融合也经常应用到SLAM中，视觉传感器和IMU组合使用可以解决纯视觉SLAM在估计深度时容易出现误差的问题。VINS^[58]成功的融合了视觉和IMU，能够长时在户外建立大规模地图。

回环检测用于判断智能车是否曾经到访过当前所处的位置。在智能车三维重建周围环境的过程中，由于累计数值误差的存在，导致尺度漂移是SLAM至今为止都未完全攻克的问题。闭环检测可以减弱累计误差对整个三维重建过程的影响，增加收敛性。在传统机器学习时代，大量的方法使用词袋模型^[60](bag of words, BoW)实现闭环检测。近年来，以深度学习为代表的方法得到很多研究者的关注，这类方法以图像检索的思路解决回环检测任务，文献[61]首次用神经网络从视觉地点识别的角度建立网络模型。受BoW和神经网络启发，NetVLAD^[62]利用网络学习类别中心残差系数，大幅提升了检索性能，研究视觉地点识别的还有文献[63-66]。

决策算法设计的目的是在驾驶决策过程中引入高级认知能力，进而能驾驭复杂驾驶环境，其研究可以追溯至20世纪80年代，智能车决策算法可以分为3类：基于行为认知的方法、基于数据挖掘的方法和基于机器学习的方法。

基于行为认知的决策方法模仿、加工人类对事物的认知和抽象能力，形成可供智能车识别、执行的决策规则。研究思路是根据交通法律法规、人类驾驶经验建立驾驶决策规则库，在不同的驾驶环境下，按照规则库中的逻辑确定车辆驾驶行为^[67]。这种方法在封闭道路环境下能够很好的完成决策任务，但智能车面临的驾驶环境是开放的，往往无法预估，因此这种方法在实际研究中应用有限。普林斯顿大学利用知觉匹配来设计智能决策算法，借助深度学习技术，将输入图像和关键的知觉指标进行匹配，通过基于车辆动力学模型决策驾驶行为。卡耐基梅隆大学在设计决策算法时采用了行为推理的方式^[68]。文献[69-70]使用贝叶斯方法对驾驶员数据进行分析，使车辆能够在车道数减少时对车流汇入情形下的车辆意图进行预测。

基于数据挖掘的决策方法利用大数据技术对海量数据进行清洗、分析、特征提取、挖掘数据背后的价值内容(如驾驶经验、判断知识等)，并将挖掘到的内容形式化成智能车可以执行的决策指令。这类方法对数据规模依赖较大，研究中往往数据不足成为影响决策算法性能的瓶颈。文献[71]建立了用于预测换道时的决策行为的隐马尔科夫模型。

基于机器学习的决策方法是目前研究的热点，这类方法借助人工智能技术，从人类思维的源头出发模拟人类，借助强大的硬件处理能力以及神经网络自学习能力，通过在实际驾驶环境或仿真驾驶环境中的大量训练，使智能汽车自主的学习到正确的驾驶决策指令。北京理工大学构建了换道规则数据库，该工作首先进行人工数据标定，再利用神经网络学习利用规则数据库换道规则。该研究成果在比亚迪自动驾驶平台上验证测试，测试结果和人类驾驶员的驾驶决策相比，相似度高达80.4%^[72]。工业界也在智能决策领域做了大量的工作，科技巨头如谷歌、百度、小鹏、Drive.ai等企业用人工智能技术来解决决策问题，一般采用端到端的方式，从环境感知开始，使用深度学习模型直接对智能车行为进行决策，以期实现用驾驶脑代替人类大脑。

霍金曾指出不确定性是我们在其中生活的宇宙的一个基本特征^[73]。随着智能技术研究的深入，智能技术的研究对象—人类智能的不可形式化形象思维成为智能技术发展的瓶颈。尽管当前的计算机软硬件技术拥有强大的计算、存储和搜索能力，但对于非形式化问题却难以下手。在人工智能技术的研究过程中，考虑确定性因素对真实世界进行模拟，抓住主要部分，忽略次要部分。因此，在智能技术的研究中，考虑真实世界的不确定性因素，是模拟、延伸人类智能必不可少的环节。

从1956年的达特茅斯会议上“人工智能”正式被提出以来^[74]，发展仅有60余年的历史。学者们往往将人工智能技术与哲学、脑科学、计算机技术、心理学等学科联系在一起研究，这也导致了人工智能算法的不确定性反应在诸多方面。如从哲学的角度推理人工智能算法的认知不确定性问题^[75]，从脑科学的角度推理人工智能的内在生成机制的不确定性问题^[76]。本文由于篇幅有限，且将讨论聚焦在计算机技术角度，即主要讨论人工智能技术研究的不确定性问题。

1) 信息获取的不确定性

尽管人类利用多种感觉器官(如视觉、听觉、嗅觉、触觉等)获取信息，然而仍然不能把握全部信息。Shannon信息论指出：信息是消除不确定性的东西^[77]。但是在人类主体筛选信息的过程中已经出现了不确定性。在智能车中，主流的信息获取依靠各类传感器来模拟人类感官，如视觉摄像头模拟人眼，麦克风和扬声器分别模拟耳朵和嘴巴。各种传感器的设计和人类主体感觉器官之间又进一步增大了信息获取的不确定性。

2) 信息理解的不确定性

信息理解是人类大脑对信息的加工和理解过程。尽管在信息获取阶段已经引入不确定性信息，但这部分信息对于人工智能算法依然足够丰富。在人工智能算法的研究过程中，由于原始特征和存储能力、计算能力之间的矛盾，研究者们往往会对信息进行加工，提取最具代表原始信息的特征。如利用智能算法取得巨大成功的图像识别领域，往往不会利用原始图像作为特征进行评比，而是对原始图像进行加工、处理；主成分分析(principal component analysis, PCA)也是信息加工常用的技术手段^[78]。这种智能算法中的常见技术手段也会引入不确定性。

3) 主体决策的不确定性

在从信息获取、理解到智能决策的过程中，主体往往从多个方案中选择一个最优的，从形式上看，这是一个概率问题，必然伴随着不确定性。智能策略的生成离不开对问题的充分分析和对环境信息的充分理解，同一智能主体在不同时刻、不同环境的情况下，可能做出迥异的决策。

随着驾驶辅助系统(advanced driver assistance systems, ADAS)越来越复杂，尽管引入的各种复杂传感器(如激光雷达、超声波雷达)在一定程度上弥补了信息获取的不确定性，但是却增加了信息理解的难度，导致智能车的预期功能在某些情况下无法达到要求。2018年3月，Uber自动驾驶汽车在美国意外撞击致死一名行人，在所有传感系统正常工作的情形下，行人被识别成未知物体，导致悲剧发生。基于上述背景，预期功能安全应运而生。

预期功能安全的定义首次在2015年被提出，ISO/PAS 21448标准将预期功能安全定义为：由功能不足、或由可合理预见的人员误用所导致的危害和风险^[16]。例如，传感系统在暴雨、积雪等天气情况下，本身并未发生故障，但是否仍能执行预期功能。

预期功能安全基于场景来进行分析，ISO/PAS 21448标准将场景划分为如图2所示的4个区间，分别为：1)已知−安全场景；2)已知−危险场景；3)未知−危险场景；4)未知−安全场景。预期功能安全研究的目的是将已知危险区域和未知危险区域缩小至可接收的范围内，即保证场景尽可能控制在安全区域。

图  2  ISO/PAS 21448对场景的划分

当前对智能驾驶汽车预期功能的安全研究尚处于起步阶段。ISO/PAS 21448规范了预期功能安全的基本实现思路和流程^[16]，为预期功能安全的研究工作提供了指导性研究思路。

研究者在场景的理解领域做了大量工作。文献[79]把物理对象的空间−时间排列当做场景。文献[80]认为场景包含环境的动态元素以及一些指定的驾驶指令，用场景片段的思路分析预期功能安全问题，场景的起点是前一场景的终点。文献[81]提出场景树的思想，将场景分解为简单元素并用树状结构排列。文献[82]总结了前人的研究成果，将环境的快照信息，如动态元素(如车、人等)、静态元素(建筑、风景等)以及这些实体之间的关系定义为场景。

除了对场景理解的研究工作外，文献[83]梳理了信息安全、功能安全和预期功能安全三者之间的联系和区别。文献[84]报告了功能安全和预期功能安全之间的关系。文献[85]深入分析了预期功能安全研究的挑战，并提出了相应的风险评估框架。

在预期功能理论和定性定量方面也得到了学者的关注。博世公司借助V模型把预期功能安全用于ADAS系统的开发过程，并利用性能故障树分析DA/AD系统^[86]。TNO融合场景和数据驱动，提出了用于构建和维护真实场景数据库的StreetWise方法，为智能驾驶提供了真实的测试场景用例^[87]。文献[88]为预期功能安全测试提供了参考，提出了一些新的贝叶斯停止规则。文献[89]将信息论中熵的概念引入到预期功能安全研究中，引入安全熵的概念，提出基于安全熵的预期功能安全度的量化分析方法。

MIT 认为自动驾驶应该分为两个等级：人机共驾(shared autonomy)以及全自动驾驶(full autonomy)^[90]。这样的分类方式为研究者提供了指导方针，在研究过程中添加必要的限制条件有助于研究工作的顺利开展。完全自动驾驶无人的智能汽车要解决预期功能的安全问题，该时机尚未成熟，因此人机共驾是一个和现实研究情况很契合的路线。

在传统汽车驾驶中，人作为控制车辆的主体，具有高度的智能性，智能汽车的目标是要用计算机代替传统的驾驶员。然而在智能算法的研究进程中，从目前的研究进展看，无论是采用何种传感器、算法多么鲁棒，都无法100%弥补智能算法的不确定性因素，如果在智能车行驶的极端条件下辅以人类智慧，利用人类智慧弥补智能算法的不确定性，是值得关注的研究方向。

人机共驾通常被分为3个层次：信息感知层的人机交互、规划决策层的人机协同以及执行控制层的人机交互^[91]。信息感知层人机交互主要依靠人的感官系统对智能车的感知器进行补充，从而弥补智能算法信息获取的不确定性问题。规划决策层的人机协同弥补了信息理解和主体决策的不确定性，由于智能车系统是非线性系统，智能算法求解的绝大多数最优解仅仅是局部最优解，辅以人类决策，如转弯、速度控制等。执行控制层人机交互则是借助人类经验和智能控制算法对智能汽车进行精确控制。

本文首先从智能感知、智能决策两个角度总结了智能算法在智能汽车领域的应用和研究进展。其次，还从信息获取、信息理解、智能决策3个角度分析了智能算法研究的不确定性特性，并介绍了解决因智能算法不确定性带来的安全问题的研究方法—预期功能安全，并总结了预期功能安全的研究情况，最后总结了用于实现预期功能安全的人机共驾方案的研究情况。