车辆自动驾驶决策方法、装置、设备及介质制造方法及图纸

本申请属于自动驾驶技术领域，尤其涉及车辆自动驾驶决策方法、装置、设备及介质，方法包括：获取环境数据，环境数据包括部署于指定车辆的传感器在第一时段内的采集数据，第一时段早于参考时刻；以环境数据为输入，运行自动驾驶模型，得到决策结果。该方法的生成式模型可以根据实时采集到的环境信息和历史驾驶数据进行自适应学习，解决了训练数据获取困难的问题；此外，通过历史数据进行的训练过程为模型的定制化扩展和升级提供了可能，即模型可以针对特定的需要加强的场景进行数据筛选和加强训练，以提升该场景下的决策性能。以提升该场景下的决策性能。以提升该场景下的决策性能。

【技术实现步骤摘要】
车辆自动驾驶决策方法、装置、设备及介质


[0001]本申请属于自动驾驶
，尤其涉及车辆自动驾驶决策方法、装置、设备及介质。

技术介绍

[0002]基于机器学习的自动驾驶技术是一项复杂而又具有挑战性的技术，它涉及到大量的训练数据和高计算能力的需求。
[0003]具体来说，自动驾驶系统需要通过大量的训练数据来学习和理解道路环境、车辆行为以及各种交通场景。这些数据通常是对应传感器（如摄像头、激光雷达、雷达等）的数据，以提供关于道路结构、物体检测、车辆速度等信息。由于自动驾驶系统需要覆盖各种不同的驾驶场景，因此需要大规模的多样化数据来训练模型。
[0004]然而，获取高质量的自动驾驶训练数据是一个昂贵和困难的任务。这是因为自动驾驶系统需要在各种不同的交通场景中进行训练，包括不同的天气条件、道路类型和交通状况。
[0005]也就是说，一个关键的问题是如何获取代表性和多样化的训练数据。一种常见的方法是使用模拟器来生成合成数据，但如何确保合成数据与真实场景相匹配仍然是一个挑战。
[0006]此外，自动驾驶模型通常需要大量的计算资源。深度学习模型通常有数百万个参数，这要求硬件具有较高性能和专用的硬件加速器（如图形处理单元GPU）。而受限于车辆硬件的空间、能源、散热等条件，较为重型的自动驾驶模型往往无法适配到现有车辆当中，可能需要车辆其它模块予以让步。
[0007]因此，如何提供一种轻量化且易于训练的自动驾驶模型，并通过该模型完成自动驾驶功能成为了业内亟需解决的技术问题。
专利技术内容
[0008]本申请实施例提供了车辆自动驾驶决策方法、装置、设备及介质，可以解决自动驾驶模型训练数据获取困难的问题和重型自动驾驶模型部署困难的问题。
[0009]第一方面，本申请实施例提供了一种车辆自动驾驶决策方法，包括：获取环境数据，所述环境数据包括部署于指定车辆的传感器在第一时段内的采集数据，所述第一时段早于参考时刻；以所述环境数据为输入，运行自动驾驶模型，得到决策结果；其中，所述自动驾驶模型是以历史传感器数据作为样本执行第一训练得到的生成式模型，所述决策结果用于控制所述指定车辆，且所述决策结果包括如下至少一个：第二时段内的车辆控制序列和所述车辆控制序列的置信度，所述第二时段晚于参考时刻；所述第二时段内感知目标的感知点云和所述感知点云的置信度；
所述第二时段内所述指定车辆视角下的预测视频和所述视频的置信度。
[0010]上述方法使用生成式模型进行自动驾驶决策，相较于传统的基于规则或者分类器的决策方法，具有更高的决策效率和灵活性；同时，生成式模型可以根据实时采集到的环境信息和历史驾驶数据进行自适应学习，解决了训练数据获取困难的问题，提高决策的准确性和适应性，具备更加智能化的特点；此外，通过历史数据进行的训练过程为模型的定制化扩展和升级提供了可能，即模型可以针对特定的需要加强的场景进行数据筛选和加强训练，以提升该场景下的决策性能；进一步地，多种决策结果的选择性使用能够对各类应用场景具有更好的适应性，从而为不同状态下的分类决策提供良好的数据基础。
[0011]在第一方面的一种可能的实现方式中，所述以所述环境数据为输入，运行自动驾驶模型，得到决策结果的步骤后，还包括：确定迭代训练样本数量大于预设阈值，则基于所述迭代训练样本对所述自动驾驶模型执行第二训练，得到更新后的自动驾驶模型；其中，所述迭代训练样本包括所述环境数据、对应于所述环境数据的决策结果以及对应于所述环境数据的驾驶员操作。
[0012]上述方法通过记录自动驾驶模型运行过程中输入的环境数据、输出的决策结果以及驾驶员介入操作对模型进行优化训练，使得模型能够输出更加符合驾驶员习惯的决策结果。
[0013]在第一方面的一种可能的实现方式中，所述环境数据包括激光雷达、毫米波雷达以及视觉传感器中的至少一者在所述第一时段内的采集数据。
[0014]上述方法通过激光雷达、毫米波雷达以及视觉传感器中的至少一者实现对环境数据的采集，从而为决策结果的生成提供了数据基础。
[0015]在第一方面的一种可能的实现方式中，所述获取环境数据的步骤包括：通过部署于指定车辆的传感器获取所述第一时段内的传感器采集数据；提取所述传感器采集数据的特征，得到所述环境数据的至少一部分。
[0016]上述方法对传感器采集数据进行特征提取的预处理后，输入自动驾驶模型，能够减少自动驾驶模型需要处理的任务量，使得自动驾驶模型更为轻量化，同时，预处理任务与自动驾驶模型的决策结果推理任务能够同时进行，即自动驾驶模型处理上一帧的推理时，当前帧的传感器数据能够随之进行采集和预处理的操作，进一步提升了自动驾驶决策的实时性。
[0017]在第一方面的一种可能的实现方式中，所述提取所述传感器采集数据的特征，得到所述环境数据的至少一部分的步骤包括：根据所述传感器采集数据，得到交通指示灯状态、交通标识状态、车道信息、车道线信息、障碍物位置、障碍物速度以及障碍物移动方向中的至少一个作为所述环境数据的至少一部分。
[0018]上述方法通过引入交通指示灯状态、交通标识状态、车道信息、车道线信息等基础设施信息，额外为自动驾驶模型提供了信息，有利于提升决策结果的有效性；同时，预处理操作将抽象的传感器数据转换为障碍物位置、障碍物速度以及障碍物移动方向等具有实际物理含义的数据，有利于进一步减少自动驾驶模型需要处理的任务量，使得自动驾驶模型
更为轻量化。
[0019]在第一方面的一种可能的实现方式中，所述车辆控制序列包括所述第二时段内指定时刻的动力开关开度、刹车开度以及方向盘转角。
[0020]上述方法在决策结果中引入第二时段内各时刻的动力开关开度、刹车开度以及方向盘转角，使得自动驾驶控制时，可以在自动驾驶模型外，通过预设逻辑以这些目标参数为约束进行操作，进一步减少了自动驾驶模型所需处理的任务量。
[0021]在第一方面的一种可能的实现方式中，所述以所述环境数据为输入，运行自动驾驶模型，得到决策结果的步骤后，还包括：确定驾驶员未操作所述指定车辆，则基于所述决策结果控制所述指定车辆；确定所述驾驶员操作所述指定车辆，则基于所述驾驶员的操作控制所述指定车辆，并记录所述驾驶员的操作。
[0022]上述方法引入了优先级高于决策结果的驾驶员操作，一方面通过驾驶员和自动驾驶模型两个维度保证驾驶的安全性，另一方面也能够通过记录驾驶员操作为自动驾驶模型的进一步优化训练累计数据。
[0023]第二方面，本申请实施例提供了一种车辆自动驾驶决策装置，包括：获取模块，用于获取环境数据，所述环境数据包括部署于指定车辆的传感器在第一时段内的采集数据，所述第一时段早于参考时刻；决策模块，用于以所述环境数据为输入，运行自动驾驶模型，得到决策结果；其中，所述自动驾驶模型是以历史传感器数据作为样本执行第一训练得到的生成式模型，所述决策结果用于控制所述指定车辆，且所述决策结果包括如下至少一个：第二时段内的车辆控制序列和所述车辆控制序列的置信度，所述第二时段晚于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车辆自动驾驶决策方法，其特征在于，包括：获取环境数据，所述环境数据包括部署于指定车辆的传感器在第一时段内的采集数据，所述第一时段早于参考时刻；以所述环境数据为输入，运行自动驾驶模型，得到决策结果；其中，所述自动驾驶模型是以历史传感器数据作为样本执行第一训练得到的生成式模型，所述决策结果用于控制所述指定车辆，且所述决策结果包括如下至少一个：第二时段内的车辆控制序列和所述车辆控制序列的置信度，所述第二时段晚于参考时刻；所述第二时段内感知目标的感知点云和所述感知点云的置信度；所述第二时段内所述指定车辆视角下的预测视频和所述视频的置信度。2.如权利要求1所述的车辆自动驾驶决策方法，其特征在于，所述以所述环境数据为输入，运行自动驾驶模型，得到决策结果的步骤后，还包括：确定迭代训练样本数量大于预设阈值，则基于所述迭代训练样本对所述自动驾驶模型执行第二训练，得到更新后的自动驾驶模型；其中，所述迭代训练样本包括所述环境数据、对应于所述环境数据的决策结果以及对应于所述环境数据的驾驶员操作。3.如权利要求1或2所述的车辆自动驾驶决策方法，其特征在于，所述环境数据包括激光雷达、毫米波雷达以及视觉传感器中的至少一者在所述第一时段内的采集数据。4.如权利要求3所述的车辆自动驾驶决策方法，其特征在于，所述获取环境数据的步骤包括：通过部署于指定车辆的传感器获取所述第一时段内的传感器采集数据；提取所述传感器采集数据的特征，得到所述环境数据的至少一部分。5.如权利要求4所述的车辆自动驾驶决策方法，其特征在于，所述提取所述传感器采集数据的特征，得到所述环境数据的至少一部分的步骤包括：根据所述传感器采集数据，得到交通指示灯状态、交通标识状态、车道信息、车道线信息、障碍物位...

【专利技术属性】
技术研发人员：贺翔，潘兴，艾锐，顾维灏，
申请(专利权)人：毫末智行科技有限公司，
类型：发明
国别省市：