样本数据生成方法及应用其的轨迹预测方法、装置制造方法及图纸

本发明专利技术提供一种样本数据生成方法，样本数据用于对轨迹预测模型进行模型训练或测试，其包括：获取第一数据信息，第一数据信息包括车辆的自车状态信息和障碍物感知信息；根据第一数据信息确定出第二数据信息，第二数据信息包括与各自车相对应的各个障碍物的第一轨迹数据；根据第二数据信息生成样本数据，每组样本数据均包括基于第二数据信息中的相应障碍物的一组第一轨迹数据确定出的模型训练或测试的输入部分和基于第二数据信息中的相应组的第一轨迹数据确定出的模型训练或测试的输出部分。本发明专利技术能够实现自动化地生成模型所需格式的样本数据，提高样本数据生成效率，且将数据直接转换成模型所需格式，减少了模型训练耗时，提升了模型训练效率。提升了模型训练效率。提升了模型训练效率。

【技术实现步骤摘要】
样本数据生成方法及应用其的轨迹预测方法、装置


[0001]本专利技术涉及自动驾驶
，尤其涉及一种样本数据生成方法及装置、预测轨迹模型训练方法及装置、轨迹预测方法及装置，和一种计算设备及移动工具。

技术介绍

[0002]随着深度学习和计算软硬件的发展，自动驾驶技术得到了广泛的应用。自动驾驶系统一般可分为感知、预测、决策、规划和控制等模块。其中的预测模块是根据感知模块提供的自车周围环境和障碍物位置、速度、朝向等信息，进行障碍物目标的行为及轨迹预测（本专利技术上下文中将需要预测的障碍物目标称为目标障碍物），生成目标障碍物未来的运动轨迹线，以便为自车的行为决策和运动规划服务，从而避免发生自车与他车或周围交通参与者的碰撞事故，保障自身和他人的生命财产安全。
[0003]由于深度学习方法强大的特征学习能力和场景泛化能力，目前业内常采用基于深度学习的模型进行轨迹预测。而基于监督模式的深度学习模型的训练效果，主要依赖于训练样本数据的多样性和准确性。因此，能够提供场景覆盖率高和准确性高的样本数据，是训练出高质量的轨迹预测模型的关键。现有技术中，常规的轨迹预测模型样本数据的生成方法主要有两种，一种为完全的人工标记的方式，另一种为“自动感知+人工修正”的方式。前者具体是根据深度学习模型训练的需求，制定标记规则和标记工具，并培训标记工人，以使得标记工人能够基于实车采集的数据按照标记规则和使用标记工具进行人为标记，该方法虽然能够获取到符合要求的高质量的样本数据，但标记过程比较耗时，标记人工费用也非常昂贵。为了克服纯人工标记方式的这些缺陷，逐渐衍生出了“自动感知+人工修正”的半人工标记方式，该方式主要通过感知模型对实车采集的数据进行处理得到感知数据，再对经由感知模型得到的感知数据进行人为检查和修正，从而生成最终的轨迹样本，其与第一种方式相比，这种半人工标记的方式相对更为便捷，但是仍然无法避免需要人为地对数据进行检查和修正才能得到所需的样本数据的弊端，即仍然无法避免标记周期长和人工费用昂贵的问题，导致整体轨迹预测模型训练效率降低。而且，这种方式由于要利用特定的感知模型对实车采集的数据进行处理以得到感知数据，因此，生成的样本数据存在覆盖场景数量和种类有限的问题，从而导致训练出的模型的泛化能力不足，影响训练出的模型的轨迹预测能力。

技术实现思路

[0004]本专利技术实施例提供一种样本数据生成方案，其通过样本数据的自动生成，来减少样本数据生成过程中的人工参与度和缩短样本数据的生成周期，以至少解决现有技术中因样本数据标记周期长和人工费用昂贵，而导致的样本数据的生成效率和模型训练效率都较低的问题。
[0005]第一方面，本专利技术实施例提供一种样本数据生成方法，样本数据用于对轨迹预测模型进行模型训练或测试，方法包括：
获取第一数据信息，其中，第一数据信息包括至少一个车辆的至少一帧自车状态信息和至少一帧障碍物感知信息；根据所述第一数据信息确定出第二数据信息，所述第二数据信息包括分别以各个车辆作为自车确定出的与各自车相对应的各个障碍物的至少一组第一轨迹数据；根据所述第二数据信息生成至少一组样本数据，其中，每组样本数据均包括基于第二数据信息中的相应自车的相应障碍物的一组第一轨迹数据确定出的模型训练或测试的输入部分和基于第二数据信息中的相应组的第一轨迹数据确定出的模型训练或测试的输出部分，其中所述相应组的第一轨迹数据是指与用于确定模型训练或测试的输入部分相同的一组第一轨迹数据。
[0006]第二方面，本专利技术实施例提供一种轨迹预测模型训练方法，包括：以基于上述第一方面的样本数据生成方法生成的样本数据的输入部分作为轨迹预测模型的自变量，以其输出部分作为轨迹预测模型的因变量，对轨迹预测模型进行模型训练，确定出轨迹预测模型的模型参数；根据确定出的模型参数生成训练好的轨迹预测模型。
[0007]第三方面，本专利技术实施例提供一种轨迹预测方法，其包括：采用基于上述第二方面的轨迹预测模型训练方法训练出的轨迹预测模型对目标障碍物的行为或行驶轨迹进行预测。
[0008]第四方面，本专利技术实施例提供一种样本数据生成装置，包括：第一数据获取模块，用于获取第一数据信息，其中，第一数据信息包括至少一个车辆的至少一帧自车状态信息和至少一帧障碍物感知信息；轨迹数据提取模块，用于根据所述第一数据信息确定出第二数据信息，所述第二数据信息包括分别以各个车辆作为自车确定出的与各自车相对应的各个障碍物的至少一组第一轨迹数据；样本数据生成模块，用于根据所述第二数据信息生成至少一组样本数据，其中，每组样本数据均包括基于第二数据信息中的相应自车的相应障碍物的一组第一轨迹数据确定出的模型训练或测试的输入部分和基于第二数据信息中的相应组的第一轨迹数据确定出的模型训练或测试的输出部分，其中所述相应组的第一轨迹数据是指与用于确定模型训练或测试的输入部分相同的一组第一轨迹数据。
[0009]第五方面，本专利技术实施例提供一种计算设备，包括：存储器，用于存储可执行指令；以及处理器，用于执行存储器中存储的可执行指令，可执行指令在由处理器执行时实现上述第一方面的样本数据生成方法或第二方面的轨迹预测模型训练方法或第三方面的轨迹预测方法的步骤。
[0010]第六方面，本专利技术实施例提供一种移动工具，包括：数据采集模块，用于采集定位信息、感知信息、地图文件信息并发送至计算设备；上述第五方面的计算设备，其中，计算设备基于数据采集模块发送的采集信息获取第一数据信息。
[0011]第七方面，本专利技术实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述第一方面的样本数据生成方法的步骤。
[0012]本专利技术实施例的有益效果在于：本专利技术的样本数据生成方法，能够自动对获取到的各个车辆的自车状态信息和各车辆对应的各个障碍物的感知信息进行处理并得到各个车辆对应的各个障碍物的至少一组第一轨迹数据，并基于各个障碍物的轨迹数据来生成样本数据，其处理过程完全不依赖感知模型的选择，也无需进行感知模型的训练，因而能够根据需求保证感知数据的丰富性，进而保证生成的样本数据的泛化能力；并且，本专利技术实施例的方法还能够基于自动提取出的各个车辆对应的各个障碍物的第一轨迹数据自动确定出模型训练或测试的输入部分和输出部分，由此，本专利技术实施例不但能够自动基于自车状态信息和障碍物感知信息生成样本数据，而且得到的样本数据的数据格式是由输入部分和输出部分组成的，完全符合模型训练和测试过程中对样本数据的格式要求，即本专利技术实施例的方法实现了自动化地生成样本数据和将感知数据转换为轨迹预测模型所需要的数据格式，不但减少了样本数据形成过程中的人工参与度，使得轨迹预测样本的整个生成过程既省时又省钱，而且，还通过将数据提前转换为模型训练所需的格式，减少了模型训练的耗时，进而有效提高了轨迹预测模型的训练效率。
附图说明
[0013]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.样本数据生成方法，其特征在于，所述样本数据用于对轨迹预测模型进行模型训练或测试，所述方法包括：获取第一数据信息，其中，所述第一数据信息包括至少一个车辆的至少一帧自车状态信息和至少一帧障碍物感知信息；根据所述第一数据信息确定出第二数据信息，所述第二数据信息包括分别以各个车辆作为自车确定出的与各自车相对应的各个障碍物的至少一组第一轨迹数据；根据所述第二数据信息生成至少一组样本数据，其中，每组样本数据均包括基于第二数据信息中的相应自车的相应障碍物的一组第一轨迹数据确定出的模型训练或测试的输入部分和基于第二数据信息中的相应组的第一轨迹数据确定出的模型训练或测试的输出部分，其中所述相应组的第一轨迹数据是指与用于确定模型训练或测试的输入部分相同的一组第一轨迹数据。2.根据权利要求1所述的方法，其特征在于，所述获取第一数据信息，包括：获取采集数据，其中，所述采集数据包括各个车辆的自车标定信息和实车录制ROS BAG数据包；根据各个车辆的自车标定信息和实车录制ROS BAG数据包进行数据解析，确定出所述第一数据信息。3.根据权利要求2所述的方法，其特征在于，所述根据各个车辆的自车标定信息和实车录制ROS BAG数据包进行数据解析，确定出所述第一数据信息，包括：根据ROS BAG数据包进行定位话题和感知话题筛选，得到定位话题和感知话题；根据定位话题提取出各个车辆的至少一帧自车状态信息，根据感知话题提取出各个车辆对应的至少一帧障碍物感知信息；根据提取出的各个车辆的至少一帧自车状态信息及相应车辆的自车标定信息、和各个车辆对应的至少一帧障碍物感知信息生成所述第一数据信息。4.根据权利要求3所述的方法，其特征在于，所述根据提取出的各个车辆的至少一帧自车状态信息及相应车辆的自车标定信息、和各个车辆对应的至少一帧障碍物感知信息生成所述第一数据信息，包括：根据提取出的各个车辆的至少一帧自车状态信息及相应车辆的自车标定信息对各帧自车状态信息分别进行第一预处理，得到预处理后的各个车辆的至少一帧自车状态信息；对各个车辆对应的至少一帧障碍物感知信息进行第二预处理，得到预处理后的各个车辆对应的至少一帧障碍物感知信息；对预处理后的各个车辆的至少一帧自车状态信息和至少一帧障碍物感知信息进行格式统一化，生成第一数据信息，其中，第一数据信息中的自车状态信息和障碍物感知信息具有统一的数据格式。5.根据权利要求4所述的方法，其特征在于，所述对各个车辆对应的至少一帧障碍物感知信息进行第二预处理，得到预处理后的各个车辆对应的至少一帧障碍物感知信息，包括：分别以各个车辆作为自车依次逐帧读取相应自车下的障碍物感知信息，根据预设的数据片段长度阈值和分段策略，将相应自车下的连续读取到的相应帧数的障碍物感知信息的累加结果作为预处理后的相应自车的至少一帧障碍物感知信息。6.根据权利要求1至5任一项所述的方法，其特征在于，所述第二数据信息还包括分别
以各个车辆作为自车确定出的与各自车相对应的至少一组第二轨迹数据，所述根据所述第一数据信息确定出第二数据信息，包括：对各个车辆的自车状态信息和各车辆对应的障碍物感知信息进行关键帧采样，得到各个车辆的自车状态信息关键帧和各车辆对应的障碍物感知信息关键帧；分别基于各个车辆的自车状态信息关键帧和各车辆对应的障碍物感知信息关键帧，确定出各个车辆对应的至少一组第二轨迹数据，和确定出各车辆对应的各个障碍物的至少一组第一轨迹数据。7.根据权利要求6所述的方法，其特征在于，所述各个障碍物的每组第一轨迹数据均包括基于在相应组中选定的当前帧从相应车辆对应的障碍物感知信息关键帧中提取出的相应障碍物的历史轨迹信息和未来轨迹信息、以及该相应组所基于的当前帧信息；所述各个车辆的每组第二轨迹数据均包括基于在相应组中选定的当前帧从相应车辆的自车状态信息关键帧中提取出的相应车辆的历史轨迹信息和未来轨迹信息、以及该相应组所基于的当前帧信息；其中各个车辆的每组第二轨迹数据与该车辆对应的各个障碍物的每组第一轨迹数据具有一一对应关系，所述一一对应关系基于相应组所基于的当前帧确定。8.根据权利要求6所述的方法，其特征在于，所述根据所述第一数据信息确定出第二数据信息，还包括：对各个障碍物的各组第一轨迹数据进行优化处理，得到优化后的各个障碍物的至少一组第一轨迹数据，其具体包括：分别对各个障碍物的各组第一轨迹数据进行过滤处理，其中，过滤处理包括对各个障碍物的各组第一轨迹数据进行基于曲线拟合的第一过滤处理，和/或，对各个障碍物的各组第一轨迹数据进行基于速度的第二过滤处理，和/或，对各个障碍物的各组第一轨迹数据进行基于行为的第三过滤处理；对过滤处理后得到的各个障碍物的至少一组第一轨迹数据进行轨迹校正处理。9.根...

【专利技术属性】
技术研发人员：请求不公布姓名，徐成，刘峥，张富强，
申请(专利权)人：北京智行者科技股份有限公司，
类型：发明
国别省市：