一种自动驾驶系统测试分析方法技术方案

本发明专利技术公开了一种自动驾驶系统测试分析方法，加载待评测数据，指定所需评测的评测指标和评测场景；根据评测场景加载标准场景数据作为真值数据；获取待评测数据的特征量；根据特征量一致性和/或位置一致性将待评测数据与真值数据进行配对，形成数据对；所述位置一致性是指待评测数据中定位数据的一致性；所述特征量一致性是指特征量误差小于阈值；确定所述数据对匹配评测场景和评测指标的匹配度，将匹配度超过阈值的数据对作为分析对象；针对分析对象进行评测指标的分析，获得评测结果。本发明专利技术能够对海量的自动驾驶数据进行自动化处理及分析，具有效率高、数据处理量大、统计指标准确的优点。

【技术实现步骤摘要】
一种自动驾驶系统测试分析方法
本专利技术涉及一种自动驾驶汽车所需数据的测试分析方法，属于自动驾驶汽车测试

技术介绍
自动驾驶汽车的测试技术是其核心技术之一，对自动驾驶汽车的性能提升有重要意义。面向复杂的自动驾驶汽车应用场景，其所涉及的测试数据量巨大，传统的汽车测试分析方法难以满足其需求，因此针对自动驾驶不同场景下大量数据自动化处理分析的方法是当前的研究热点。自动驾驶汽车的自动化测试分析，主要技术核心集中在两个方面：第一是如何高效获取不同工况数据以及场景库的建立；第二是如何对海量的自动驾驶数据进行自动化处理及分析。本方法基于已建立的成熟高精度真值场景库，实现了高度自动化的工具链，包含数据清洗、数据处理、数据分析、报告生成等方面，构建了自动驾驶海量数据自动分析的完整链路，提高了自动驾驶汽车的测试效率。
技术实现思路
有鉴于此，本专利技术提供一种用于自动驾驶不同场景工况下大量数据自动化测试分析的方法，能够对海量的自动驾驶数据进行自动化处理及分析。为了解决上述技术问题，本专利技术是这样实现的。一种自动驾驶系统测试分析方法，包括：步骤1、加载待评测数据，指定所需评测的评测指标和评测场景；根据评测场景加载标准场景数据作为真值数据；步骤2、获取待评测数据的特征量；步骤3、根据特征量一致性和/或位置一致性将待评测数据与真值数据进行配对，形成数据对；所述位置一致性是指待评测数据中定位数据的一致性；所述特征量一致性是指特征量误差小于阈值；步骤4、确定所述数据对匹配评测场景和评测指标的匹配度，将匹配度超过阈值的数据对作为分析对象；步骤5、针对分析对象进行评测指标的分析，获得评测结果。优选地，待评测数据的描述参数包括自动驾驶系统的感知信息、定位信息、轨迹信息、车身运动信息；所述感知信息包括感知目标位置、感知目标速度、感知目标加速度、感知目标协方差、车道线曲线方程参数中的一种或多种组合；所述定位信息包括通过定位系统获得的车体位置、速度、加速度、角速度、航向角、角速度变化率、加速度变化率中的一种或多种组合；所述轨迹信息包括轨迹点坐标、轨迹曲率、轨迹长度、所述车身运动信息通过车体上的传感器获取的车身速度、加速度、方向盘转角、转角变换率中的一种或多种组合。优选地，所述评测场景作为待评测数据的标签，在待评测数据采集过程中输入，或者在加载待评测数据时输入。优选地，所述步骤2获取待评测数据的特征量为：跟踪待评测数据中各描述参数的变化趋势，如果某一或某些描述参数连续n次波动量均超过设定幅度，则计算描述参数的统计特征，如果统计特征大于或等于设定的统计特征阈值，则将描述参数的统计特性值作为特征量；n为设定值。优选地，获取所述特征量时，所跟踪的描述参数包括车体速度、加速度、曲率变换率、角速度。优选地，所述步骤3包括：步骤31：待评测数据与真值数据进行位置对齐：计算待评测数据与真值数据这两段数据的位置精度是否满足设定的误差要求；若满足，则将待评测数据和真值数据并行存储在同一片内存中，以形成数据对；否则，执行步骤32；步骤32：进行特征量对齐：对待评测数据与真值数据这两段数据的特征量进行m维误差判断，每一维代表一个特征量；如果两段数据的m个特征量均满足关联准则，则将待评测数据和真值数据并行存储在同一片内存中，以形成数据对；m为大于或等于1的整数。优选地，所述步骤31之前，进一步对待评测数据和真值数据进行滤波，筛出不在用户所需测评指标范围的数据，进入步骤31的操作。优选地，所述步骤4采用神经网络确定匹配度：利用各种场景下汽车运动的数据训练神经网络；在使用时，将步骤1指定的评测指标、测评场景和所述数据对输入到神经网络中，神经网络输出数据对的匹配度的得分，该匹配度表征了数据对提供所述评测指标的符合程度以及评测场景的匹配程度。优选地，所述步骤5包括统计分析和对比分析；所述对比分析为：将待评测数据和真值数据进行时间空间同步插值处理，让待评测数据和真值数据的数据量保持一致，而后根据步骤1指定的评测指标，对比计算获得两种数据的评测指标；所述统计分析为：根据用户选取的时长，将待评测数据按照时间轴截取，计算截取段数据的统计指标量，然后再选取同一评测场景下符合所述时长的所有数据，分别计算统计指标量，再进行统计分析，得到最终的分析结果。优选地，所述步骤5进一步包括：将分析结果输入到预先定义好的评价模板，分别填充到各数据位置，自动生成统一的评测报告。有益效果：(1)本专利技术实现了根据用户选取的测试指标量和测试场景自动输出待评测数据的指标分析，相比传统自动驾驶数据分析方法，具有效率高、数据处理量大、统计指标准确的优点。(2)本专利技术利用特征量一致性和/或位置一致性将待评测数据与真值数据进行配对，通过神经网络模型对配对后数据的匹配度进行优先级排序，然后将匹配度较高的数据作为分析对象，从而从海量数据中提取出能够满足用户指定测评指标、符合用户测评场景的数据，提升了测试的高效性与准确性。附图说明图1为本专利技术提供自动化测试的整体流程框架。具体实施方式以下结合附图，对本专利技术所述的方法做进一步的详细说明。图1为本专利技术的整体流程，如图所示，本系统提供的自动化测试方法主要步骤如下：步骤S1：加载待评测数据，指定所需评测的评测指标和评测场景；根据评测场景加载标准场景数据作为真值数据。本步骤从输入端获取所需评测的评测指标和评测场景，并加载待评测数据。其中，评测指标例如包括探测目标的位置精度、速度精度、本车体位置精度、速度精度、横纵向加速度变化率等指标；待评测数据定义统一的数据格式：infoDataStruct，此数据结构中包含有感知目标的位置、速度、加速度、协方差、车道线三次曲线方程参数等量，包含有定位数据位置、速度、加速度、角速度、航向角、角速度变化率、加速度变化率等信息，包含有轨迹点坐标、轨迹曲率、轨迹长度等信息，还包含有控制车身速度、加减速度、方向盘转角、转角变换率等。同时输入数据还具有标签属性，可在数据采集时，通过人工输入特殊场景的标记，例如采集过程遇到S型弯道，则采集员手动在程序输入此段数据为S弯场景的标签记录。本步骤所述的评测场景作为待评测数据的标签，在待评测数据采集过程中输入，或者在加载待评测数据时输入。本步骤根据评测场景加载标准场景数据作为真值数据时，从标准场景库中加载真值数据，库中的真值数据是采集的高精度传感数据且经过离线人工校验。例如128线激光雷达测出的感知障碍物位置、大小，高精度光纤惯导测出的加速度、角速度、航向角度，高精地地图输出的道路曲率、坡度等数据，其存储格式和所述infoDataStruct数据格式一致。本步骤可以根据用户选择的待评测场景，加载相关的标准场景库数据。步骤S2：根据上述输入的待评测数据，计算生成其特征量。本专利技术获取特征量的方式为：在一段时间内，跟踪待评测数本文档来自技高网...

【技术保护点】
1.一种自动驾驶系统测试分析方法，其特征在于，包括：/n步骤1、加载待评测数据，指定所需评测的评测指标和评测场景；根据评测场景加载标准场景数据作为真值数据；/n步骤2、获取待评测数据的特征量；/n步骤3、根据特征量一致性和/或位置一致性将待评测数据与真值数据进行配对，形成数据对；所述位置一致性是指待评测数据中定位数据的一致性；所述特征量一致性是指特征量误差小于阈值；/n步骤4、确定所述数据对匹配评测场景和评测指标的匹配度，将匹配度超过阈值的数据对作为分析对象；/n步骤5、针对分析对象进行评测指标的分析，获得评测结果。/n

【技术特征摘要】
1.一种自动驾驶系统测试分析方法，其特征在于，包括：
步骤1、加载待评测数据，指定所需评测的评测指标和评测场景；根据评测场景加载标准场景数据作为真值数据；
步骤2、获取待评测数据的特征量；
步骤3、根据特征量一致性和/或位置一致性将待评测数据与真值数据进行配对，形成数据对；所述位置一致性是指待评测数据中定位数据的一致性；所述特征量一致性是指特征量误差小于阈值；
步骤4、确定所述数据对匹配评测场景和评测指标的匹配度，将匹配度超过阈值的数据对作为分析对象；
步骤5、针对分析对象进行评测指标的分析，获得评测结果。


2.如权利要求1所述的方法，其特征在于，待评测数据的描述参数包括自动驾驶系统的感知信息、定位信息、轨迹信息、车身运动信息；
所述感知信息包括感知目标位置、感知目标速度、感知目标加速度、感知目标协方差、车道线曲线方程参数中的一种或多种组合；
所述定位信息包括通过定位系统获得的车体位置、速度、加速度、角速度、航向角、角速度变化率、加速度变化率中的一种或多种组合；
所述轨迹信息包括轨迹点坐标、轨迹曲率、轨迹长度、
所述车身运动信息通过车体上的传感器获取的车身速度、加速度、方向盘转角、转角变换率中的一种或多种组合。


3.如权利要求1所述的方法，其特征在于，所述评测场景作为待评测数据的标签，在待评测数据采集过程中输入，或者在加载待评测数据时输入。


4.如权利要求1所述的方法，其特征在于，所述步骤2获取待评测数据的特征量为：跟踪待评测数据中各描述参数的变化趋势，如果某一或某些描述参数连续n次波动量均超过设定幅度，则计算描述参数的统计特征，如果统计特征大于或等于设定的统计特征阈值，则将描述参数的统计特性值作为特征量；n为设定值。


5.如权利要求4所述的方法，其特征在于，获取所述特征量时，所跟踪的描述参数包括车体速度、加速度、曲率...

【专利技术属性】
技术研发人员：倪俊，肖乔木，熊周兵，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11