【技术实现步骤摘要】
本申请涉及人工智能领域，尤其涉及一种机器学习模型的测评方法、数据处理方法以及相关设备。
技术介绍
1、人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能，将机器学习模型应用于自动驾驶领域是人工智能的一种常见的应用方式。
2、目前，为了对训练后的机器学习模型进行测评，可以建立仿真的交通环境，使得搭载了机器学习模型的车辆在仿真的交通环境中行驶，从而能够对多个机器学习模型的性能进行测评。
3、但是，由于建立仿真的交通环境所消耗的计算机资源较多，且建立仿真的交通环境这一过程耗时较长，导致测评效率较低。
技术实现思路
1、为解决上述技术问题，本申请提供了一种机器学习模型的测评方法、数据处理方法以及相关设备，采用的测评指标是在交通场景这一粒度上构建的，由于车辆行驶过程中是具有连续性的，“在交通场景这一粒度上构建测评指标”更能准确的反映出机器学习模型应用于车辆行驶过程中的性能；此外，本申请提供的方案不需要建立仿真的交通场景，降低了机器学习模型的测评过程所消耗的计算机资源且提高了测评效率。
2、本申请提供的技术方
3、第一方面，本申请实施例提供一种机器学习模型的测评方法，可用于人工智能中的自动驾驶领域，方法包括：第一设备获取第一测评样本，第一测评样本包括第一交通场景在第一时长内的描述数据，第一测评样本包括多个第一片段数据，每个第一片段数据包括第一交通场景在第一子时长内的描述数据，第一时长可以包含一个或多个第一子时长；示例性地，前述描述数据可以具体表现为视频、图像、场景描述文件或其他类型的数据等等，例如，场景描述文件中可以包括第一交通场景中每个交通参与者的位置、速度、加速度或其他状态信息等。
4、第一设备通过第一机器学习模型对多个第一片段数据进行处理，得到与多个第一片段数据一一对应的多个第一预测标签；进而根据多个第一预测标签，确定至少一个测评指标的第一参数值。
5、其中，至少一个测评指标指示第一机器学习模型生成多个第一预测标签时的稳定性，和/或，至少一个测评指标指示第一机器学习模型在第一交通场景中生成的多个第一预测标签的准确性，多个第一预测标签的准确性基于多个第一预测标签以及与多个第一片段数据对应的真值得到。
6、例如，第一测评指标可以代表多个第一预测标签的跳变次数，多个第一预测标签的跳变次数越小，多个第一预测标签的稳定性越好；又例如，第一测评指标可以代表多个第一预测标签的跳变频率，多个第一预测标签的跳变频率可以为多个第一预测标签的跳变次数与多个第一预测标签的总数量之间的比值，多个第一预测标签的跳变频率越低，代表多个第一预测标签的稳定性越好。“多个第一预测标签的准确性”可以采用多个第一预测标签的准确率，第一预测标签的准确率可以代表多个第一预测标签中与真值一致的第一预测标签的数量与多个第一预测标签的总数量之间的比值。
7、本实现方式中，通过第一机器学习模型针对某一交通场景的描述数据生成多个第一预测标签，进而基于多个第一预测标签对第一机器学习模型在前述交通场景中的表现进行测评，采用的测评指标指示第一机器学习模型生成多个第一预测标签时的稳定性，和/或，至少一个测评指标指示第一机器学习模型在第一交通场景中生成的多个第一预测标签的准确性，也即本申请中采用的测评指标是在交通场景这一粒度上构建的，由于车辆行驶过程中是具有连续性的，“在交通场景这一粒度上构建测评指标”更能准确的反映出机器学习模型应用于车辆行驶过程中的性能；此外，本申请提供的方案不需要建立仿真的交通场景，降低了机器学习模型的测评过程所消耗的计算机资源且提高了测评效率。
8、在第一方面的一种可能实现方式中，第一测评样本可以基于路测数据得到，路测数据包括自动驾驶车辆在道路上行驶时所采集到的交通场景的描述数据；可选地，路测数据可以包括自动驾驶车辆在真实的道路上行驶时所采集到的交通场景的描述数据。“自动驾驶车辆”可以配置为完全或部分地自动驾驶模式。本实现方式中，由于第一机器学习模型配置于车辆中是为了实现车辆的自动驾驶模式，“采用路测数据来对第一机器学习模型的性能进行测评”这一行为使得“对第一机器学习模型进行测评的过程”与“第一机器学习模型的实际应用过程”更为类似，使得得到的测评结果更为准确。
9、在第一方面的一种可能实现方式中，在基于第一测评样本得到的上述至少一个测评指标的第一参数值不满足第二条件的情况下，代表第一机器学习模型在第一交通场景中未通过测评。本实现方式中，明确了第一机器学习模型在某一交通场景中未通过测评的判断条件，降低了本方案的实现难度。
10、在第一方面的一种可能实现方式中，当第一机器学习模型生成与第一评测样本对应的多个预测标签时的稳定性不满足第一子条件，和/或，当与第一评测样本对应的多个预测标签的准确性不满足第二子条件时，视为至少一个测评指标的第一参数值不满足第二条件。
11、例如，当与第一评测样本对应的多个预测标签的跳变次数大于或等于预设次数，可以视为多个第一预测标签时的稳定性不满足第一子条件；或者，当与第一评测样本对应的多个预测标签的跳变频率大于或等于预设值时，可以视为多个第一预测标签时的稳定性不满足第一子条件。
12、当与第一评测样本对应的多个预测标签的准确率小于或等于预设准确率时，可以视为多个第一预测标签的准确性不满足第二子条件。
13、在第一方面的一种可能实现方式中，第一设备根据多个第一预测标签，确定至少一个测评指标的第一参数值之后，方法还包括：第一设备通过第二机器学习模型对第一训练样本进行处理，得到与第一训练样本对应的第二预测标签，第一训练样本与第二测评样本之间的相似度满足第一条件，其中，第一训练样本与第二测评样本均包括交通场景的描述数据，第二测评样本为对第一机器学习模型进行测评时得到的至少一个测评指标的参数值不满足第二条件的测评样本；需要说明的是，“第二测评样本”与“第一测评样本”的含义类似，均为第一机器学习模型的测评样本集中的测评样本，区别在于，“第一测评样本”为在对第一机器学习模型进行测评时采用的任意一个测评样本，而通过“第二测评样本”对第一机器学习模型进行测评后得到的至少一个测评指标的参数值不满足第二条件。
14、第一设备通过第二机器学习模型对第二训练样本进行处理，得到与第二训练样本对应的第二预测标签，第二训练样本与第一训练样本不同；并通过第一机器学习模型对第二训练样本进行处理，得到与第二训练样本对应的第一预测标签。
15、第一设备根据第一损失项和第二损失项，对第二机器学习模型进行更新，其中，第一损失本文档来自技高网...
【技术保护点】
1.一种机器学习模型的测评方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述第一测评样本基于路测数据得到，所述路测数据包括自动驾驶车辆在道路上行驶时所采集到的交通场景的描述数据。
3.根据权利要求1或2所述的方法，其特征在于，在所述至少一个测评指标的第一参数值不满足第二条件的情况下，代表所述第一机器学习模型在所述第一交通场景中未通过测评。
4.根据权利要求1或2所述的方法，其特征在于，所述根据所述多个第一预测标签，确定至少一个测评指标的第一参数值之后，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1或2所述的方法，其特征在于，所述第一机器学习模型的测评样本集包括多个测评样本，目标测评样本为所述第一机器学习模型的测评样本集中任意一个，所述目标测评样本基于行驶数据得到，所述行驶数据包括交通场景的描述数据以及与交通场景的描述数据对应的原始标签，所述目标测评样本包括交通场景的描述数据以及与交通场景的描述数据对应的真值；
7.根据权利要求6所
8.根据权利要求1或2所述的方法，其特征在于，通过所述第一机器学习模型执行的任务类型包括如下的一种或多种：确定是否抢行、确定是否让道或者确定是否限速。
9.一种数据处理方法，其特征在于，所述方法包括：
10.根据权利要求9所述的方法，其特征在于，所述第一训练样本与第二测评样本之间的相似度满足第一条件，所述第二测评样本为对所述第一机器学习模型进行测评时得到的至少一个测评指标的参数值不满足第二条件的测评样本。
11.根据权利要求10所述的方法，其特征在于，所述通过第二机器学习模型对第一训练样本进行处理之前，所述方法还包括：
12.一种机器学习模型的测评装置，其特征在于，所述装置包括：
13.根据权利要求12所述的装置，其特征在于，所述第一测评样本基于路测数据得到，所述路测数据包括自动驾驶车辆在道路上行驶时所采集到的交通场景的描述数据。
14.根据权利要求12或13所述的装置，其特征在于，在所述至少一个测评指标的第一参数值不满足第二条件的情况下，代表所述第一机器学习模型在所述第一交通场景中未通过测评。
15.根据权利要求12或13所述的装置，其特征在于，
16.根据权利要求15所述的装置，其特征在于，所述装置还包括：
17.根据权利要求12或13所述的装置，其特征在于，所述第一机器学习模型的测评样本集包括多个测评样本，目标测评样本为所述第一机器学习模型的测评样本集中任意一个，所述目标测评样本基于行驶数据得到，所述行驶数据包括交通场景的描述数据以及与交通场景的描述数据对应的原始标签，所述目标测评样本包括交通场景的描述数据以及与交通场景的描述数据对应的真值；
18.根据权利要求17所述的装置，其特征在于，
19.根据权利要求12或13所述的装置，其特征在于，通过所述第一机器学习模型执行的任务类型包括如下的一种或多种：确定是否抢行、确定是否让道或者确定是否限速。
20.一种数据处理装置，其特征在于，所述装置包括：
21.根据权利要求20所述的装置，其特征在于，所述第一训练样本与第二测评样本之间的相似度满足第一条件，所述第二测评样本为对所述第一机器学习模型进行测评时得到的至少一个测评指标的参数值不满足第二条件的测评样本。
22.根据权利要求21所述的装置，其特征在于，所述装置还包括：
23.一种设备，其特征在于，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现权利要求1至11中任一项所述的方法。
24.一种计算机可读存储介质，包括程序，当其在计算机上运行时，使得计算机执行如权利要求1至11中任一项所述的方法。
25.一种电路系统，其特征在于，所述电路系统包括处理电路，所述处理电路配置为执行如权利要求1至11中任一项所述的方法。
...【技术特征摘要】
1.一种机器学习模型的测评方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述第一测评样本基于路测数据得到，所述路测数据包括自动驾驶车辆在道路上行驶时所采集到的交通场景的描述数据。
3.根据权利要求1或2所述的方法，其特征在于，在所述至少一个测评指标的第一参数值不满足第二条件的情况下，代表所述第一机器学习模型在所述第一交通场景中未通过测评。
4.根据权利要求1或2所述的方法，其特征在于，所述根据所述多个第一预测标签，确定至少一个测评指标的第一参数值之后，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1或2所述的方法，其特征在于，所述第一机器学习模型的测评样本集包括多个测评样本，目标测评样本为所述第一机器学习模型的测评样本集中任意一个，所述目标测评样本基于行驶数据得到，所述行驶数据包括交通场景的描述数据以及与交通场景的描述数据对应的原始标签，所述目标测评样本包括交通场景的描述数据以及与交通场景的描述数据对应的真值；
7.根据权利要求6所述的方法，其特征在于，
8.根据权利要求1或2所述的方法，其特征在于，通过所述第一机器学习模型执行的任务类型包括如下的一种或多种：确定是否抢行、确定是否让道或者确定是否限速。
9.一种数据处理方法，其特征在于，所述方法包括：
10.根据权利要求9所述的方法，其特征在于，所述第一训练样本与第二测评样本之间的相似度满足第一条件，所述第二测评样本为对所述第一机器学习模型进行测评时得到的至少一个测评指标的参数值不满足第二条件的测评样本。
11.根据权利要求10所述的方法，其特征在于，所述通过第二机器学习模型对第一训练样本进行处理之前，所述方法还包括：
12.一种机器学习模型的测评装置，其特征在于，所述装置包括：
13.根据权利要求12所述的装置，其特征在于，所述第一测评样本基于路测数据得到，所述路测数据包括...
【专利技术属性】
技术研发人员：王志涛，孙凯，程思源，陈玉莹，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。