本公开是关于一种自动驾驶软件的版本测试方法、装置、设备及存储介质，其中，该方法包括：获取第一场景的第一感知数据和第一感知数据的第一真值；获取第一场景的第二感知数据和第二感知数据的第二真值；根据第一感知数据和第一真值对待发版本的感知模型进行评测，获得感知模型的第一评测指标；根据第二感知数据和第二真值对自动驾驶软件进行评测，获得自动驾驶软件的第二评测指标；根据第一评测指标和第二评测指标，获取自动驾驶软件的版本测试结果。本公开的技术方案能够结合感知模型和自动驾驶软件等多方面的评测质保，对自动驾驶软件的综合性能进行全面评价，从而提升实车路测和仿真测试的效率。仿真测试的效率。仿真测试的效率。
【技术实现步骤摘要】
自动驾驶软件的版本测试方法、装置、设备及存储介质
[0001]本公开涉及自动驾驶
，尤其涉及一种自动驾驶软件的版本测试方法、装置、设备及存储介质。
技术介绍
[0002]为保证自动驾驶的体验和安全性，需要对车辆自动驾驶软件进行充分的测试。测试分为软件测试，实车路测以及仿真测试等三种。如何在实车测试前对自动驾驶软件进行充分测试，是提高实车路测效率的一个关键因素，并且经过充分软件测试的自动驾驶软件的版本也可以提高实车路测和仿真测试的效率。
[0003]相关技术中，通常采用模型和软件解耦测试的方法对自动驾驶软件进行软件测试。例如将精准率放在模型端测试，后处理只评测测速误差和测距误差等指标，这种技术方案无法保证自动驾驶软件的输出结果对下游的交付质量。
技术实现思路
[0004]为克服相关技术中存在的问题，本公开提供一种自动驾驶软件的版本测试方法、装置、电子设备及存储介质。
[0005]根据本公开实施例的第一方面，提供一种自动驾驶软件的版本测试方法包括：获取第一场景的第一感知数据和所述第一感知数据的第一真值；其中，所述第一感知数据为二维数据；获取所述第一场景的第二感知数据和所述第二感知数据的第二真值；其中，所述第二感知数据为携带时序信息的三维数据；根据所述第一感知数据和所述第一真值对待发版本的感知模型进行评测，获得所述感知模型的第一评测指标；根据所述第二感知数据和所述第二真值对自动驾驶软件进行评测，获得所述自动驾驶软件的第二评测指标；其中，所述自动驾驶软件为将所述感知模型进行部署脚本转化后并增加了后处理的工程软件；根据所述第一评测指标和所述第二评测指标，获取所述自动驾驶软件的版本测试结果。
[0006]在一种实现方式中，所述根据所述第一感知数据和所述第一真值对待发版本的感知模型进行评测，获得所述感知模型的第一评测指标，包括：将所述第一感知数据输入至所述待发版本的感知模型，获得所述感知模型输出的第一感知预测结果；根据所述第一感知预测结果和所述第一真值，计算第一召回率和/或第一准确率；将所述第一召回率和/或所述第一准确率，确定为所述感知模型的第一评测指标。
[0007]在一种实现方式中，所述根据所述第二感知数据和所述第二真值对自动驾驶软件进行评测，获得所述自动驾驶软件的第二评测指标，包括：将所述第二感知数据输入至所述自动驾驶软件，获得所述自动驾驶软件输出的第二感知预测结果；根据所述第二感知预测结果和所述第二真值，计算第二召回率和/或第二准确率；根据所述第二感知预测结果、所述第二真值和所述感知数据中的所述时序信息，获取测距误差指标和/或测速误差指标；将所述第二召回率和/或第二准确率、所述测距误差指标和/或所述测速误差指标，确定为自动驾驶软件的第二评测指标。
[0008]在一种实现方式中，所述方法还包括：确定所述第一评测指标是否符合所述感知模型的发版标准；在所述第一评测指标符合所述发版标准的情况下，将符合所述发版标准的感知模型进行部署脚本转化后并增加了后处理的工程软件。
[0009]在一种实现方式中，所述方法还包括：根据所述版本测试结果，确定性能不通过的场景以及指标项；根据所述性能不通过的场景以及指标项，对所述自动驾驶软件进行优化。
[0010]根据本公开实施例的第二方面，提供一种自动驾驶软件的版本测试装置，包括：第一获取模块，用于获取第一场景的第一感知数据和所述第一感知数据的第一真值；其中，所述第一感知数据为二维数据；第二获取模块，用于获取所述第一场景的第二感知数据和所述第二感知数据的第二真值；其中，所述第二感知数据为携带时序信息的三维数据；第一评测模块，用于根据所述第一感知数据和所述第一真值对待发版本的感知模型进行评测，获得所述感知模型的第一评测指标；第二评测模块，用于根据所述第二感知数据和所述第二真值对自动驾驶软件进行评测，获得所述自动驾驶软件的第二评测指标；其中，所述自动驾驶软件为将所述感知模型进行部署脚本转化后并增加了后处理的工程软件；第三获取模块，用于根据所述第一评测指标和所述第二评测指标，获取所述自动驾驶软件的版本测试结果。
[0011]在一种实现方式中，所述第一评测模块具体用于：将所述第一感知数据输入至所述待发版本的感知模型，获得所述感知模型输出的第一感知预测结果；根据所述第一感知预测结果和所述第一真值，计算第一召回率和/或第一准确率；将所述第一召回率和/或所述第一准确率，确定为所述感知模型的第一评测指标。
[0012]在一种实现方式中，所述第二评测模块具体用于：将所述第二感知数据输入至所述自动驾驶软件，获得所述自动驾驶软件输出的第二感知预测结果；根据所述第二感知预测结果和所述第二真值，计算第二召回率和/或第二准确率；根据所述第二感知预测结果、所述第二真值和所述感知数据中的所述时序信息，获取测距误差指标和/或测速误差指标；将所述第二召回率和/或第二准确率、所述测距误差指标和/或所述测速误差指标，确定为自动驾驶软件的第二评测指标。
[0013]在一种实现方式中，所述装置还包括：第一确定模块，用于确定所述第一评测指标是否符合所述感知模型的发版标准；处理模块，用于在所述第一评测指标符合所述发版标准的情况下，将符合所述发版标准的感知模型进行部署脚本转化后并增加了后处理的工程软件。
[0014]在一种实现方式中，所述装置还包括：第二确定模块，用于根据所述版本测试结果，确定性能不通过的场景以及指标项；优化模块，用于根据所述性能不通过的场景以及指标项，对所述自动驾驶软件进行优化。
[0015]根据本公开实施例的第三方面，提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前述第一方面所述的方法。
[0016]根据本公开实施例的第四方面，提供一种计算机可读存储介质，用于存储有指令，当所述指令被执行时，使如第一方面所述的方法被实现。
[0017]根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述
计算机程序被处理器执行时实现第一方面所述方法的步骤。
[0018]本公开的实施例提供的技术方案可以包括以下有益效果：可以基于第一场景的第一感知数据和第一感知数据的第一真值获得感知模型的第一评测指标，并基于第一场景的第二感知数据和第二感知数据的第二真值获得自动驾驶软件的第二评测指标，从而根据第一评测指标和第二评测指标，获取自动驾驶软件的版本测试结果。能够结合感知模型和自动驾驶软件等多方面的评测质保，对自动驾驶软件的综合性能进行全面评价，从而提升实车路测和仿真测试的效率，并为自动驾驶软件的版本发布提供支持。
[0019]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0021]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。...
【技术保护点】
【技术特征摘要】
1.一种自动驾驶软件的版本测试方法，其特征在于，包括：获取第一场景的第一感知数据和所述第一感知数据的第一真值；其中，所述第一感知数据为二维数据；获取所述第一场景的第二感知数据和所述第二感知数据的第二真值；其中，所述第二感知数据为携带时序信息的三维数据；根据所述第一感知数据和所述第一真值对待发版本的感知模型进行评测，获得所述感知模型的第一评测指标；根据所述第二感知数据和所述第二真值对自动驾驶软件进行评测，获得所述自动驾驶软件的第二评测指标；其中，所述自动驾驶软件为将所述感知模型进行部署脚本转化后并增加了后处理的工程软件；根据所述第一评测指标和所述第二评测指标，获取所述自动驾驶软件的版本测试结果。2.如权利要求1所述的方法，其特征在于，所述根据所述第一感知数据和所述第一真值对待发版本的感知模型进行评测，获得所述感知模型的第一评测指标，包括：将所述第一感知数据输入至所述待发版本的感知模型，获得所述感知模型输出的第一感知预测结果；根据所述第一感知预测结果和所述第一真值，计算第一召回率和/或第一准确率；将所述第一召回率和/或所述第一准确率，确定为所述感知模型的第一评测指标。3.如权利要求1所述的方法，其特征在于，所述根据所述第二感知数据和所述第二真值对自动驾驶软件进行评测，获得所述自动驾驶软件的第二评测指标，包括：将所述第二感知数据输入至所述自动驾驶软件，获得所述自动驾驶软件输出的第二感知预测结果；根据所述第二感知预测结果和所述第二真值，计算第二召回率和/或第二准确率；根据所述第二感知预测结果、所述第二真值和所述感知数据中的所述时序信息，获取测距误差指标和/或测速误差指标；将所述第二召回率和/或第二准确率、所述测距误差指标和/或所述测速误差指标，确定为自动驾驶软件的第二评测指标。4.如权利要求1所述的方法，其特征在于，还包括：确定所述第一评测指标是否符合所述感知模型的发版标准；在所述第一评测指标符合所述发版标准的情况下，将符合所述发版标准的感知模型进行部署脚本转化后并增加了后处理的工程软件。5.如权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：根据所述版本测试结果，确定性能不通过的场景以及指标项；根据所述性能不通过的场景以及指标项，对所述自动驾驶软件进行优化。6.一种自动驾驶软件的版本测试装置，其特征在于，包括：第一获取模块，用于获取第一场景的第一感知数据和所述第一感知数据的第一真值；其中，所述第一感知数据为二维数据；第二获取模块，用于获取所述第一场...
【专利技术属性】
技术研发人员：张琼，
申请(专利权)人：小米汽车科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。