模型的精度确定方法以及相关装置、设备制造方法及图纸

本申请公开了模型的精度确定方法以及相关装置、设备，其中，模型的精度确定方法包括：将相同的待预测对象分别输入到预设平台中的目标模型以及落地平台中的目标模型中；依次获取预设平台中的目标模型在各预测子节点对待预测对象进行处理的第一输出结果，以及落地平台中的目标模型在各预测子节点对待预测对象进行处理的第二输出结果；分别将第一输出结果与第二输出结果中对应相同的预测子节点的输出结果进行对比，并基于对比结果确定落地平台中目标模型的各预测子节点的精度；其中，目标模型的各预测子节点是基于输出结果的类型区别进行划分得到的。上述方案，能够提高模型的精度损失判断效率以及精度损失的定位效率。精度损失判断效率以及精度损失的定位效率。精度损失判断效率以及精度损失的定位效率。

【技术实现步骤摘要】
模型的精度确定方法以及相关装置、设备


[0001]本申请涉及模型精度的
，特别是涉及模型的精度确定方法以及相关装置、设备。

技术介绍

[0002]自模拟人类实际神经网络的数学方法，即神经网络模型问世以来，神经网络模型在系统辨识、模式识别、智能控制等多种领域有着广泛的应用和可观的前景。
[0003]而目前算法训练出的神经网络模型落地到实际平台过程中，可能会出现掉精度的问题，而这种问题主要是因为实际平台模型转换中存在量化过程而导致的，量化可能会使得神经网络模型的应用出现一定的精度损失。
[0004]当神经网络模型落地到实际平台过程后，往往通过人工来判断模型的精度损失以及精度损失定位，效率低下。

技术实现思路

[0005]本申请提供了模型的精度确定方法以及相关装置、设备，解决现有技术中存在的模型的精度损失判断以及精度损失定位效率低下的问题。
[0006]本申请提供了一种模型的精度确定方法，包括：将相同的待预测对象分别输入到预设平台中的目标模型以及落地平台中的目标模型中；依次获取预设平台中的目标模型在各预测子节点对待预测对象进行处理的第一输出结果，以及落地平台中的目标模型在各预测子节点对待预测对象进行处理的第二输出结果；分别将第一输出结果与第二输出结果中对应相同的预测子节点的输出结果进行对比，并基于对比结果确定落地平台中目标模型的各预测子节点的精度；其中，目标模型的各预测子节点是基于输出结果的类型区别进行划分得到的。
[0007]其中，分别将第一输出结果与第二输出结果中对应相同的预测子节点的输出结果进行对比，并基于对比结果确定落地平台中目标模型的各预测子节点的精度的步骤包括：分别将第一输出结果与第二输出结果中对应相同的预测子节点的输出结果进行对比，得到第二输出结果在各预测子节点相对于第一输出结果的准确率；响应于准确率小于对应的预测子节点的准确率阈值，确定落地平台中的目标模型在预测子节点的预测结果的精度不合格。
[0008]其中，依次获取预设平台中的目标模型在各预测子节点对待预测对象进行处理的第一输出结果，以及落地平台中的目标模型在各预测子节点对待预测对象进行处理的第二输出结果的步骤包括：待预测对象为多个时，分别得到预设平台中的目标模型在各预测子节点处理后的多个第一输出结果，以及落地平台中的目标模型在各预测子节点处理后的多个第二输出结果；分别将第一输出结果与第二输出结果中对应相同的预测子节点的输出结果进行对比，并基于对比结果确定落地平台中目标模型的各预测子节点的精度的步骤还包括：依次分别将相同的待预测对象的第一输出结果与第二输出结果中对应相同的预测子节
点的输出结果进行对比，得到各待预测对象在各预测子节点的准确率；获取到多个待预测对象在相同的预测子节点的平均准确率，并基于平均准确率得到落地平台中目标模型的各预测子节点的精度。
[0009]其中，依次获取预设平台中的目标模型在各预测子节点对待预测对象进行处理的第一输出结果，以及落地平台中的目标模型在各预测子节点对待预测对象进行处理的第二输出结果，分别将第一输出结果与第二输出结果中对应相同的预测子节点的输出结果进行对比，并基于对比结果确定落地平台中目标模型的各预测子节点的精度的步骤还包括：依次获取预设平台的目标模型在预测子节点的各网络层的第三输出结果，以及落地平台的目标模型在预测子节点的各网络层的第四输出结果；分别将第三输出结果与第四输出结果中对应相同的网络层的输出结果进行对比，确定落地平台的目标模型的预测子节点的各网络层的精度，以确定各预测子节点的精度。
[0010]其中，依次获取预设平台的目标模型在预测子节点的各网络层的第三输出结果，以及落地平台的目标模型在预测子节点的各网络层的第四输出结果的步骤之前，还包括：对目标模型进行参数配置，以将输出节点添加至目标模型的各网络层中；通过平台转换工具对目标模型进行转换，以将目标模型应用于落地平台以及预设平台。
[0011]其中，第一输出结果和第二输出结果对应相同的预测子节点均包括至少一种相同类型的输出结果；分别将第一输出结果与第二输出结果中对应相同的预测子节点的输出结果进行对比，得到第二输出结果在各预测子节点相对于第一输出结果的准确率的步骤还包括：基于预设规则利用各预测子节点的至少一种类型的输出结果进行综合计算，得到第二输出结果在各预测子节点相对于第一输出结果的准确率。
[0012]其中，预测子节点的输出结果包括分类类别以及置信度时，利用预设规则利用各预测子节点的至少一种类型的输出结果进行综合计算，得到第二输出结果在各预测子节点相对于第一输出结果的准确率的步骤，包括：响应于相同的预测子节点中，第一输出结果与第二输出结果的相同类型的输出结果的分类类别相同，利用置信度确定第二输出结果在预测子节点相对于第一输出结果的准确率；和/或预测子节点的输出结果包括检测类别、置信度以及坐标框时，利用预设规则利用各预测子节点的至少一种类型的输出结果进行综合计算，得到第二输出结果在各预测子节点相对于第一输出结果的准确率的步骤，包括：将第一输出结果与第二输出结果中对应相同坐标的坐标框建立关联；响应于第一输出结果与第二输出结果建立关联的坐标框的检测类别相同，基于第一输出结果中坐标框的数量、第二输出结果中坐标框的数量以及类别相同的坐标框的数量确定第二输出结果在各预测子节点相对于第一输出结果的准确率；和/或预测子节点的输出结果包括特征数据时，利用预设规则利用各预测子节点的至少一种类型的输出结果进行综合计算，得到第二输出结果在各预测子节点相对于第一输出结果的准确率的步骤，包括：利用第一输出结果的特征数据和第二输出结果的特征数据确定第二输出结果在各预测子节点相对于第一输出结果的准确率。
[0013]其中，预测子节点的输出结果包括分类类别以及置信度时，利用置信度确定第二输出结果在预测子节点相对于第一输出结果的准确率的步骤包括：利用第二输出结果在预测子节点的置信度ref_conf以及第一输出结果在预测子节点的置信度self_conf基于公式accuracy=1
–
abs(ref_conf
–
self_conf)/ref_conf)计算第二输出结果在预测子节点相对于第一输出结果的准确率accuracy；其中，abs()指计算绝对值；预测子节点的输出结果包
括检测类别、置信度以及坐标框时，基于第一输出结果中坐标框的数量、第二输出结果中坐标框的数量以及类别相同的坐标框的数量确定第二输出结果在各预测子节点相对于第一输出结果的准确率的步骤包括：基于第一输出结果中坐标框的数量n、第二输出结果中坐标框的数量m以及类别相同的坐标框的数量c利用公式accuracy=Tp/(Tp+Fn+Fp)=c/(m+n
‑
c)确定第二输出结果在各预测子节点相对于第一输出结果的准确率accuracy；其中，Tp=c，Fn=n
–
c以及Fp=m
–
c；预测子节点的输出结果包括特征数据时，利用第一输出结果的特征数据和第二输出结果的特征数据确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型的精度确定方法，其特征在于，所述模型的精度确定方法包括：将相同的待预测对象分别输入到预设平台中的目标模型以及落地平台中的目标模型中；依次获取所述预设平台中的目标模型在各预测子节点对所述待预测对象进行处理的第一输出结果，以及所述落地平台中的目标模型在各预测子节点对所述待预测对象进行处理的第二输出结果；分别将所述第一输出结果与所述第二输出结果中对应相同的预测子节点的输出结果进行对比，并基于对比结果确定所述落地平台中所述目标模型的各预测子节点的精度；其中，所述目标模型的各预测子节点是基于输出结果的类型区别进行划分得到的。2.根据权利要求1所述的模型的精度确定方法，其特征在于，所述分别将所述第一输出结果与所述第二输出结果中对应相同的预测子节点的输出结果进行对比，并基于对比结果确定所述落地平台中所述目标模型的各预测子节点的精度的步骤包括：分别将所述第一输出结果与所述第二输出结果中对应相同的预测子节点的输出结果进行对比，得到所述第二输出结果在各所述预测子节点相对于所述第一输出结果的准确率；响应于所述准确率小于对应的预测子节点的准确率阈值，确定所述落地平台中的目标模型在所述预测子节点的预测结果的精度不合格。3.根据权利要求1或2所述的模型的精度确定方法，其特征在于，所述依次获取所述预设平台中的目标模型在各预测子节点对所述待预测对象进行处理的第一输出结果，以及所述落地平台中的目标模型在各预测子节点对所述待预测对象进行处理的第二输出结果的步骤包括：所述待预测对象为多个时，分别得到所述预设平台中的目标模型在各预测子节点处理后的多个第一输出结果，以及所述落地平台中的目标模型在各预测子节点处理后的多个第二输出结果；所述分别将所述第一输出结果与所述第二输出结果中对应相同的预测子节点的输出结果进行对比，并基于对比结果确定所述落地平台中所述目标模型的各预测子节点的精度的步骤还包括：依次分别将相同的待预测对象的第一输出结果与第二输出结果中对应相同的预测子节点的输出结果进行对比，得到各所述待预测对象在各所述预测子节点的准确率；获取到多个所述待预测对象在相同的预测子节点的平均准确率，并基于所述平均准确率得到所述落地平台中所述目标模型的各预测子节点的精度。4.根据权利要求1或2所述的模型的精度确定方法，其特征在于，所述依次获取所述预设平台中的目标模型在各预测子节点对所述待预测对象进行处理的第一输出结果，以及所述落地平台中的目标模型在各预测子节点对所述待预测对象进行处理的第二输出结果，分别将所述第一输出结果与所述第二输出结果中对应相同的预测子节点的输出结果进行对比，并基于对比结果确定所述落地平台中所述目标模型的各预测子节点的精度的步骤还包括：依次获取所述预设平台的目标模型在所述预测子节点的各网络层的第三输出结果，以及所述落地平台的目标模型在所述预测子节点的各网络层的第四输出结果；
分别将所述第三输出结果与所述第四输出结果中对应相同的网络层的输出结果进行对比，确定所述落地平台的所述目标模型的所述预测子节点的各网络层的精度，以确定各预测子节点的精度。5.根据权利要求4所述的模型的精度确定方法，其特征在于，所述依次获取所述预设平台的所述目标模型在所述预测子节点的各网络层的第三输出结果，以及所述落地平台的所述目标模型在所述预测子节点的各网络层的第四输出结果的步骤之前，还包括：对目标模型进行参数配置，以将输出节点添加至所述目标模型的各网络层中；通过平台转换工具对所述目标模型进行转换，以将所述目标模型应用于所述落地平台以及所述预设平台。6.根据权利要求2所述的模型的精度确定方法，其特征在于，所述第一输出结果和所述第二输出结果对应相同的预测子节点均包括至少一种相同类型的输出结果；所述分别将所述第一输出结果与所述第二输出结果中对应相同的预测子节点的输出结果进行对比，得到所述第二输出结果在各所述预测子节点相对于所述第一输出结果的准确率的步骤还包括：基于预设规则利用各所述预测子节点的至少一种类型的输出结果进行综合计算，得到所述第二输出结果在各所述预测子节点相对于所述第一输出结果的准确率。7.根据权利要求6所述的模型的精度确定方法，其特征在于，所述预测子节点的输出结果包括分类类别以及置信度时，所述利用预设规则利用各所述预测子节点的至少一种类型的输出结果进行综合计算，得到所述第二输出结果在各所述预测子节点相对于所述第一输出结果的准确率的步骤，包括：响应于相同的预测子节点中，所述第一输出结果与所述第二输出结果的相同类型的输出结果的分类类别相同，利用所述置信度确定所述第二输出结果在所述预测子节点相对于所述第一输出结果的准确率；和/或所述预测子节点的输出结果包括检测类别、置信度以及坐标框时，所述利用预设规则利用各所述预测子节点的至少一种类型的输出结果进行综合计算，得到所述第二输出结果在各所述预测子节点相对于所述第一输出结果的准确率的步骤，包括：将所述第一输出结果与所述第二输出结果中对应相同坐标的坐标框建立关联；响应于所述第一输出结果...

【专利技术属性】
技术研发人员：汪照，陈波扬，孙伶君，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：