模型数据处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种模型数据处理方法、装置、计算机设备和存储介质。方法包括：确定目标模型集合，将目标样本输入到目标模型中进行预测，得到目标预测结果；利用待训练的评估模型对目标预测结果进行评估，得到目标模型对应的目标模型评估分数；根据目标模型对应的目标模型评估分数的大小关系对目标模型集合进行排列，得到目标模型序列；获取标准模型序列，根据目标模型序列以及标准模型序列得到模型损失值，目标模型序列与标准模型序列之间的相关度与模型损失值成负相关关系；基于模型损失值对待训练的评估模型的模型参数进行调整，得到已训练的评估模型，以根据已训练的评估模型对模型进行评估。采用本方法能够提高模型评估准确度。度。度。

【技术实现步骤摘要】
模型数据处理方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机
，特别是涉及一种模型数据处理方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着计算机技术以及深度学习技术的发展，基于神经网络的方法应用到越来越多的领域中，例如应用到图像识别领域。随着对神经网络的不断研究，越来越多的神经模型被提出，应用于各类任务的神经模型也变得越来越复杂，为了减少获取所需要的神经模型的试错成本和时间成本，神经网络结构搜索技术运用而生，神经网络结构搜索技术可以自动获取性能较好或泛化能力较强的神经模型，从而自动的获取所需要的神经模型。
[0003]目前，神经网络结构搜索技术中，利用搜索算法从搜索空间中搜索出模型，利用评估方法对搜索出的模型进行评估，从而可以获取评估结果较好的模型。
[0004]然而，对于目前的评估方法，存在不能准确的对模型进行评估的缺陷，导致评估神经网络结构的准确度较低。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够提高神经网络结构评估准确度的模型数据处理方法、装置、计算机设备和存储介质。
[0006]一种模型数据处理方法，所述方法包括：确定目标模型集合，所述目标模型集合包括多个目标模型；获取目标样本，将所述目标样本输入到所述目标模型中进行预测，得到目标预测结果；利用待训练的评估模型对所述目标预测结果进行评估，得到所述目标模型对应的目标模型评估分数；根据所述目标模型对应的目标模型评估分数的大小关系对所述目标模型集合进行排列，得到目标模型序列；获取标准模型序列，所述标准模型序列是根据所述目标模型的标准模型评估分数的大小关系对所述目标模型集合进行排列得到的；根据所述目标模型序列以及所述标准模型序列得到模型损失值，所述目标模型序列与所述标准模型序列之间的相关度与所述模型损失值成负相关关系；基于所述模型损失值对所述待训练的评估模型的模型参数进行调整，得到已训练的评估模型，以根据所述已训练的评估模型对模型进行评估。
[0007]一种模型数据处理装置，所述装置包括：目标模型集合确定模块，用于确定目标模型集合，所述目标模型集合包括多个目标模型；目标预测结果得到模块，用于获取目标样本，将所述目标样本输入到所述目标模型中进行预测，得到目标预测结果；目标模型评估分数得到模块，用于利用待训练的评估模型对所述目标预测结果进行评估，得到所述目标模型对应的目标模型评估分数；目标模型序列得到模块，用于根据所述目标模型对应的目标模型评估分数的大小关系对所述目标模型集合进行排列，得到目标模型序列；标准模型序列获取模块，用于获取标准模型序列，所述标准模型序列是根据所述目标模型的标准模型评估分数的大小关系对所述目标模型集合进行排列得到的；模型损失值得到模块，用于根
据所述目标模型序列以及所述标准模型序列得到模型损失值，所述目标模型序列与所述标准模型序列之间的相关度与所述模型损失值成负相关关系；已训练的评估模型得到模块，用于基于所述模型损失值对所述待训练的评估模型的模型参数进行调整，得到已训练的评估模型，以根据所述已训练的评估模型对模型进行评估。
[0008]在一些实施例中，所述模型损失值得到模块包括：目标模型组合得到单元，用于从所述目标模型集合中获取目标模型组合；所述目标模型组合包括第一目标模型以及第二目标模型；预测排序差异值得到单元，用于根据所述目标模型序列中，所述第一目标模型相对于所述第二目标模型的排序差异值，得到所述目标模型组合对应的预测排序差异值；标准排序差异值得到单元，用于获取所述标准模型序列中，所述第二目标模型相对于所述第一目标模型的排序差异值，作为所述目标模型组合对应的标准排序差异值；模型损失值得到单元，用于基于所述目标模型组合对应的标准排序差异值以及所述目标模型组合对应的预测排序差异值得到模型损失值。
[0009]在一些实施例中，所述模型损失值得到单元，还用于基于所述目标模型组合对应的标准排序差异值确定差异值调整方向对应的差异值调整系数；基于所述差异值调整系数对所述目标模型组合对应的预测排序差异值进行调整，得到模型损失值。
[0010]在一些实施例中，所述模型损失值得到单元，还用于将所述标准排序差异值与目标差异值阈值进行对比，当所述标准排序差异值大于所述目标差异值阈值时，确定所述差异值调整系数为正向调整方向对应的正向调整系数；当所述标准排序差异值小于所述目标差异值阈值时，确定所述差异值调整系数为负向调整方向对应的负向调整系数。
[0011]在一些实施例中，所述预测排序差异值得到单元，还用于获取所述目标模型序列中所述第一目标模型相对于所述第二目标模型的排序差异值，作为模型排序差异值；将所述模型排序差异值与差异值范围进行对比，根据对比结果从所述模型排序差异值或者所述差异值范围对应的边界排序差异值中，选取得到所述目标模型组合对应的预测排序差异值。
[0012]在一些实施例中，所述预测排序差异值得到单元，还用于当基于所述对比结果确定所述模型排序差异值在差异值范围内时，将所述模型排序差异值作为所述目标模型组合对应的预测排序差异值。
[0013]在一些实施例中，所述预测排序差异值得到单元，还用于当基于所述对比结果确定所述模型排序差异值在所述差异值范围外时，从所述差异值范围对应的边界排序差异值中，选取与所述模型排序差异值的差异值最小的边界排序差异值，作为所述目标模型组合对应的预测排序差异值。
[0014]在一些实施例中，所述目标模型组合为多个，所述模型损失值得到单元，还用于基于所述目标模型组合对应的标准排序差异值以及所述目标模型组合对应的预测排序差异值，得到所述目标模型组合对应的组合损失值；对各个所述目标模型组合对应的组合损失值进行统计运算，得到模型损失值。
[0015]在一些实施例中，所述标准模型序列获取模块包括：样本预测结果得到单元，用于将性能验证样本输入到所述目标模型中进行预测，得到所述性能验证样本对应的样本预测结果；标准模型评估分数得到单元，用于将所述性能验证样本对应的样本预测结果与所述性能验证样本对应的标准预测结果进行对比，基于对比结果确定所述目标模型对应的标准
模型评估分数；标准模型序列得到单元，用于按照所述目标模型对应的标准模型评估分数的大小关系对所述目标模型集合进行排列，得到标准模型序列。
[0016]在一些实施例中，所述装置还包括：候选模型集合获取模块，用于获取候选模型集合；所述候选模型集合中包括多个候选模型，不同的候选模型对应不同的模型结构参数值；训练样本获取模块，用于获取训练样本，将所述训练样本输入到所述候选模型中进行预测，得到候选预测结果；候选模型评估分数得到模块，用于将所述候选预测结果输入到所述已训练的评估模型中进行模型评估，得到所述候选模型对应的候选模型评估分数；代表模型选取模块，用于基于所述候选模型评估分数从所述候选模型集合中选取得到代表模型，基于所述代表模型对应的模型结构参数值构建业务识别模型。
[0017]在一些实施例中，所述候选模型集合是从模型结构搜索空间中搜索本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型数据处理方法，其特征在于，所述方法包括：确定目标模型集合，所述目标模型集合包括多个目标模型；获取目标样本，将所述目标样本输入到所述目标模型中进行预测，得到目标预测结果；利用待训练的评估模型对所述目标预测结果进行评估，得到所述目标模型对应的目标模型评估分数；根据所述目标模型对应的目标模型评估分数的大小关系对所述目标模型集合进行排列，得到目标模型序列；获取标准模型序列，所述标准模型序列是根据所述目标模型的标准模型评估分数的大小关系对所述目标模型集合进行排列得到的；根据所述目标模型序列以及所述标准模型序列得到模型损失值，所述目标模型序列与所述标准模型序列之间的相关度与所述模型损失值成负相关关系；基于所述模型损失值对所述待训练的评估模型的模型参数进行调整，得到已训练的评估模型，以根据所述已训练的评估模型对模型进行评估。2.根据权利要求1所述的方法，其特征在于，所述根据所述目标模型序列以及所述标准模型序列得到模型损失值包括：从所述目标模型集合中获取目标模型组合；所述目标模型组合包括第一目标模型以及第二目标模型；根据所述目标模型序列中，所述第一目标模型相对于所述第二目标模型的排序差异值，得到所述目标模型组合对应的预测排序差异值；获取所述标准模型序列中，所述第二目标模型相对于所述第一目标模型的排序差异值，作为所述目标模型组合对应的标准排序差异值；基于所述目标模型组合对应的标准排序差异值以及所述目标模型组合对应的预测排序差异值得到模型损失值。3.根据权利要求2所述的方法，其特征在于，所述基于所述目标模型组合对应的标准排序差异值以及所述目标模型组合对应的预测排序差异值得到模型损失值包括：基于所述目标模型组合对应的标准排序差异值确定差异值调整方向对应的差异值调整系数；基于所述差异值调整系数对所述目标模型组合对应的预测排序差异值进行调整，得到模型损失值。4.根据权利要求3所述的方法，其特征在于，所述基于所述目标模型组合对应的标准排序差异值确定差异值调整方向对应的差异值调整系数包括：将所述标准排序差异值与目标差异值阈值进行对比，当所述标准排序差异值大于所述目标差异值阈值时，确定所述差异值调整系数为正向调整方向对应的正向调整系数；当所述标准排序差异值小于所述目标差异值阈值时，确定所述差异值调整系数为负向调整方向对应的负向调整系数。5.根据权利要求2所述的方法，其特征在于，所述根据所述目标模型序列中，所述第一目标模型相对于所述第二目标模型的排序差异值，得到所述目标模型组合对应的预测排序差异值包括：获取所述目标模型序列中所述第一目标模型相对于所述第二目标模型的排序差异值，
作为模型排序差异值；将所述模型排序差异值与差异值范围进行对比，根据对比结果从所述模型排序差异值或者所述差异值范围对应的边界排序差异值中，选取得到所述目标模型组合对应的预测排序差异值。6.根据权利要求5所述的方法，其特征在于，所述根据对比结果从所述模型排序差异值或者所述差异值范围对应的边界排序差异值中，选取得到所述目标模型组合对应的预测排序差异值包括：当基于所述对比结果确定所述模型排序差异值在差异值范围内时，将所述模型排序差异值作为所述目标模型组合对应的预测排序差异值。7.根据权利要求5所述的方法，其特征在于，所述根据对比结果从所述模型排序差异值或者所述差异值范围对应的边界排序差异值中，选取得到所述目标模型组合对应的预测排序差异值包括：当基于所述对比结果确定所述模型排序差异值在所述差异值范围外时，从所述差异值范围对应的边界排序差异值中，选取与所述模型排序差异值的差异值最小的边界排序差异值，作为所述目标模型组合对应的预测排序差异值。8.根据权利要求2所述的方法，其特征在于，所述目标模型组合为多个，所述基于所述目标模型组合对应的标准排序差异值以及所述目标模型组合对应的预测排序差异值得到模型...

【专利技术属性】
技术研发人员：陈宇航，李珂，盛柯恺，孙星，郭晓威，黄飞跃，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：