一种模型训练方法、装置、设备及介质制造方法及图纸

技术编号:38543372 阅读:11 留言:0更新日期:2023-08-22 20:54
本申请实施例提供一种模型训练方法、装置、设备及介质,该方法可以由计算机设备执行,该方法包括:将第一数据集输入训练好的召回模型,基于所述训练好的召回模型得到第一顺序集合;接收第一指令,根据所述第一指令和所述第一顺序集合确定第二顺序集合;将所述第一数据集输入所述排序模型,并基于所述第二顺序集合监督所述排序模型进行训练,得到训练好的排序模型,所述训练好的排序模型用于输入待识别的无标签数据和输出所述待识别的无标签数据对应的M个预设标签的排序,所述M个预设标签的排序用于实现应用的功能。序用于实现应用的功能。序用于实现应用的功能。

【技术实现步骤摘要】
一种模型训练方法、装置、设备及介质


[0001]本申请涉及计算机
,具体涉及到一种模型训练方法、装置、设备及介质。

技术介绍

[0002]在诸如搜索引擎、文字检索等应用中,需要用到排序模型来实现应用的功能。排序模型越精准,应用的功能的性能越好。
[0003]在具体实现时,需要大量标签数据对排序模型进行训练,这些标签数据具有多个标签且该多个标签的顺序确定,因此选择高质量的标签数据对排序模型的训练效果为重要。现有技术中,主要通过人工对数据打标签,由于排序模型需要通过大量的标签数据进行训练,人为打标工作量大,效率低,训练排序模型的成本高;并且在打标过程中,容易引起人为失误,导致排序的标签不符合实际需要,即排序的标签准确率低。

技术实现思路

[0004]本申请实施例提供一种模型训练方法、装置、设备及介质,用于解决现有技术中获得排序的标签的效率低、成本高以及排序的标签准确率低的技术问题。
[0005]第一方面,本申请实施例提供一种模型训练方法,该方法可以由计算机设备执行,该方法包括:将第一数据集输入训练好的召回模型,基于所述训练好的召回模型得到第一顺序集合;其中,所述第一数据集中包括多条无标签数据,所述训练好的召回模型用于针对输入的每条无标签数据输出N个预设标签的排序,所述第一顺序集合包括所述多条无标签数据中各条无标签数据对应的N个预设标签的排序,所述N为正整数;接收第一指令,根据所述第一指令和所述第一顺序集合确定第二顺序集合;将所述第一数据集输入所述排序模型,并基于所述第二顺序集合监督所述排序模型进行训练,得到训练好的排序模型,所述训练好的排序模型用于输入待识别的无标签数据和输出所述待识别的无标签数据对应的M个预设标签的排序,所述M个预设标签的排序用于实现应用的功能,所述M为小于或等于N的正整数。
[0006]在本方案中,训练好的召回模型可以减少不相关的预设标签的数量,提高计算效率;第一顺序集合中的排序是计算机设备计算出的,可能与真实的排序情况存在出入,为此根据第一指令确定出的第二顺序集合克服了第一顺序集合的不足,更加符合真实的排序情况,所以根据第一指令得到的排序的标签(即第二顺序集合)准确率高。综上所述,由于训练排序模型的排序的标签是基于训练好的召回模型与第一指令得到的,获得排序的标签的效率高、成本低,排序的标签准确率高,训练好的排序模型可以更好的实现应用的功能。
[0007]可选的,在所述将第一数据集输入训练好的召回模型之前,还包括:获得第二数据集,所述第二数据集中包括至少一条标签数据;基于所述第二数据集训练召回模型,得到所述训练好的召回模型。
[0008]通过本方式,计算机设备可以基于第二数据集监督或半监督训练召回模型,召回模型训练效果好,保证了方案的合理性。
[0009]可选的,所述接收第一指令,根据所述第一指令和所述第一顺序集合确定第二顺序集合,包括:根据所述第一指令更改所述第一顺序集合中至少一条无标签数据对应的N个预设标签的排序。
[0010]通过本方式,计算机设备接收第一指令,根据第一指令和第一顺序集合确定符合实际需要的第二顺序集合。由于第一顺序集合中的一条无标签数据对应的N个预设标签的排序不一定是实际需要的排序,为此重新确定出第二顺序集合,使得第二顺序集合的更好的满足实际需求,进而可以更好的用于排序模型进行训练。
[0011]可选的,所述第一指令中包含针对至少一条无标签数据中第一无标签数据对应的第一标签的指示信息;所述接收第一指令,根据所述第一指令和所述第一顺序集合确定第二顺序集合,包括:将所述第一标签置于所述第一无标签数据对应的N个预设标签的排序的首位。
[0012]通过本方式,计算机设备将第一标签置于第一无标签数据对应的N个预设标签的排序的首位,可以获得高质量的排序的标签以供排序模型进行训练,保证了方案的可靠性,并且仅移动一个标签的位置,操作简单易实施,进而使得用户在应用排序模型时,排序模型输出的第一个结果可以是用户需要的结果。
[0013]可选的,所述应用包括搜索引擎;所述功能包括对搜索的结果进行排序。
[0014]可以理解的,以上仅为一种示例而非限定。
[0015]第二方面,本申请提供一种模型训练装置,该装置包括用于执行上述第一方面或第一方面任一种可选的实施方式中的方法的模块/单元/技术手段。
[0016]示例性的,该装置可以包括:
[0017]处理模块,用于将第一数据集输入训练好的召回模型,基于所述训练好的召回模型得到第一顺序集合;其中,所述第一数据集中包括多条无标签数据,所述训练好的召回模型用于针对输入的每条无标签数据输出N个预设标签的排序,所述第一顺序集合包括所述多条无标签数据中各条无标签数据对应的N个预设标签的排序,所述N为正整数;
[0018]接收模块,用于接收第一指令;
[0019]所述处理模块还用于,根据所述第一指令和所述第一顺序集合确定第二顺序集合;将所述第一数据集输入所述排序模型,并基于所述第二顺序集合监督所述排序模型进行训练,得到训练好的排序模型,所述训练好的排序模型用于输入待识别的无标签数据和输出所述待识别的无标签数据对应的M个预设标签的排序,所述M个预设标签的排序用于实现应用的功能,所述M为小于或等于N的正整数。
[0020]可选的,所述处理模块在所述将第一数据集输入训练好的召回模型之前,还用于:获得第二数据集,所述第二数据集中包括至少一条标签数据;基于所述第二数据集训练召回模型,得到所述训练好的召回模型。
[0021]可选的,所述处理模块在接收第一指令,根据所述第一指令和所述第一顺序集合确定第二顺序集合时,具体用于:根据所述第一指令更改所述第一顺序集合中至少一条无标签数据对应的N个预设标签的排序。
[0022]可选的,所述第一指令中包含针对至少一条无标签数据中第一无标签数据对应的第一标签的指示信息;所述处理模块在接收第一指令,根据所述第一指令和所述第一顺序集合确定第二顺序集合时,具体用于:将所述第一标签置于所述第一无标签数据对应的N个
预设标签的排序的首位。
[0023]可选的,所述应用包括搜索引擎;所述功能包括对搜索的结果进行排序。
[0024]第三方面,本申请提供一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令,使得所述电子设备执行第一方面或第一方面任一种可选的实施方式中所述的方法。
[0025]第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被计算机执行时,使所述计算机执行第一方面或第一方面任一种可选的实施方式中所述的方法。
附图说明
[0026]图1为本申请实施例提供一种模型训练方法的流程图;
[0027]图2为本申请实施例提供的一种半监督训练的示意图;
[0本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法,其特征在于,包括:将第一数据集输入训练好的召回模型,基于所述训练好的召回模型得到第一顺序集合;其中,所述第一数据集中包括多条无标签数据,所述训练好的召回模型用于针对输入的每条无标签数据输出N个预设标签的排序,所述第一顺序集合包括所述多条无标签数据中各条无标签数据对应的N个预设标签的排序,所述N为正整数;接收第一指令,根据所述第一指令和所述第一顺序集合确定第二顺序集合;将所述第一数据集输入所述排序模型,并基于所述第二顺序集合监督所述排序模型进行训练,得到训练好的排序模型,所述训练好的排序模型用于输入待识别的无标签数据和输出所述待识别的无标签数据对应的M个预设标签的排序,所述M个预设标签的排序用于实现应用的功能,所述M为小于或等于N的正整数。2.如权利要求1所述的方法,其特征在于,在所述将第一数据集输入训练好的召回模型之前,还包括:获得第二数据集,所述第二数据集中包括至少一条标签数据;基于所述第二数据集训练召回模型,得到所述训练好的召回模型。3.如权利要求1所述的方法,其特征在于,所述接收第一指令,根据所述第一指令和所述第一顺序集合确定第二顺序集合,包括:根据所述第一指令更改所述第一顺序集合中至少一条无标签数据对应的N个预设标签的排序。4.如权利要求3所述的方法,其特征在于,所述第一指令中包含针对至少一条无标签数据中第一无标签数据对应的第一标签的指示信息;所述接收第一指令,根据所述第一指令和所述第一顺序集合确定第二顺序集合,包括:将所述第一标签置于所述第一无标签数据对应的N个预设标签的排序的首位。5.如权利要求1所述的方法,其特征在于,所述应用包括搜索引擎;所述功能包括对搜索的结果进行排序。6.一种模型训练装置,其特征在于,包括:处理模块,用于将第一数据集输入训练好的召回模型,基于所述训练好的召...

【专利技术属性】
技术研发人员:朱明浩倪志恒王龙陈立力周明伟
申请(专利权)人:浙江大华技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1