一种模型训练方法、装置、电子设备及存储介质制造方法及图纸

技术编号:27106567 阅读:20 留言:0更新日期:2021-01-25 18:56
本申请公开了一种模型训练方法、装置、电子设备及存储介质,涉及深度学习技术领域。具体方案为:接收用户输入的任务类别标签;基于任务类别标签生成与其对应的至少一个训练样本;在任务类别标签对应的全部训练样本中提取出一个训练样本作为当前训练样本;响应于待训练的模型不满足预先设置的收敛条件,将当前训练样本输入至待训练的模型中,使用当前训练样本对待训练的模型进行训练;重复执行上述提取当前训练样本的操作,直到待训练的模型满足预先设置的收敛条件。本申请实施例无需预先获取带有标注的训练样本即可实现模型训练,极大地减少了人力消耗和人工标注的资金成本。减少了人力消耗和人工标注的资金成本。减少了人力消耗和人工标注的资金成本。

【技术实现步骤摘要】
一种模型训练方法、装置、电子设备及存储介质


[0001]本申请涉及人工智能领域,进一步涉及深度学习
,尤其是一种模型训练方法、装置、电子设备及存储介质。

技术介绍

[0002]随着大数据时代的到来,数据获取变得相对容易,但用于训练的数据往往需要人工筛选、标注后才可以训练。大量的训练数据意味着需要耗费大量的人力、时间、资金进行数据标注,极大的限制了人工智能模型的训练速度,进而影响模型迭代速度及模型上线时间。
[0003]在现有技术中,通常采用有监督的人工智能模型训练方法,以图像分类任务为例,人工标注适量带有标签的训练数据,基于传统的特征提取算子或基于深度学习网络等提取训练数据特征,对提取后的特征使用分类器进行分类预测,并将标注的标签作为期望输出进行训练。该方法依赖大量的人工标注数据,需要耗费大量的人力、资金和时间投入到数据标注工作中;当任务紧急的情况下,可能会出现无法获取大量的带有标注的数据的情况,进而导致模型短期内达不到性能要求无法上线;若该训练任务是需要控制极其重要的风险,那么如有风险漏出则会对公司造成无法挽回的后果。由此可见,采用现有的模型训练方法,不仅模型训练效率低,而且还可能会导致不可估量的后果。

技术实现思路

[0004]本申请提供了一种模型训练方法、装置、电子设备及存储介质,无需预先获取带有标注的训练样本即可实现模型训练,极大地减少了人力消耗和人工标注的资金成本。
[0005]第一方面,本申请提供了一种模型训练方法,所述方法包括:
[0006]接收用户输入的任务类别标签;
[0007]基于所述任务类别标签生成与其对应的至少一个训练样本;
[0008]在所述任务类别标签对应的全部训练样本中提取出一个训练样本作为当前训练样本;
[0009]响应于待训练的模型不满足预先设置的收敛条件,将所述当前训练样本输入至所述待训练的模型中,使用所述当前训练样本对所述待训练的模型进行训练;重复执行上述提取所述当前训练样本的操作,直到所述待训练的模型满足所述预先设置的收敛条件。
[0010]第二方面,本申请提供了一种模型训练装置,所述装置包括:接收模块、生成模块、提取模块和训练模块;其中,
[0011]所述接收模块,用于接收用户输入的任务类别标签;
[0012]所述生成模块,用于基于所述任务类别标签生成与其对应的至少一个训练样本;
[0013]所述提取模块,用于在所述任务类别标签对应的全部训练样本中提取出一个训练样本作为当前训练样本;
[0014]所述训练模块,用于响应于待训练的模型不满足预先设置的收敛条件,将所述当
前训练样本输入至所述待训练的模型中,使用所述当前训练样本对所述待训练的模型进行训练;重复执行上述提取所述当前训练样本的操作,直到所述待训练的模型满足所述预先设置的收敛条件。
[0015]第三方面,本申请实施例提供了一种电子设备,包括:
[0016]一个或多个处理器;
[0017]存储器,用于存储一个或多个程序,
[0018]当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本申请任意实施例所述的模型训练方法。
[0019]第四方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现本申请任意实施例所述的模型训练方法。
[0020]根据本申请的技术解决了现有技术在训练模型时依赖大量的人工标注数据,需要耗费大量的人力、资金和时间投入到数据标注工作中的技术问题,本申请提供的技术方案,无需预先获取带有标注的训练样本即可实现模型训练,极大地减少了人力消耗和人工标注的资金成本。
[0021]应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0022]附图用于更好地理解本方案,不构成对本申请的限定。其中:
[0023]图1是本申请实施例提供的模型训练方法的第一流程示意图;
[0024]图2是本申请实施例提供的模型训练方法的第二流程示意图;
[0025]图3是本申请实施例提供的模型训练方法的第三流程示意图;
[0026]图4是本申请实施例提供的模型训练装置的结构示意图;
[0027]图5是本申请实施例提供的生成模块的结构示意图;
[0028]图6是用来实现本申请实施例的模型训练方法的电子设备的框图。
具体实施方式
[0029]以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
[0030]实施例一
[0031]图1是本申请实施例提供的模型训练方法的第一流程示意图,该方法可以由模型训练装置或者电子设备来执行,该装置或者电子设备可以由软件和/或硬件的方式实现,该装置或者电子设备可以集成在任何具有网络通信功能的智能设备中。如图1所示,模型训练方法可以包括以下步骤:
[0032]S101、获取用户输入的任务类别标签。
[0033]在本步骤中,电子设备可以获取用户输入的任务类别标签。具体地,用户输入的任务类别标签为文本格式。例如,用户输入的任务类型标签为“狗”。
[0034]S102、基于任务类别标签生成与其对应的至少一个训练样本。
[0035]在本步骤中,电子设备可以基于任务类别标签生成与其对应的至少一个训练样本。具体地,电子设备可以先基于预先构建的知识图谱生成任务类型标签对应的至少一个下义词;然后将任务类型标签对应的各个下义词作为关键词抓取各个下义词对应的至少一个图像;再将各个下义词和各个下义词对应的各个图像组合为各个训练样本,得到任务类别标签对应的至少一个训练样本。例如,假设用户输入的任务类别标签为“狗”,则电子设备可以基于预先构建的知识图谱生成“狗”对应的下义词“哈士奇”和“柴狗”;然后将“哈士奇”和“柴狗”作为关键词抓取各自对应的至少一个图像。例如,“哈士奇”对应的图像为“哈士奇图像1”和“哈士奇图像2”;“柴狗”对应的图像为“柴狗图像1”和“柴狗图像2”。那么,电子设备可以将“哈士奇”和“哈士奇图像1”组合为一个训练样本;将“哈士奇”和“哈士奇图像2”组合为一个训练样本;将“柴狗”和“柴狗图像1”组合为一个训练样本;“柴狗”和“柴狗图像2”组合为一个训练样本。
[0036]S103、在任务类别标签对应的全部训练样本中提取出一个训练样本作为当前训练样本。
[0037]在本步骤中,电子设备可以在任务类别标签对应的全部训练样本中提取出一个训练样本作为当前训练样本。具体地,假设任务类别标签对应的训练样本为M个,M为大于1的自然数;电子设备可以在M个训练样本中本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法,所述方法包括:接收用户输入的任务类别标签;基于所述任务类别标签生成与其对应的至少一个训练样本;在所述任务类别标签对应的全部训练样本中提取出一个训练样本作为当前训练样本;响应于待训练的模型不满足预先设置的收敛条件,将所述当前训练样本输入至所述待训练的模型中,使用所述当前训练样本对所述待训练的模型进行训练;重复执行上述提取所述当前训练样本的操作,直到所述待训练的模型满足所述预先设置的收敛条件。2.根据权利要求1所述的方法,所述基于所述任务类别标签生成与其对应的至少一个训练样本,包括:基于预先构建的知识图谱生成所述任务类型标签对应的至少一个下义词;将所述任务类型标签对应的各个下义词作为关键词抓取各个下义词对应的至少一个图像;将各个下义词和各个下义词对应的各个图像组合为各个训练样本,得到所述任务类别标签对应的至少一个训练样本。3.根据权利要求2所述的方法,在所述将所述任务类型标签对应的各个下义词作为关键词抓取各个下义词对应的至少一个图像之后,所述将各个下义词和各个下义词对应的各个图像组合为各个训练样本之前,所述方法还包括:在全部的下义词对应的图像中提取出一个图像作为当前图像;采用预先设定的质量评估算法对所述当前样本图像进行质量评估,确定出所述当前图像为脏数据或者干净数据;重复执行上述操作,直到确定出各个下义词对应的各个图像为脏数据或者干净数据;得到各个下义词对应的干净数据;执行将各个下义词和各个下义词对应的各个干净数据组合为各个训练样本的操作。4.根据权利要求3所述的方法,所述方法还包括:采用预先设定的聚类算法对全部的下义词对应的干净数据进行聚类,得到全部的下义词对应的至少一组干净数据;在所述预先构建的知识图谱中确定出各组干净数据的位置;并计算各组干净数据的位置与预先确定的中心位置之间的距离;响应于在全部的干净数据中存在至少一组与所述预先确定的中心位置之间的距离大于或者等于预设阈值的干净数据,在全部的干净数据中除去与所述预先确定的中心位置之间的距离大于或者等于所述预设阈值的干净数据,得到与所述预先确定的中心位置之间的距离小于所述预设阈值的干净数据;将与所述预先确定的中心位置之间的距离小于所述预设阈值的干净数据样本作为全部的下义词对应的干净数据。5.根据权利要求4所述的方法,所述方法还包括:采用预先设定的数据增广方法对各个下义词对应的各个干净数据进行数据增广,得到各个下义词对应的数据增广后的干净数据;将各个下义词对应的数据增广后的干净数据作为全部的下义词对应的干净数据。6.根据权利要求5所述的方法,所述预先设定的质量评估算法包括以下至少其中之一:清晰度检测、纯色图检测、图像损坏检测;所述预先设定的聚类算法包括以下至少其中之一:K均值聚类算法、均值偏移聚类算法;所述预先设定的数据增广方法包括以下至少其中
之一:仿射变换、透视变换、颜色扰动、数据增强、生成判别网络。7.一种模型训练装置,所述装置包括:接收模块、生成模块、提取模块和训练模块;其中,所述接收模块,用于接收用户输入的任务类别标签;所述生成模块,用于基于所述任务类别标签生成与其对应的至少一个训练样本;所述提取模块,用于在所述任务类别标签...

【专利技术属性】
技术研发人员:张言梁晓旭邓远达
申请(专利权)人:百度中国有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1