System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本说明书涉及计算机,尤其涉及一种模型训练和业务执行方法、装置、存储介质及设备。
技术介绍
1、随着人工智能的快速发展,实体抽取模型被广泛的应用到诸如信息推荐、风险控制、隐私保护以及智能客服等多个领域,实体抽取作为一种常见的自然语言处理(naturallanguage processing,nlp)任务,可以通过对目标文本中的实体进行抽取,来为不同场景下的业务提供所需信息。
2、为了让实体抽取模型具备更高的性能,通常需要大量的样本数据对其进行训练,这就需要对样本数据进行准确的标注,以使模型能够在这些监督信号(标注)的指导下,学得一定的判别能力。
3、然而,目前通常采用人工标注的方法对实体抽取模型的训练样本进行标注,对于一些专业领域来说,通常需要具备一定该领域经验知识的专家才能对数据做出正确标注,标注门槛大,耗时较长,导致对实体抽取模型进行训练的成本较高,无法及时满足快速发展变化的业务需求。
4、因此,如何降低对实体抽取模型进行训练的训练成本,是一个亟待解决的问题。
技术实现思路
1、本说明书提供一种模型训练方法、装置、存储介质及设备。通过预先训练的目标阅读理解模型对样本数据进行标注,进而训练实体抽取模型。
2、本说明书采用下述技术方案:
3、本说明书提供了一种模型训练方法,包括:
4、获取目标业务领域下的业务数据,作为第一样本数据,以及获取所述目标业务领域下的各实体类型对应的第一实体描述信息;
5、将
6、将所述第一样本数据输入待训练的实体抽取模型,以通过所述实体抽取模型,确定所述第一样本数据中包含的各实体,作为所述第一样本数据对应的预测实体;
7、以最小化所述第一样本数据对应的预测实体与所述伪标签之间的偏差为优化目标,对所述实体抽取模型进行训练,得到目标实体抽取模型。
8、可选地,训练阅读理解模型,以得到所述目标阅读理解模型,具体包括:
9、获取若干业务领域下的业务数据,作为第二样本数据,以及获取所述若干业务领域下的各实体类型对应的第二实体描述信息;
10、在预设实体字典中匹配出所述第二样本数据中包含的各实体,并将匹配出的各实体作为所述第二样本数据对应的弱标签;
11、根据携带有所述弱标签的第二样本数据以及所述第二实体描述信息,对所述阅读理解模型进行训练,得到所述目标阅读理解模型。
12、可选地,根据携带有所述弱标签的第二样本数据以及所述第二实体描述信息,对所述阅读理解模型进行训练,得到目标阅读理解模型,具体包括:
13、获取所述目标业务领域中携带有强标签的第三样本数据,所述第三样本数据的数量少于所述第一样本数据的数量,所述第三样数据的强标签是预先标注的;
14、根据携带有所述弱标签的第二样本数据以及所述第二实体描述信息,对所述阅读理解模型进行训练,得到训练后阅读理解模型;
15、基于所述携带有强标签的第三样本数据,对所述训练后阅读理解模型进行调整,得到目标阅读理解模型。
16、可选地,根据携带有所述弱标签的第二样本数据以及所述第二实体描述信息,对所述阅读理解模型进行训练,具体包括:
17、将所述第二样本数据以及所述第二实体描述信息输入所述阅读理解模型,以通过所述阅读理解模型,根据所述第二实体描述信息确定所述第二样本数据中包含的各实体,作为所述第二样本数据对应的预测实体;
18、以最小化所述第二样本数据对应的预测实体与所述弱标签之间的偏差为优化目标,对所述阅读理解模型进行训练。
19、可选地,以最小化所述第一样本数据对应的预测实体与所述伪标签之间的偏差为优化目标,对所述实体抽取模型进行训练,得到目标实体抽取模型,具体包括:
20、获取所述目标业务领域中携带有强标签的第三样本数据,所述第三样本数据的数量少于所述第一样本数据的数量,所述第三样数据的强标签是预先标注的;
21、以最小化所述第一样本数据对应的预测实体与所述伪标签之间的偏差为优化目标,对所述实体抽取模型进行训练,得到训练后实体抽取模型;
22、基于所述携带有强标签的第三样本数据,对所述训练后实体抽取模型进行调整,得到所述目标实体抽取模型。
23、本说明书提供了一种业务执行方法,包括:
24、接收携带有目标业务数据的业务请求;
25、将所述目标业务数据输入预先训练的目标实体抽取模型,以通过所述目标实体抽取模型,确定所述目标业务数据中包含的各目标实体,所述目标实体抽取模型通过上述模型训练方法训练得到的;
26、根据所述各目标实体执行所述业务请求对应的业务。
27、本说明书提供了一种模型训练装置,包括:
28、获取模块,获取目标业务领域下的业务数据,作为第一样本数据,以及获取所述目标业务领域下的各实体类型对应的第一实体描述信息;
29、确定模块,将所述第一样本数据以及所述第一实体描述信息输入预先训练所得到的目标阅读理解模型,以通过所述目标阅读理解模型,根据所述第一实体描述信息确定所述第一样本数据中包含的各实体,并将确定出的各实体作为所述第一样本数据对应的伪标签;
30、输入模块,将所述第一样本数据输入待训练的实体抽取模型,以通过所述实体抽取模型,确定所述第一样本数据中包含的各实体,作为所述第一样本数据对应的预测实体;
31、训练模块,以最小化所述第一样本数据对应的预测实体与所述伪标签之间的偏差为优化目标,对所述实体抽取模型进行训练,得到目标实体抽取模型。
32、可选地,所述训练模块具体用于,获取若干业务领域下的业务数据,作为第二样本数据,以及获取所述若干业务领域下的各实体类型对应的第二实体描述信息;在预设实体字典中匹配出所述第二样本数据中包含的各实体,并将匹配出的各实体作为所述第二样本数据对应的弱标签;根据携带有所述弱标签的第二样本数据以及所述第二实体描述信息,对所述阅读理解模型进行训练,得到所述目标阅读理解模型。
33、可选地,所述训练模块具体用于,获取所述目标业务领域中携带有强标签的第三样本数据,所述第三样本数据的数量少于所述第一样本数据的数量,所述第三样数据的强标签是预先标注的;根据携带有所述弱标签的第二样本数据以及所述第二实体描述信息,对所述阅读理解模型进行训练,得到训练后阅读理解模型;基于所述携带有强标签的第三样本数据,对所述训练后阅读理解模型进行调整,得到目标阅读理解模型。
34、可选地,所述训练模块具体用于,将所述第二样本数据以及所述第二实体描述信息输入所述阅读理解模型,以通过所述阅读理解模型,根据所述第二本文档来自技高网...
【技术保护点】
1.一种模型训练方法,包括:
2.如权利要求1所述的方法,训练阅读理解模型,以得到所述目标阅读理解模型,具体包括:
3.如权利要求2所述的方法,根据携带有所述弱标签的第二样本数据以及所述第二实体描述信息,对所述阅读理解模型进行训练,得到目标阅读理解模型,具体包括:
4.如权利要求2所述的方法,根据携带有所述弱标签的第二样本数据以及所述第二实体描述信息,对所述阅读理解模型进行训练,具体包括:
5.如权利要求1所述的方法,以最小化所述第一样本数据对应的预测实体与所述伪标签之间的偏差为优化目标,对所述实体抽取模型进行训练,得到目标实体抽取模型,具体包括:
6.一种业务执行方法,包括:
7.一种模型训练装置,包括:
8.如权利要求7所述的模型训练装置,所述训练模块具体用于,获取若干业务领域下的业务数据,作为第二样本数据,以及获取所述若干业务领域下的各实体类型对应的第二实体描述信息;在预设实体字典中匹配出所述第二样本数据中包含的各实体,并将匹配出的各实体作为所述第二样本数据对应的弱标签;根据携带有所述弱标签
9.如权利要求8所述的模型训练装置,所述训练模块具体用于,获取所述目标业务领域中携带有强标签的第三样本数据,所述第三样本数据的数量少于所述第一样本数据的数量,所述第三样数据的强标签是预先标注的;根据携带有所述弱标签的第二样本数据以及所述第二实体描述信息,对所述阅读理解模型进行训练,得到训练后阅读理解模型;基于所述携带有强标签的第三样本数据,对所述训练后阅读理解模型进行调整,得到目标阅读理解模型。
10.如权利要求8所述的模型训练装置,所述训练模块具体用于,将所述第二样本数据以及所述第二实体描述信息输入所述阅读理解模型,以通过所述阅读理解模型,根据所述第二实体描述信息确定所述第二样本数据中包含的各实体,作为所述第二样本数据对应的预测实体;以最小化所述第二样本数据对应的预测实体与所述弱标签之间的偏差为优化目标,对所述阅读理解模型进行训练。
11.如权利要求7所述的模型训练装置,所述训练模块具体用于,获取所述目标业务领域中携带有强标签的第三样本数据,所述第三样本数据的数量少于所述第一样本数据的数量,所述第三样数据的强标签是预先标注的;以最小化所述第一样本数据对应的预测实体与所述伪标签之间的偏差为优化目标,对所述实体抽取模型进行训练,得到训练后实体抽取模型;基于所述携带有强标签的第三样本数据,对所述训练后实体抽取模型进行调整,得到所述目标实体抽取模型。
12.一种业务执行装置,包括:
13.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1~6任一项所述的方法。
14.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述权利要求1~6任一项所述的方法。
...【技术特征摘要】
1.一种模型训练方法,包括:
2.如权利要求1所述的方法,训练阅读理解模型,以得到所述目标阅读理解模型,具体包括:
3.如权利要求2所述的方法,根据携带有所述弱标签的第二样本数据以及所述第二实体描述信息,对所述阅读理解模型进行训练,得到目标阅读理解模型,具体包括:
4.如权利要求2所述的方法,根据携带有所述弱标签的第二样本数据以及所述第二实体描述信息,对所述阅读理解模型进行训练,具体包括:
5.如权利要求1所述的方法,以最小化所述第一样本数据对应的预测实体与所述伪标签之间的偏差为优化目标,对所述实体抽取模型进行训练,得到目标实体抽取模型,具体包括:
6.一种业务执行方法,包括:
7.一种模型训练装置,包括:
8.如权利要求7所述的模型训练装置,所述训练模块具体用于,获取若干业务领域下的业务数据,作为第二样本数据,以及获取所述若干业务领域下的各实体类型对应的第二实体描述信息;在预设实体字典中匹配出所述第二样本数据中包含的各实体,并将匹配出的各实体作为所述第二样本数据对应的弱标签;根据携带有所述弱标签的第二样本数据以及所述第二实体描述信息,对所述阅读理解模型进行训练,得到所述目标阅读理解模型。
9.如权利要求8所述的模型训练装置,所述训练模块具体用于,获取所述目标业务领域中携带有强标签的第三样本数据,所述第三样本数据的数量少于所述第一样本数据的数量,所述第三样数据的强标签是预先标注的;根据携带有所述弱标签的第...
【专利技术属性】
技术研发人员:张蝶,周书恒,祝慧佳,
申请(专利权)人:支付宝杭州信息技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。