System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 自然语言模型的生成方法和数据处理方法技术_技高网

自然语言模型的生成方法和数据处理方法技术

技术编号:42873086 阅读:4 留言:0更新日期:2024-09-27 17:33
本申请公开了一种自然语言模型的生成方法和数据处理方法。其中,该方法包括:获取样本问题,并获取样本问题对应的推理路径集合,其中,推理路径集合中至少包括:参考推理路径和推理路径分支对;依据样本问题和推理路径集合构建目标训练集;依据目标训练集对初始自然语言模型进行训练,得到目标自然语言模型,其中,目标自然语言模型用于对目标对象输入的问题信息进行答复。本申请解决了相关技术中由于自然语言模型的推理能力较差导致自然语言模型答复问题的准确性比较低的技术问题。

【技术实现步骤摘要】

本申请涉及人工智能,具体而言,涉及一种自然语言模型的生成方法和数据处理方法


技术介绍

1、自然语言模型通过逐步推理展现出惊人的解决问题的能力。然而,它们在处理更复杂的问题时往往会出错,这些错误会影响后续的逐步推理路径。在现有技术中缺乏对自然语言模型的推理模型进行训练的方法,使得自然语言模型答复问题的准确性比较低。

2、针对上述相关技术由于自然语言模型的推理能力较差导致自然语言模型答复问题的准确性比较低的问题,目前尚未提出有效的解决方案。


技术实现思路

1、本申请实施例提供了一种自然语言模型的生成方法和数据处理方法,以至少解决相关技术中由于自然语言模型的推理能力较差导致自然语言模型答复问题的准确性比较低的技术问题。

2、根据本申请实施例的一方面,提供了一种自然语言模型的生成方法,包括:获取所述样本问题,并获取所述样本问题对应的推理路径集合,其中,所述推理路径集合中至少包括:参考推理路径和推理路径分支对,所述参考推理路径包括答复所述样本问题的真实答复信息,所述推理路径分支对包括第一推理路径分支和第二推理路径分支,所述第一推理路径分支为通向所述真实答复信息的路径分支,所述第二推理路径分支为不能通向所述真实答复信息的路径分支;依据所述样本问题和所述推理路径集合构建所述目标训练集;依据所述目标训练集对初始自然语言模型进行训练,得到所述目标自然语言模型。

3、进一步地,获取所述样本问题对应的推理路径集合包括:依据所述样本问题和思维链提示,生成思维链式示例,其中,所述思维链式示例包括:所述样本问题和所述样本问题对应的思维链式推理路径组成,所述思维链式推理路径中包括答复所述样本问题的真实答复信息;通过所述初始自然语言模型对所述样本问题和所述思维链式示例进行处理,判断是否能够得到所述样本问题对应的所述参考推理路径;在能够得到所述样本问题对应的所述参考推理路径的情况下,依据所述样本问题、所述参考推理路径和所述思维链式示例,得到所述推理路径分支对;依据所述参考推理路径和所述推理路径分支对,得到所述推理路径集合。

4、进一步地,通过所述初始自然语言模型对所述样本问题和所述思维链式示例进行处理,判断是否能够得到所述样本问题对应的所述参考推理路径包括:通过所述初始自然语言模型对所述样本问题和所述思维链式示例进行处理,得到第一推理路径;依据所述第一推理路径是否能够推理得到所述真实答复信息,判断是否能够得到所述样本问题对应的所述参考推理路径。

5、进一步地,依据所述样本问题、所述参考推理路径和所述思维链式示例,得到所述推理路径分支对包括:依据所述参考推理路径,得到参考推理子路径集合;依据所述样本问题、所述参考推理子路径集合和所述思维链式示例,以所述参考推理子路径集合的参考推理子路径中的最后一个推理步骤为起点采样生成推理路径分支,得到所述参考推理子路径集合的参考推理子路径对应的多个推理路径分支;依据所述多个推理路径分支,得到所述第一推理路径分支和所述第二推理路径分支;依据所述第一推理路径分支和所述第二推理路径分支,得到所述推理路径分支对。

6、进一步地,依据所述目标训练集对初始自然语言模型进行训练,得到所述目标自然语言模型包括:通过所述初始自然语言模型对所述目标训练集进行处理,得到目标预测推理路径;依据所述目标预测推理路径,得到目标损失函数;依据所述目标损失函数对初始自然语言模型进行训练,得到所述目标自然语言模型。

7、进一步地,通过所述初始自然语言模型对所述目标训练集进行处理,得到目标预测推理路径包括:通过所述初始自然语言模型对所述样本问题进行处理,得到第二推理路径;通过所述初始自然语言模型对所述样本问题和所述参考推理路径的参考推理子路径集合进行处理,得到第三推理路径;依据所述第二推理路径和所述第三推理路径,得到所述目标预测推理路径。

8、进一步地,依据所述目标预测推理路径,得到目标损失函数包括:依据所述第二推理路径和所述参考推理路径进行计算,得到参考路径损失函数;依据所述第三推理路径和所述推理路径分支对进行计算,得到分支损失函数;依据所述参考路径损失函数和分支损失函数,得到所述目标损失函数。

9、进一步地,依据所述第三推理路径和所述推理路径分支对进行计算,得到分支损失函数包括:依据所述第三推理路径和所述第一推理路径分支进行计算,得到第一损失函数;依据所述第三推理路径和所述第二推理路径分支进行计算,得到第二损失函数;依据所述第一损失函数和所述第二损失函数进行计算,得到所述分支损失函数。

10、根据本申请实施例的另一方面,提供了一种数据处理方法,包括:获取目标对象输入的问题信息;通过目标自然语言模型对所述问题信息进行推理分析,得到目标推理路径,其中,所述目标自然语言模型依据上述任意一项所述的自然语言模型的生成方法得到,所述目标推理路径由从所述问题信息推导至所述问题信息对应的答复信息的逻辑步骤组成,所述目标自然语言模型由目标训练集得到,所述目标训练集由样本问题和所述样本问题对应的推理路径集合组成;将所述目标推理路径返回至所述目标对象。

11、进一步地,通过目标自然语言模型对所述问题信息进行推理分析,得到目标推理路径包括:通过所述目标自然语言模型基于所述问题信息进行推理分析,生成多个候选推理路径,其中,所述候选推理路径中包括所述问题信息对应的答复信息;通过所述目标自然语言模型从所述多个候选推理路径中,确定目标推理路径。

12、根据本申请实施例的另一方面,还提供了一种数据处理方法,包括:获取客户端发送的问题信息;在云端服务器中通过目标自然语言模型对所述问题信息进行推理分析,得到目标推理路径,其中,所述目标推理路径由从所述问题信息推导至所述问题信息对应的答复信息的逻辑步骤组成,所述目标自然语言模型由目标训练集得到,所述目标训练集由样本问题和所述样本问题对应的推理路径集合组成;将所述目标推理路径返回至所述客户端。

13、根据本申请实施例的另一方面,还提供了一种自然语言模型的生成装置,包括:第一获取单元,用于获取样本问题,并获取所述样本问题对应的推理路径集合,其中,所述推理路径集合中至少包括:参考推理路径和推理路径分支对,所述参考推理路径包括答复所述样本问题的真实答复信息,所述推理路径分支对包括第一推理路径分支和第二推理路径分支,所述第一推理路径分支为通向所述真实答复信息的路径分支,所述第二推理路径分支为不能通向所述真实答复信息的路径分支;构建单元,用于依据所述样本问题和所述推理路径集合构建所述目标训练集;训练单元,用于依据所述目标训练集对初始自然语言模型进行训练,得到所述目标自然语言模型,其中,所述目标自然语言模型用于对目标对象输入的问题信息进行答复。

14、进一步地,第一获取单元包括:生成子单元,用于依据所述样本问题和思维链提示,生成思维链式示例,其中,所述思维链式示例包括:所述样本问题和所述样本问题对应的思维链式推理路径组成,所述思维链式推理路径中包括答复所述样本问题的真实答复信息本文档来自技高网...

【技术保护点】

1.一种自然语言模型的生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,获取所述样本问题对应的推理路径集合包括:

3.根据权利要求2所述的方法,其特征在于,通过所述初始自然语言模型对所述样本问题和所述思维链式示例进行处理,判断是否能够得到所述样本问题对应的所述参考推理路径包括:

4.根据权利要求2所述的方法,其特征在于,依据所述样本问题、所述参考推理路径和所述思维链式示例,得到所述推理路径分支对包括:

5.根据权利要求1所述的方法,其特征在于,依据所述目标训练集对初始自然语言模型进行训练,得到所述目标自然语言模型包括:

6.根据权利要求5所述的方法,其特征在于,通过所述初始自然语言模型对所述目标训练集进行处理,得到目标预测推理路径包括:

7.根据权利要求6所述的方法,其特征在于,依据所述目标预测推理路径,得到目标损失函数包括:

8.根据权利要求7所述的方法,其特征在于,依据所述第三推理路径和所述推理路径分支对进行计算,得到分支损失函数包括:

9.一种数据处理方法,其特征在于,包括:

10.根据权利要求9所述的方法,其特征在于,通过目标自然语言模型对所述问题信息进行推理分析,得到目标推理路径包括:

11.一种数据处理方法,其特征在于,包括:

12.一种自然语言模型的生成装置,其特征在于,包括:

13.一种数据处理装置,其特征在于,包括:

14.一种电子设备,其特征在于,包括:

15.一种计算机程序产品,其特征在于,所述计算机程序产品包括存储的计算机程序,在所述计算机程序由处理器运行时,实现权利要求1至8中任意一项所述自然语言模型的生成方法,或权利要求9至11中任意一项所述的数据处理方法。

...

【技术特征摘要】

1.一种自然语言模型的生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,获取所述样本问题对应的推理路径集合包括:

3.根据权利要求2所述的方法,其特征在于,通过所述初始自然语言模型对所述样本问题和所述思维链式示例进行处理,判断是否能够得到所述样本问题对应的所述参考推理路径包括:

4.根据权利要求2所述的方法,其特征在于,依据所述样本问题、所述参考推理路径和所述思维链式示例,得到所述推理路径分支对包括:

5.根据权利要求1所述的方法,其特征在于,依据所述目标训练集对初始自然语言模型进行训练,得到所述目标自然语言模型包括:

6.根据权利要求5所述的方法,其特征在于,通过所述初始自然语言模型对所述目标训练集进行处理,得到目标预测推理路径包括:

7.根据权利要求6所述的方法,其特征在于,依据所述目标预测推...

【专利技术属性】
技术研发人员:谢耀赓陈桂臻徐蔚文刘安团赛赞亚波利亚邴立东
申请(专利权)人:阿里巴巴中国有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1