System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 模型训练方法、文本预测方法、装置、设备和存储介质制造方法及图纸_技高网

模型训练方法、文本预测方法、装置、设备和存储介质制造方法及图纸

技术编号:41218202 阅读:4 留言:0更新日期:2024-05-09 23:39
本申请涉及一种模型训练方法、文本预测方法、装置、计算机设备、存储介质和程序产品。所述方法涉及人工智能,包括:获取根据输出文本样本、以及对输出文本样本进行位置采样和字音转换获得的简拼拼音构建得到的训练集,根据训练样本集对原始模型进行训练,获得训练好的文本预测模型。获取包括上文文本和简拼拼音的待预测数据,基于训练好的文本预测模型的编码器,对上文文本和简拼拼音的语义特征进行编码处理,获得与简拼拼音对应的、且与上文文本关联的编码信息矩阵,根据训练好的文本预测模型的解码器,对编码信息矩阵进行文本预测处理,获得与待预测数据对应的输出文本。采用本方法能够提升文本预测模型的预测精度、和输出文本的预测准确度。

【技术实现步骤摘要】

本申请涉及人工智能,特别是涉及一种模型训练方法、文本预测方法、装置、计算机设备、存储介质和计算机程序产品。


技术介绍

1、随着人工智能技术的发展,以及移动互联网的广泛应用,信息传输的速度和效率也日益提升,用户可基于各类终端设备,比如智能手机、平板电脑、以及个人电脑等,获取所需的信息,同时还可以和其他用户之间进行信息交互。

2、其中,比如用户和某目标联系人之间,通过社交应用软件进行信息交互时,具体是使用终端设备上安装有的输入法比如拼音输入法,实现信息文本预测,并将生成的信息文本通过社交应用软件,发送至目标联系人。而在实际使用过程中,用户在使用拼音输入法时,为提高输入效率,通常采用输入拼音简拼方式,从而需要根据用户输入的拼音简拼,预测得到用户预期输入的中文文本。

3、传统上,从拼音简拼到中文文本的预测过程,通常包括简拼拼音生成全拼拼音、全拼拼音权重打分、以及全拼拼音到中文文本转换等多个步骤,且每个步骤依赖前一步骤的结果,产生的误差通常会累积传导到最后的输出结果上,即多次累积的误差会对最终的输出结果的精确度造成较大影响,因此,传统的文本生成方式,仍然存在输出结果准确度低的问题。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够文本预测过程中的误差累积,提升文本预测结果准确度的模型训练方法、文本预测方法、装置、计算机设备、存储介质和计算机程序产品。

2、第一方面,本申请提供了一种模型训练方法。所述方法包括:

3、获取训练样本集;所述训练样本集是根据输出文本样本、以及对所述输出文本样本进行位置采样和字音转换获得的简拼拼音构建得到的;

4、根据所述训练样本集,对原始模型进行训练,获得训练好的文本预测模型;所述训练好的文本预测模型,包括用于对输出文本和简拼拼音的语义特征进行编码处理的编码器、以及用于生成与所述简拼拼音对应的输出文本的解码器。

5、第二方面,本申请提供了一种文本预测方法,应用于训练好的文本预测模型,所述方法包括:

6、获取输入的待预测数据;所述待预测数据包括上文文本和简拼拼音;

7、基于所述训练好的文本预测模型的编码器,对所述上文文本和简拼拼音的语义特征进行编码处理,获得与所述简拼拼音对应的、且与所述上文文本关联的编码信息矩阵;

8、根据所述训练好的文本预测模型的解码器,对所述编码信息矩阵进行文本预测处理,获得与所述待预测数据对应的输出文本。

9、第三方面,本申请还提供了一种模型训练装置。所述装置包括:

10、训练样本集获取模块,用于获取训练样本集;所述训练样本集是根据输出文本样本、以及对所述输出文本样本进行位置采样和字音转换获得的简拼拼音构建得到的;

11、文本预测模型训练模块,用于根据所述训练样本集,对原始模型进行训练,获得训练好的文本预测模型;所述训练好的文本预测模型,包括用于对输出文本和简拼拼音的语义特征进行编码处理的编码器、以及用于生成与所述简拼拼音对应的输出文本的解码器。

12、第四方面,本申请还提供了一种文本预测装置。所述装置包括:

13、待预测数据获取模块,用于获取输入的待预测数据;所述待预测数据包括上文文本和简拼拼音;

14、编码信息矩阵获得模块,用于基于所述训练好的文本预测模型的编码器,对所述上文文本和简拼拼音的语义特征进行编码处理,获得与所述简拼拼音对应的、且与所述上文文本关联的编码信息矩阵;

15、文本预测模块,用于根据所述训练好的文本预测模型的解码器,对所述编码信息矩阵进行文本预测处理,获得与所述待预测数据对应的输出文本。

16、第五方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

17、获取训练样本集;所述训练样本集是根据输出文本样本、以及对所述输出文本样本进行位置采样和字音转换获得的简拼拼音构建得到的;

18、根据所述训练样本集,对原始模型进行训练,获得训练好的文本预测模型;所述训练好的文本预测模型,包括用于对输出文本和简拼拼音的语义特征进行编码处理的编码器、以及用于生成与所述简拼拼音对应的输出文本的解码器。

19、第六方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

20、获取输入的待预测数据;所述待预测数据包括上文文本和简拼拼音;

21、基于所述训练好的文本预测模型的编码器,对所述上文文本和简拼拼音的语义特征进行编码处理,获得与所述简拼拼音对应的、且与所述上文文本关联的编码信息矩阵;

22、根据所述训练好的文本预测模型的解码器,对所述编码信息矩阵进行文本预测处理,获得与所述待预测数据对应的输出文本。

23、第七方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

24、获取训练样本集;所述训练样本集是根据输出文本样本、以及对所述输出文本样本进行位置采样和字音转换获得的简拼拼音构建得到的;

25、根据所述训练样本集,对原始模型进行训练,获得训练好的文本预测模型;所述训练好的文本预测模型,包括用于对输出文本和简拼拼音的语义特征进行编码处理的编码器、以及用于生成与所述简拼拼音对应的输出文本的解码器。

26、第八方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

27、获取输入的待预测数据;所述待预测数据包括上文文本和简拼拼音;

28、基于所述训练好的文本预测模型的编码器,对所述上文文本和简拼拼音的语义特征进行编码处理,获得与所述简拼拼音对应的、且与所述上文文本关联的编码信息矩阵;

29、根据所述训练好的文本预测模型的解码器,对所述编码信息矩阵进行文本预测处理,获得与所述待预测数据对应的输出文本。

30、第九方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:

31、获取训练样本集;所述训练样本集是根据输出文本样本、以及对所述输出文本样本进行位置采样和字音转换获得的简拼拼音构建得到的;

32、根据所述训练样本集,对原始模型进行训练,获得训练好的文本预测模型;所述训练好的文本预测模型,包括用于对输出文本和简拼拼音的语义特征进行编码处理的编码器、以及用于生成与所述简拼拼音对应的输出文本的解码器。

33、第十方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:

34、获取输入的待预测数据;所述待本文档来自技高网...

【技术保护点】

1.一种模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取训练样本集,包括:

3.根据权利要求2所述的方法,其特征在于,所述对所述输出文本样本进行位置采样处理、以及字音转换处理,获得与所述输出文本样本对应的简拼拼音,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述输出文本样本、以及与所述输出文本样本对应的简拼拼音,构建得到训练样本集,包括:

5.根据权利要求3所述的方法,其特征在于,所述基于所述全拼音序列进行简拼采样处理,获得与所述输出文本样本对应的简拼拼音,包括:

6.根据权利要求3所述的方法,其特征在于,当前输入法类型包括第二类型;所述方法还包括:

7.一种文本预测方法,其特征在于,应用于权利要求1至6任意一项训练好的文本预测模型,所述方法包括:

8.一种模型训练装置,其特征在于,所述装置包括:

9.一种文本预测装置,其特征在于,所述装置包括:

10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

12.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取训练样本集,包括:

3.根据权利要求2所述的方法,其特征在于,所述对所述输出文本样本进行位置采样处理、以及字音转换处理,获得与所述输出文本样本对应的简拼拼音,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述输出文本样本、以及与所述输出文本样本对应的简拼拼音,构建得到训练样本集,包括:

5.根据权利要求3所述的方法,其特征在于,所述基于所述全拼音序列进行简拼采样处理,获得与所述输出文本样本对应的简拼拼音,包括:

6.根据权利要求3所述的方法,其特征在于,当前输入法类型包括第二类型;所述方法还包括:

<...

【专利技术属性】
技术研发人员:周昊冉邱周杰
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1