System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 信息处理方法、装置、电子设备及存储介质制造方法及图纸_技高网

信息处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:41635473 阅读:8 留言:0更新日期:2024-06-13 02:31
本公开提供了一种信息处理方法、装置、电子设备及存储介质,涉及人工智能技术领域,具体涉及机器翻译、深度学习和大语言模型领域。具体实现方案为:获取第一双语句子对,其中,第一双语句子对包括源语言句子和目标语言句子;基于大语言模型对第一双语句子对中的第一语言句子进行蒸馏,得到蒸馏后的第二双语句子对,其中,第一语言句子为源语言句子或者为目标语言句子。

【技术实现步骤摘要】

本公开涉及人工智能,具体涉及机器翻译、深度学习和大语言模型领域,尤其涉及一种信息处理方法、装置、电子设备及存储介质


技术介绍

1、机器翻译是利用计算机进行人类语言翻译的一门学科,是突破语言屏障的核心技术。当前神经网络机器翻译是主流技术,相较于传统的机器翻译方法,神经网络机器翻译在译文质量上取得大幅跃升。

2、目前,大语言模型能够表现出强大的理解、生成、记忆和推理能力,在跨语言任务机器翻译上也表现出色,但大语言模型也面临参数量大、算力需求高的挑战,就机器翻译技术而言,直接使用大语言模型的成本较高。


技术实现思路

1、本公开提供了一种信息处理方法、装置、电子设备及存储介质。

2、根据本公开的一方面,提供了一种信息处理方法,包括:

3、获取第一双语句子对,其中,所述第一双语句子对包括源语言句子和目标语言句子;

4、基于大语言模型对所述第一双语句子对中的第一语言句子进行蒸馏,得到蒸馏后的第二双语句子对,其中,所述第一语言句子为所述源语言句子或者为所述目标语言句子。

5、根据本公开的另一方面,提供了一种信息处理装置,包括:

6、获取模块,用于获取第一双语句子对,其中,所述第一双语句子对包括源语言句子和目标语言句子;

7、蒸馏模块,用于基于大语言模型对所述第一双语句子对中的第一语言句子进行蒸馏,得到蒸馏后的第二双语句子对,其中,所述第一语言句子为所述源语言句子或者为所述目标语言句子。

8、根据本公开的第三方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如第一方面所述的方法。

9、根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行如第一方面所述的方法。

10、根据本公开的第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如第一方面所述方法的步骤。

11、本公开实施例中,通过大语言模型对第一双语句子对中的第一语言句子进行蒸馏,提高了对第一语言句子的翻译效果,得到翻译更准确的第二双语句子对,相较于传统的机器翻译,翻译质量更高。

12、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种信息处理方法,包括:

2.根据权利要求1所述的方法,其中,所述基于大语言模型对所述第一双语句子对中的第一语言句子进行蒸馏,得到蒸馏后的第二双语句子对,包括:

3.根据权利要求2所述的方法,其中,所述由所述大语言模型按照所述蒸馏目标对所述第一语言句子进行蒸馏,得到所述第二双语句子对,包括:

4.根据权利要求3所述的方法,其中,所述将所述提示词和所述第一双语句子对中至少一个语言句子输入所述大语言模型中进行蒸馏,包括:

5.根据权利要求3或4所述的方法,其中,所述根据所述蒸馏目标和所述第一双语句子对,生成所述大语言模型的提示词,包括:

6.根据权利要求5所述的方法,其中,所述根据所述蒸馏目标和所述第一双语句子对中的第二语言句子,生成所述大语言模型的第一提示词,包括:

7.根据权利要求5所述的方法,其中,所述根据所述蒸馏目标和所述第一双语句子对中的第二语言句子,生成所述大语言模型的第一提示词,包括:

8.根据权利要求5所述的方法,其中,所述根据所述蒸馏目标,从所述第一双语句子对中确定输入所述大语言模型中的至少一个语言句子,包括:

9.根据权利要求2所述的方法,其中,所述根据所述蒸馏目标和所述第一语言句子,生成所述大语言模型的提示词,包括:

10.根据权利要求9所述的方法,其中,所述根据所述蒸馏目标和所述第一语言句子,生成所述大语言模型的第二提示词,包括:

11.根据权利要求9或10所述的方法,其中,所述根据所述蒸馏目标,从所述第一双语句子对中确定输入所述大语言模型中的至少一个语言句子,包括:

12.根据权利要求1-5或9或10任一项所述的方法,其中,所述基于大语言模型对所述第一双语句子对中的第一语言句子进行蒸馏,得到蒸馏后的第二双语句子对之后,还包括:

13.根据权利要求12所述的方法,其中,所述基于增强语料库,对学生模型进行训练,包括:

14.根据权利要求13所述的方法,其中,所述根据所述语料的质量评估信息,对所述增强语料库中的语料进行筛选操作,以得到目标语料库,包括:

15.根据权利要求14所述的方法,其中,所述根据所述语料组中每个语料的质量评估信息,从所述语料组中筛选所述同一源语言句子对应至少一个目标语料,包括:

16.一种信息处理装置,包括:

17.根据权利要求16所述的装置,其中,所述蒸馏模块,用于:

18.根据权利要求17所述的装置,其中,所述蒸馏模块,用于:

19.根据权利要求18所述的装置,其中,所述蒸馏模块,用于:

20.根据权利要求18或19所述的装置,其中,所述蒸馏模块,用于:

21.根据权利要求20所述的装置,其中,所述蒸馏模块,用于:

22.根据权利要求20所述的装置,其中,所述蒸馏模块,用于:

23.根据权利要求20所述的装置,其中,所述蒸馏模块,用于:

24.根据权利要求17所述的装置,其中,所述蒸馏模块,用于:

25.根据权利要求24所述的装置,其中,所述蒸馏模块,用于:

26.根据权利要求24或25所述的装置,其中,所述蒸馏模块,用于:

27.根据权利要求16-20或24或25任一项所述的装置,其中,所述蒸馏模块,还用于:

28.根据权利要求27所述的装置,其中,所述蒸馏模块,用于:

29.根据权利要求28所述的装置,其中,所述蒸馏模块,用于:

30.根据权利要求29所述的装置,其中,所述蒸馏模块,用于:

31.一种电子设备,包括:

32.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-15中任一项所述的方法。

33.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-15中任一项所述方法的步骤。

...

【技术特征摘要】

1.一种信息处理方法,包括:

2.根据权利要求1所述的方法,其中,所述基于大语言模型对所述第一双语句子对中的第一语言句子进行蒸馏,得到蒸馏后的第二双语句子对,包括:

3.根据权利要求2所述的方法,其中,所述由所述大语言模型按照所述蒸馏目标对所述第一语言句子进行蒸馏,得到所述第二双语句子对,包括:

4.根据权利要求3所述的方法,其中,所述将所述提示词和所述第一双语句子对中至少一个语言句子输入所述大语言模型中进行蒸馏,包括:

5.根据权利要求3或4所述的方法,其中,所述根据所述蒸馏目标和所述第一双语句子对,生成所述大语言模型的提示词,包括:

6.根据权利要求5所述的方法,其中,所述根据所述蒸馏目标和所述第一双语句子对中的第二语言句子,生成所述大语言模型的第一提示词,包括:

7.根据权利要求5所述的方法,其中,所述根据所述蒸馏目标和所述第一双语句子对中的第二语言句子,生成所述大语言模型的第一提示词,包括:

8.根据权利要求5所述的方法,其中,所述根据所述蒸馏目标,从所述第一双语句子对中确定输入所述大语言模型中的至少一个语言句子,包括:

9.根据权利要求2所述的方法,其中,所述根据所述蒸馏目标和所述第一语言句子,生成所述大语言模型的提示词,包括:

10.根据权利要求9所述的方法,其中,所述根据所述蒸馏目标和所述第一语言句子,生成所述大语言模型的第二提示词,包括:

11.根据权利要求9或10所述的方法,其中,所述根据所述蒸馏目标,从所述第一双语句子对中确定输入所述大语言模型中的至少一个语言句子,包括:

12.根据权利要求1-5或9或10任一项所述的方法,其中,所述基于大语言模型对所述第一双语句子对中的第一语言句子进行蒸馏,得到蒸馏后的第二双语句子对之后,还包括:

13.根据权利要求12所述的方法,其中,所述基于增强语料库,对学生模型进行训练,包括:

14.根...

【专利技术属性】
技术研发人员:何中军吴华王海峰
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1