System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 语音翻译的方法、装置、电子设备和介质制造方法及图纸_技高网

语音翻译的方法、装置、电子设备和介质制造方法及图纸

技术编号:40409497 阅读:15 留言:0更新日期:2024-02-20 22:29
本公开的实施例涉及语音翻译的方法、装置、电子设备和介质。该方法包括基于源语言的音频,生成与音频相对应的语音表示。该方法还包括获取与目标语言有关的提示内容。此外,该方法还包括基于语音表示和提示内容,生成与音频相对应的目标语言文本。由此,本公开的实施例可以利用端到端的方式进行语音翻译任务,通过源语言音频生成语音表示并结合提示内容,来生成相应的目标语言文本,避免级联任务的误差累积、错误传递和语音识别生硬等问题,提高语音翻译结果的流畅性和可读性,进而提高用户语音翻译时的用户体验。

【技术实现步骤摘要】

本申请涉及计算机,尤其具体地涉及语音翻译的方法、装置、电子设备以及介质。


技术介绍

1、语音翻译技术是一项重要的创新,它的涉及语音识别技术、自然语言处理、机器翻译等方面。语音翻译任务旨在将源语言语音翻译成目标语言文本,广泛应用于会议演讲翻译、视频字幕翻译、增强现实翻译等各种场景。

2、随着全球化的发展,语音翻译在沟通、商务和文化交流中扮演着关键的角色。通过将将源语言语音翻译成目标语言文本,促进不同语种间的交流,加强国际合作。在数字时代,语音翻译的重要性不断凸显,为人们提供了更广泛的交流机会。


技术实现思路

1、本公开的实施例提供了一种语音翻译的方法、装置、电子设备以及介质。

2、根据本公开的第一方面,提供了一种语音翻译的方法。该方法包括基于源语言的音频,生成与音频相对应的语音表示。该方法还包括获取与目标语言有关的提示内容。此外,该方法还包括基于语音表示和提示内容,生成与音频相对应的目标语言文本。

3、根据本公开的第二方面,提供了一种语音翻译的装置。该装置包括语音表示生成模块,被配置为基于源语言的音频,生成与音频相对应的语音表示。该装置还包括提示内容获取模块,被配置为获取与目标语言有关的提示内容。此外,该装置还包括目标文本生成模块,被配置为基于语音表示和提示内容,生成与音频相对应的目标语言文本。

4、根据本公开的第三方面,提供了一种电子设备。该电子设备包括处理器以及与处理器耦合的存储器,存储器具有存储于其中的指令,指令在被处理器执行时使电子设备执行根据第一方面所述的方法。

5、在本公开的第四方面中,提供了一种计算机可读存储介质。该计算机可读存储介质上存储有一条或多条计算机指令,其中一条或多条计算机指令被处理器执行以实现根据第一方面所述的方法。

6、
技术实现思路
部分是为了以简化的形式来介绍对概念的选择,它们在下文的具体实施方式中将被进一步描述。
技术实现思路
部分无意标识要求保护的主题的关键特征或主要特征,也无意限制要求保护的主题的范围。

本文档来自技高网...

【技术保护点】

1.一种语音翻译的方法,包括:

2.根据权利要求1所述的方法,其中获取与所述目标语言有关的所述提示内容包括:

3.根据权利要求2所述的方法,其中生成与所述音频相对应的所述目标语言文本包括:

4.根据权利要求1所述的方法,其中生成与所述音频相对应的所述目标语言文本包括:

5.根据权利要求4所述的方法,还包括:

6.根据权利要求5所述的方法,其中所述目标语言文本段包括语音识别文本、与所述语音识别文本相对应的时间戳以及语音翻译文本。

7.根据权利要求6所述的方法,其中从所述音频丢弃所述预定长度的所述第一音频段:

8.根据权利要求1所述的方法,其中所述目标语言文本经由语音翻译模型生成,所述语音翻译模型经由篇章级多语言文档进行预训练并且利用多任务进行调整。

9.根据权利要求8所述的方法,其中利用所述多任务对所述语音翻译模型进行调整包括:

10.根据权利要求9所述的方法,其中所述对应的提示内容包括转写提示内容以及翻译提示内容,并且调整所述语音翻译模型包括:

11.根据权利要求8所述的方法,其中利用所述多任务对所述语音翻译模型进行调整包括:

12.根据权利要求8所述的方法,其中利用所述多任务对所述语音翻译模型进行调整包括:

13.根据权利要求8所述的方法,其中利用所述多任务对所述语音翻译模型进行调整包括:

14.根据权利要求8所述的方法,其中利用所述多任务对所述语音翻译模型进行调整包括:

15.一种语音翻译的装置,包括:

16.一种电子设备,包括:

17.一种计算机可读存储介质,其上存储有计算机可执行指令,其中所述计算机可执行指令被处理器执行以实现根据权利要求1至14中任一项所述的方法。

...

【技术特征摘要】

1.一种语音翻译的方法,包括:

2.根据权利要求1所述的方法,其中获取与所述目标语言有关的所述提示内容包括:

3.根据权利要求2所述的方法,其中生成与所述音频相对应的所述目标语言文本包括:

4.根据权利要求1所述的方法,其中生成与所述音频相对应的所述目标语言文本包括:

5.根据权利要求4所述的方法,还包括:

6.根据权利要求5所述的方法,其中所述目标语言文本段包括语音识别文本、与所述语音识别文本相对应的时间戳以及语音翻译文本。

7.根据权利要求6所述的方法,其中从所述音频丢弃所述预定长度的所述第一音频段:

8.根据权利要求1所述的方法,其中所述目标语言文本经由语音翻译模型生成,所述语音翻译模型经由篇章级多语言文档进行预训练并且利用多任务进行调整。

9.根据权利要求8所述的方法,其中利用所述...

【专利技术属性】
技术研发人员:黄志超叶蓉高汝霆董倩倩程善伯王明轩李航
申请(专利权)人:脸萌有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1