多终端多语种视频会议的语音翻译实时处理系统与方法技术方案

本发明专利技术提出多终端多语种视频会议的语音翻译实时处理系统与方法。所述系统：终端接入子系统，用于接收多种不同类型的用户终端发送的第一语音信息；终端分组子系统，基于所述第一语音信息的属性对所述用户终端进行分组；分组翻译子系统，将每个所述分组中的用户终端发送的第一语音信息进行翻译，并输出第一语音翻译结果和第二文本翻译结果；翻译争端判定子系统，基于所述第二文本翻译结果进行翻译争端判定；所述争端摘要记录子系统基于所述翻译争端判定子系统的判定结果，生成并记录翻译争端摘要文件。本发明专利技术还提出一种用于多终端多语种视频会议的语音翻译实时处理方法。频会议的语音翻译实时处理方法。频会议的语音翻译实时处理方法。

【技术实现步骤摘要】
多终端多语种视频会议的语音翻译实时处理系统与方法


[0001]本专利技术属于语音智能翻译
，尤其涉及一种多终端多语种视频会议的语音翻译实时处理系统与方法。

技术介绍

[0002]远程视频会议系统是指两个或两个以上不同地方的个人或群体，通过传输线路及多媒体设备，将声音、影像及文件资料互相传送，达到即时且互动的沟通，以完成会议目的之系统设备。
[0003]在高端跨国多语种远程视频会议中，语言上的沟通障碍显而易见。于是人们迫切希望计算机能够具有更高的智能以充当克服人类语言障碍的中间角色，实现人与人之间的自由交流。这种由计算机系统实现的从一种自然语言的语音到另一种自然语言语音的翻译就是我们通常所说的语音翻译(Speech
‑
to
‑
Speech Translation)。跨国交流，对包括口译、笔译及本地化等在内的语言服务提出了大量的多样化的需求。
[0004]在远程视频会议中，切入人工智能，可以进行语音识别和人脸识别，实时地将与会者的发言语音转换成文字显示在大屏幕中，甚至进行多语种的转译，现有技术对此也有诸多报道。
[0005]在专利文献方面，中国专利技术专利申请CN202010838925.9提出一种网络会议处理方法，包括：接收网络会议的多媒体数据；根据所述多媒体数据在人机交互界面中呈现所述网络会议的内容，并在所述人机交互界面中呈现弹幕编辑入口；响应于在所述弹幕编辑入口中的弹幕编辑操作，呈现被输入的弹幕；响应于弹幕发送操作，在所述人机交互界面中呈现所述弹幕，以向所述网络会议的参会对象发送所述弹幕。该技术方案能够以资源集约的方式实现针对会议内容的深入和高效的互动，从而促进会议质量。
[0006]中国专利技术专利公开文本CN112115726A则公布一种机器翻译方法，方法包括：接收语音识别文本；对所述语音识别文本进行翻译，确定所述语音识别文本的至少一个语种的翻译文本；根据所述翻译文本的语种，将所述翻译文本写入对应语种的消息装置通道；接收目标终端发送的目标订阅消息，所述目标订阅消息包括目标语种信息；确定所述目标订阅消息对应的目标消息装置通道，所述目标消息装置通道中的翻译文本为所述目标语种信息对应语种的翻译文本；以及将所述目标终端接入所述目标消息装置通道，以使得所述目标终端获取所述目标消息装置通道中的翻译文本。由此，可以降低翻译成本，减少服务端的翻译压力。
[0007]然而，在重要国际会议中，口语语音翻译的实时度通常是第一考虑因素，因为需要满足会议的实际场景。但是，会议本身需要记录准确的语音原文，同时避免实时机器口语翻译产生的歧义甚至错误。现有技术对此并未给出有效的技术方案。

技术实现思路

[0008]为解决上述技术问题，本专利技术提出一种多终端多语种视频会议的语音翻译实时处
理系统与方法。所述系统：终端接入子系统，用于接收多种不同类型的用户终端发送的第一语音信息；终端分组子系统，基于所述第一语音信息的属性对所述用户终端进行分组；分组翻译子系统，将每个所述分组中的用户终端发送的第一语音信息进行翻译，并输出第一语音翻译结果和第二文本翻译结果；翻译争端判定子系统，基于所述第二文本翻译结果进行翻译争端判定；所述争端摘要记录子系统基于所述翻译争端判定子系统的判定结果，生成并记录翻译争端摘要文件。
[0009]本专利技术还提出一种用于多终端多语种视频会议的语音翻译实时处理方法。
[0010]具体来说，在本专利技术第一个方面，提供一种多终端多语种视频会议的语音翻译实时处理系统，所述系统包括终端接入子系统、终端分组子系统、分组翻译子系统、翻译争端判定子系统、文本识别子系统以及争端摘要记录子系统；
[0011]所述终端接入子系统提供多个语音输入端口，用于接收多种不同类型的用户终端发送的第一语音信息；
[0012]所述终端分组子系统基于所述第一语音信息的属性对所述用户终端进行分组；
[0013]所述分组翻译子系统将每个所述分组中的用户终端发送的第一语音信息进行翻译，并输出第一语音翻译结果和第二文本翻译结果；
[0014]所述翻译争端判定子系统基于所述第二文本翻译结果进行翻译争端判定；
[0015]所述争端摘要记录子系统基于所述翻译争端判定子系统的判定结果，生成并记录翻译争端摘要文件；
[0016]所述翻译争端摘要文件包括所述第一语音信息本身、发送所述第一语音信息的用户终端识别号以及发送时间。
[0017]在本专利技术的上述技术方案中，所述分组翻译子系统包括第一语音翻译引擎组和第二文本翻译引擎组；
[0018]所述第一语音翻译引擎组包括多个第一语音翻译引擎，所述第一语音翻译引擎将所述第一语音信息翻译为目标语种的第一语音翻译结果；
[0019]所述第二文本翻译引擎组包括多个第二文本翻译引擎；
[0020]将每个所述第一语音翻译结果输入至多个第二文本翻译引擎，生成并输出对应于所述第一语音翻译结果的多个第二文本翻译结果；
[0021]所述第二文本翻译结果的语种与所述第一语音信息的语种相同。
[0022]所述文本识别子系统在满足预定条件时启动，具体的可参见后续具体实施例介绍。
[0023]在第一个方面的所述语音翻译实时处理系统的基础上，在本专利技术的第二个方面，提供一种用于多终端多语种视频会议的语音翻译实时处理方法，所述方法包括如下步骤：
[0024]S100：接收用户终端发送的第一语音信息；
[0025]S200：基于所述第一语音信息中包含的位置信息，对所述用户终端进行分组；
[0026]S300：基于所述用户终端的分组为用户终端分配第一语音翻译线程；
[0027]S400：将所述第一语音翻译线程输出的第一语音翻译结果发送至多个第二文本翻译线程；
[0028]S500：基于所述多个第二文本翻译线程输出的多个第二文本翻译结果，判断是否存在翻译争端；
[0029]如存在翻译争端，则进入步骤S600；否则，返回步骤S100；
[0030]S600：启动争端记录线程。
[0031]所述第一语音翻译线程用于将所述第一语音信息翻译为目标语种的第一语音翻译结果；
[0032]所述第二文本翻译线程用于将所述第一语音翻译结果翻译为对应于第一语音信息语种的第二文本翻译结果。
[0033]所述步骤S500具体包括：
[0034]基于所述多个第二文本翻译结果构建相似度矩阵，
[0035]基于所述相似度矩阵的稳定性判断是否存在翻译争端。
[0036]本专利技术的技术方案能够在不影响语音会议系统实时翻译输出的前提下，自动化的在后台实现语音翻译可能存在的歧义以及争论，并形成翻译争端文件记录下来，以备后续查勘，避免了人工介入。
[0037]本专利技术的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
[0038]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多终端多语种视频会议的语音翻译实时处理系统，所述系统包括终端接入子系统、终端分组子系统、分组翻译子系统、翻译争端判定子系统以及争端摘要记录子系统；其特征在于：所述终端接入子系统提供多个语音输入端口，用于接收多种不同类型的用户终端发送的第一语音信息；所述终端分组子系统基于所述第一语音信息的属性对所述用户终端进行分组；所述分组翻译子系统将每个所述分组中的用户终端发送的第一语音信息进行翻译，并输出第一语音翻译结果和第二文本翻译结果；所述翻译争端判定子系统基于所述第二文本翻译结果进行翻译争端判定；所述争端摘要记录子系统基于所述翻译争端判定子系统的判定结果，生成并记录翻译争端摘要文件；所述翻译争端摘要文件包括所述第一语音信息本身、发送所述第一语音信息的用户终端识别号以及发送时间。2.如权利要求1所述的一种多终端多语种视频会议的语音翻译实时处理系统，其特征在于：所述第一语音信息本身为所述用户终端采集的用户即时输入语音序列；所述用户终端将所述用户即时输入语音序列嵌入位置信息后，作为所述第一语音信息发送至所述终端接入子系统。3.如权利要求2所述的一种多终端多语种视频会议的语音翻译实时处理系统，其特征在于：所述位置信息包括所述用户终端发送所述第一语音信息时的地理位置信息、IP地址信息或者其组合。4.如权利要求2或3所述的一种多终端多语种视频会议的语音翻译实时处理系统，其特征在于：所述终端分组子系统基于所述第一语音信息的属性对所述用户终端进行分组，具体包括：所述终端分组子系统获取所述第一语音信息中嵌入的位置信息，根据所述位置信息确定所述第一语音信息的语种类别；根据所述语种类别，对所述用户终端进行分组。5.如权利要求1或2或3所述的一种多终端多语种视频会议的语音翻译实时处理系统，其特征在于：所述分组翻译子系统包括第一语音翻译引擎组和第二文本翻译引擎组；所述第一语音翻译引擎组包括多个第一语音翻译引擎，所述第一语音翻译引擎将所述第一语音信息翻译为目标语种的第一语音翻译结果；所述第二文本翻译引擎组包括多个第二文本翻译引擎；将每个所述第一语音翻译结果输入至多个第二文本翻译引擎，生成...

【专利技术属性】
技术研发人员：何征宇，
申请(专利权)人：传神语联网网络科技股份有限公司，
类型：发明
国别省市：