一种基于手机的实时传译方法和设备技术

本发明专利技术公开一种基于手机的实时传译方法和设备，传译方法包括：步骤S1：设置交流对象语种类型；步骤S2：采集待翻译语音信息，并判断待翻译语音信息是否来自机主，若是，则进入步骤S3，若否，进入步骤S4；步骤S3：根据预设的机主语种和交流对象的语种类型将所述待翻译语音信息转换成与交流对象语种类型相同的第一语音信息，并将第一语音信息通过机主手机扬声器播放；步骤S4：根据预设的机主语种和交流对象的语种类型将待翻译语音信息转化成与机主语种相同的第二语音信息，并将第二语音信息通过机主耳机播放，所述机主耳机与机主手机通讯连接。本发明专利技术提供的方法只需设置交流对象的语种信息，无需进行其他操作，操作简便，使得交流过程更加流畅。程更加流畅。程更加流畅。

【技术实现步骤摘要】
一种基于手机的实时传译方法和设备


[0001]本专利技术涉及语音处理领域，具体为一种基于手机的实时传译方法和设备。

技术介绍

[0002]语音转文字和文字转语音技术已得到广泛运用，各种翻译装置基本由语音采集、语音识别、文本翻译、语音合成、语音播放构成，叠加对各种场景的特殊需求，例如关注语音保真、语音定位、语音分离、通讯方式、通讯效率，现有技术的差异主要体现在对于具体场景的使用便利性、价性比，单向实时语音翻译已经普遍且成熟。
[0003]基于语音信息识别语种，从而实现双向实时语音翻译的技术仍不够成熟。语音特征、发音特征、声信号特征都是一个人的个人声学特征，一个人可以说不同语言，但是他在说不同语言时的个人声学特征却是相同的。同时，许多语言也有相似的语音语调等语音特征。因此，以语音信息识别语种实现双向实时语音翻译在实施上有重大缺陷。
[0004]就个人日常双向翻译需求而言，现有技术便捷性较差，以一些手持设备为例，包括安装有特定APP的手机，使用场景是，两个语言不通的人进行语言交流时，若仅使用一台手机，需不停地进行翻译方向转换操作，若各手持一台翻译设备，实际情况为很难同时持有这类设备，即便某人持有两台，基于信任、个人卫生、隐私等原因，分享多有不便。
[0005]就个人日常的双向翻译需求，
①
偶发即兴的街市场景，从可实施性角度看，远程播放装置的连接较为复杂，语言不通、互不相识的两个人也很难接受使用对方耳机，也就是说，方法改进的要点是基于机主自己完成所有操作。
②
相识有一定信任基础，交流时间较长，双方都有交流协作的意愿，此时提升用户感受的重点在于交流的真实性和流畅性。
[0006]基于前述场景的需求和现有技术，改进应聚焦在解决说话者是谁的问题，在操作层面要做到,
①
基于交流对象不需进行任何协作。
②
装置极简，尽量减少部件，减少增加部件带来的收纳、连接需求。
③
操作极简，不需交流对象参与操作，机主本人也较少或无需操作。
④
注重现场感受。
⑤
注重流畅性。提高语音翻译的效率和便利性，提升用户体验。

技术实现思路

[0007]本专利技术的目的是针对现有技术存在的问题，提供一种基于手机的实时传译方法和设备，用以解决上述技术问题中的至少一个。
[0008]基于本专利技术说明书的一方面，提供一种基于手机的实时传译方法，包括：
[0009]步骤S1：设置交流对象语种类型；机主可以根据交流场景的发生地或交流对象提供的国籍特征等信息设置交流对象的语种类型；
[0010]步骤S2：采集待翻译语音信息；
[0011]步骤S3：判断待翻译语音信息是否来自机主，若是，则进入步骤S4，若否，进入步骤S5；所述判断待翻译语音信息是否来自机主的方法包括：
[0012]提取待翻译语音信息的语音特征；
[0013]判断待翻译语音信息的语音特征与预存储的机主语音特征是否相符，若是，则待
翻译语音信息来自机主，若否，则待翻译语音信息来自交流对象；
[0014]步骤S4：根据预设的机主语种和交流对象的语种类型将所述待翻译语音信息转换成与交流对象语种类型相同的第一语音信息，并将第一语音信息通过机主手机扬声器播放；第一语音信息的信息内容及语音特征均与机主所说的话相同，不同之处是，第一语音信息是以交流对象的语种呈现的；
[0015]步骤S5：根据预设的机主语种和交流对象的语种类型将待翻译语音信息转化成与机主语种相同的第二语音信息，并将第二语音信息通过机主耳机播放，所述机主耳机与机主手机通讯连接。第二语音信息的信息内容及语音特征均与交流对象所说的话相同，不同之处是，第一语音信息是以机主的语种呈现的。
[0016]在上述技术方案中，在设置好交流对象的语种特征后，利用语音特征对比实现对待翻译语音信息的来源进行判断，进而得到待翻译语音信息对应的语种类型，根据语种类型将说话者的待翻译语音信息转换成倾听者的语种对应的第一语音信息或第二语音信息，机主通过机主耳机收听第二语音信息，交流对象通过机主手机扬声器收听第一语音信息，从而实现双向传译。
[0017]每个人说出的话均具有不同的语音特征，例如不同人的声纹特征不同，因此，可以根据声纹特征分别待翻译语音是由哪一个人说出的，本专利技术中在机主手机内预存有机主的语音特征，当手机传声器(常见为手机麦克风)采集到待翻译语音信息后，通过比对机主的语音特征和待翻译语音信息的语音特征即可判断待翻译语音信息是否是由机主本人说的，由于机主手机已经获取了机主的语种和交流对象的语种，在判断出待翻译语音信息的来源后，即可直接获得待翻译语音信息对应的语种以及需要将语音转换成何种语种类型，从而进行后续的语音识别、文本翻译及语音合成等过程。
[0018]进一步地，所述步骤S4包括：
[0019]步骤S4.1：按照预设的机主语种识别逐段识别待翻译语音信息，得到第一机主语言文本；在这一步骤之前已经判定处待翻译语音信息来自机主，机主手机中预设有机主语种，此时根据机主语种可以将待翻译语音信息进行识别，得到一机主语种呈现的文本，即为第一机主语言文本；
[0020]步骤S4.2：将所述第一机主语言文本翻译为与交流对象语种类型相同的第一对象语言文本；在获得第一机主语言文本后，此时已经知晓机主语种和交流对象语种，因此可以直接将第一机主语言文本的文本内容翻译成以交流对象语种呈现的文本，即为第一对象语言文本；
[0021]步骤S4.3：将所述第一对象语言文本合成为与机主语音特征相符的第一语音信息；得到第一对象语言文本后，根据机主的语音特征，将第一对象语言文本合成语音，即为第一语音信息，第一语音信息包含机主的语音特征和语义，不仅能使交流对象清楚的知晓机主所说的话的含义，还能使交流对象听到的语音符合机主的语音特征，交流对象听起来会有自然真实感。
[0022]步骤S4.4：将所述第一语音信息传输至机主手机扬声器进行播放，同时控制手机传声器停止采集待翻译语音信息。当手机扬声器播放第一语音信息时，若此时手机传声器继续采集语音，会导致后续流程出现错乱，因为手机扬声器播放的声音是具有机主语音特征且语种为交流对象语种的语音，若对些语音进行分析，会导致流程无法实现，且增加了工
作量，因此，在手机扬声器播放完语音的时候，应停止手机传声器对语音的采集。
[0023]逐段提取语音时，是根据语音有所停顿的特征来划分段落的，考虑到不同语言间主宾、时态、语序位置不同，往往要在听完整句后才能翻译，因此翻译实时性是相对的，往往落后实际说话者一个语句的时间。
[0024]将待翻译语音信息进行不同语言之间的转化通常需要经过语音识别，文本翻译和语音合成等步骤。语音识别，文本翻译，语音合成等技术均属现有技术，有各种模型和算法，例如，语音特征的提取可以采用梅尔频率倒谱系数(MFCC)或线性预测系数(LPC)等模型实现，文本信息的分析可以采用马尔可夫模型、深度神经网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于手机的实时传译方法，其特征在于，包括：步骤S1：设置交流对象语种类型；步骤S2：采集待翻译语音信息；步骤S3：判断待翻译语音信息是否来自机主，若是，则进入步骤S4，若否，进入步骤S5；所述判断待翻译语音信息是否来自机主的方法包括：提取待翻译语音信息的语音特征；判断待翻译语音信息的语音特征与预存储的机主语音特征是否相符，若是，则待翻译语音信息来自机主，若否，则待翻译语音信息来自交流对象；步骤S4：根据预设的机主语种和交流对象的语种类型将所述待翻译语音信息转换成与交流对象语种类型相同的第一语音信息，并将第一语音信息通过机主手机扬声器播放；步骤S5：根据预设的机主语种和交流对象的语种类型将待翻译语音信息转化成与机主语种相同的第二语音信息，并将第二语音信息通过机主耳机播放，所述机主耳机与机主手机通讯连接。2.根据权利要求1所述的一种基于手机的实时传译方法，其特征在于，所述步骤S4包括：步骤S4.1：按照预设的机主语种识别逐段识别待翻译语音信息，得到第一机主语言文本；步骤S4.2：将所述第一机主语言文本翻译为与交流对象语种类型相同的第一对象语言文本；步骤S4.3：将所述第一对象语言文本合成为与机主语音特征相符的第一语音信息；步骤S4.4：将所述第一语音信息传输至机主手机扬声器进行播放，同时控制手机传声器停止采集待翻译语音信息。3.根据权利要求1所述的一种基于手机的实时传译方法，其特征在于，所述步骤S5包括：步骤S5.1：按照交流对象语种类型逐段识别待翻译语音信息，得到第二对象语言文本；步骤S5.2：将所述第二对象语言文本翻译成与机主语种相同的第二机主语言文本；步骤S5.3：将所述第二机主语言文本合成为与交流对象语音特征相符的第二语音信息；步骤S5.4：将所述第二语音信息传输至机主耳机进行播放。4.根据权...

【专利技术属性】
技术研发人员：张彦龙，
申请(专利权)人：张彦龙，
类型：发明
国别省市：