【技术实现步骤摘要】
【国外来华专利技术】
所属本专利技术涉及用于提供高质量语音无线或有线通信的系统和方法。更具体地说，本专利技术涉及用于在嘈杂条件下提供清晰语音通信的系统和方法。
技术介绍
0、专利技术背景
1、传统的语音通信技术面临着诸多挑战，尤其是在嘈杂的环境中进行无线或有线通信(例如蜂窝电话呼叫)。当人们在街上行走，乘坐地铁，在嘈杂的高速公路上行驶，在餐馆吃饭或参加派对或娱乐活动(如音乐节等)时，这样的语音通话经历常常发生。但是，在这些嘈杂环境中，清晰的语音沟通往往难以实现。
2、近期的技术发展也使免提语音通话成为可能。不过，免提无线通话在嘈杂的情况下实现清晰通话也面临着同样的挑战。由于这些原因，消除噪声成为一项紧迫的挑战，许多传统的技术解决方案试图克服这些困难。这些技术包括波束形成、统计降噪、频段滤波、以及使用在不同噪声环境下所记录的大量数据进行深度学习来消除噪声，等。然而，这些技术通常只能有效且可靠地消除平稳或已知噪声。不幸的是，大多数无线通信通话经常处在预先未知的非平稳噪声，动态变化的嘈杂环境，有些甚至是在信噪比非常低的情况下。
3、因此，语音通信领域仍迫切需要为日常无线通信提供有效实用的消除噪声的方法和装置。
4、专利技术概括
5、本专利技术的一个方面是提供一种新的和改进噪声消除系统，该系统采用新的设备和方法来克服传统技术遇到的限制和困难。具体来说，这噪声消除系统包括具有振动传感器和麦克风的可穿戴设备，用于探测和跟踪语音信号。
6、在一个实施例中，振动传感器包括mems加速传感器和压电
7、在另外一个实施例中，以嵌入码的方式或其他形式的说话者的独特特征与振动传感器信号一起被用于将振动信号转换为该说话人语音的全频段梅尔频谱图(mel-spectrogram)。然后，使用预先在许多说话人清晰声音数据上训练好的串到串(seq2seq)声音合成，就可以将当前说话人的清晰声音从全频段梅尔频谱图复原出来。在适配阶段，从振动传感器信号和说话人声音特征到全频段梅尔频谱图的转换模型得到相应的训练。
8、振动传感器的信号不会受到我们日常生活中遇见的噪音影响。因此，本专利技术中公开的改进后的新系统和方法对于在任何类型的噪音环境下的应用都具有良好的抗噪性和可理解性。而这方法只需要在注册适配阶段或在安静情况下实际使用时，采集几分钟的用户输入语音。本专利技术中所公开的系统和方法可以用各种灵活的配置来实现。它可以允许不同的模块驻留在无线通信的不同节点中，包括可穿戴设备、计算枢纽(如智能手机)、或云端。
9、对于超出耳塞之外的更广泛的噪声消除任务的应用场景，相应的附加实施例可以使用精确的远场自动语音识别引擎(ff-asr)来处理噪声和/或混响等复杂噪音环境情况下的语音识别。ff-asr将说话人的声音转换为pdl，然后由上述系统的其余部分将pdl转换为同一说话人的清晰声音。这实施例可以用于各种在线交流或离线录制的语音的噪声消除。
10、本专利技术的这些和其它目的和优点无疑会对本领域普通技术人员在阅读了以下优选实施例的详细描述之后变得显而易见，这些描述会在各种附图中进行了说明。
11、附图简短说明
12、图1显示了语音复原总流程的要点。
13、图2显示了语音复原流程变体a的要点。
14、图3显示了变体a的复原流程额外细节。
15、图4显示了变体b的复原流程额外细节。
16、图5是阐述硬件系统设置的流程图。
17、图6是阐述基于轻型中心的硬件系统设置的流程图。
18、图7是基于耳塞的系统设置流程示意图。
19、图8是基于耳塞和轻型中心的系统设置流程示意图。
20、图9是作为实施例变体i的软件系统的示意图。
21、图10是作为实施例变体ii的软件系统的示意图。
22、图11是作为实施例iib的软件系统的示意图。
23、图12是作为实施例iic的软件系统的示意图。
24、图13是作为实施例iii的软件系统示意图。
25、图14是作为实施例iiib,c的软件系统的示意图。
26、图15是作为基本事件触发器实施例iv的软件系统的示意图。
27、图16是作为事件触发器实施例ivb,c的软件系统的示意图。
28、图17是作为基本复原器实施例v实施例的软件系统的示意图。
29、图18是作为复原器实施例vb的软件模块的示意图。
30、图19是作为复原器实施例vc的软件模块的示意图。
31、本专利技术的详细说明
32、优选具体实施方式，将参照附图基于优选实施例来描述本专利技术。
33、图1是一个流程图，说明了语音复原流程的主要思想，其实现了用硬件和软件过程模块来完成相应的复原过程。如图1所示的语音复原流程为耳塞、项链和贴片等可穿戴设备提供可靠的抗噪高质量语音解决方案。如图1所示的流程进一步利用来自麦克风、加速传感器和其他传感器的信号来检测和跟踪语音信号。如图1所示，可以实施用不同种类的振动或信号采集传感器来提供有效的噪声消除，包括利用非接触式的基于激光的振动传感器(振动计)、皮层电图(ecog)、脑电图(eeg)和来自neuralink的n1。振动传感器可以安装在耳塞、项链、贴在上半身的贴片中，例如贴在胸部上，而ecog、eeg和n1可以贴在或植入到头部。如图5-8所示(稍后详述)，可穿戴设备包含一个无线收发器，用于可穿戴设备和计算中心之间接收和传输信号。在所示的流程中，来自其他传感器的原始信号通过离线训练和适配的模型被转换为独立于特定说话者的中间语言表示概率分布序列(简称为pdl)，例如语音音素概率分布序列(ppgs)和字素概率分布序列。获得中间语言表示的离线训练过程称为离线训练阶段，在安静条件下来自麦克风的语音数据和振动信号数据都用于训练转换模型，类似于语音识别模型。然后将转换后的pdl映射到全频段mcep序列，其中映射模型在适配阶段进行训练。然后通过使用全频段mcep、非周期特征(ap)、有声/无声(vuv)和f0s复原到具有那位佩戴设备的说话者的个人特征的语音。语音复原在通信过程中实时发生，这阶段称为复原阶段。复原的语音听起来就像直接从该说话人发出的语音一样。如图所示的过本文档来自技高网...
【技术保护点】
1.一种噪声消除装置，包括：
2.根据权利要求1所述的噪声消除装置，其特征在于：
3.根据权利要求1所述的噪声消除装置，其特征在于：
4.根据权利要求1所述的噪声消除装置，其特征在于：
5.根据权利要求1所述的噪声消除装置，其特征在于：
6.根据权利要求1所述的噪声消除装置，其特征在于：还包括：用于发送和接收信号的无线发射器/接收器。
7.根据权利要求1所述的噪声消除装置，其特征在于：还包括：
8.根据权利要求1所述的噪声消除装置，其特征在于：还包括：
9.根据权利要求1所述的噪声消除装置，其特征在于：还包括：
10.根据权利要求1所述的噪声消除装置，其特征在于：还包括：
11.根据权利要求1所述的噪声消除装置，其特征在于：还包括：
【技术特征摘要】
【国外来华专利技术】
1.一种噪声消除装置，包括：
2.根据权利要求1所述的噪声消除装置，其特征在于：
3.根据权利要求1所述的噪声消除装置，其特征在于：
4.根据权利要求1所述的噪声消除装置，其特征在于：
5.根据权利要求1所述的噪声消除装置，其特征在于：
6.根据权利要求1所述的噪声消除装置，其特征在于：还包括：用于发送和接收信号的无线...
【专利技术属性】
技术研发人员：翁富良，
申请(专利权)人：上海达慧智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。