麦克风信号融合制造技术

提供了用于麦克风信号融合的系统和方法。示例方法开始于接收表示分别由内部麦克风和外部麦克风捕获的声音的第一信号和第二信号。第二信号包括至少话音分量。第一信号和话音分量由至少人体组织修改。处理第一信号和第二信号，以获得噪声估计。将第一信号与第二信号对齐。基于噪声估计混合第二信号和已对齐的第一信号，以生成增强话音信号。内部麦克风位于耳道内部并被密封以便与耳道外部的声学信号隔离。外部麦克风位于耳道外部。系统和方法的处理、混合以及对齐的所有部分都可以在频域中基于子带执行。

Microphone signal fusion

A system and method for microphone signal fusion are provided. The example method starts with receiving the first and second signals representing the sound captured by the internal microphone and the external microphone respectively. The second signal includes at least the voice component. The first signal and voice components are modified by at least the human body. The first signal and the second signal are processed to obtain noise estimation. Align the first signal with the second signal. Based on noise estimation, the mixed second signal and the aligned first signal are generated to generate the enhanced voice signal. The internal microphone is located inside the ear canal and sealed to isolate the acoustic signal outside the ear canal. The external microphone is located outside the ear canal. The processing, mixing and alignment of all parts of the system and methods can be implemented in the frequency domain based on subbands.

【技术实现步骤摘要】
【国外来华专利技术】麦克风信号融合
本申请总体涉及音频处理，并且更具体地，涉及用于融合麦克风信号的系统和方法。
技术介绍
智能电话、平板电脑以及其它移动装置的激增已经从根本上改变了人们访问信息和通信的方式。人们现在在各种各样的地点(诸如拥挤的酒吧、繁忙的城市街道以及有风的户外)打电话，在这些地点中，不利的声学状况对话音通信的质量提出严重的挑战。另外，话音命令已经变成与应用中的电子装置交互的重要方法，在应用中，用户必须将他们的眼睛和手保持在诸如例如驾驶的主任务上。随着电子装置变得越来越紧凑，话音命令可能变成与电子装置交互的优选方法。然而，尽管存在语音技术的新发展，但在嘈杂状况下识别话音依然困难。因此，减轻噪声的影响对于话音通信的质量和话音识别的性能这两者是重要的。因为耳机在使用时提供免手持便利性和私密性，所以它们是电话终端和音乐播放器的自然延伸。与其它免手持选择相比，耳机表示麦克风可以被放置在靠近用户的嘴附近的位置处的选择，在用户的嘴与麦克风之间具有受约束几何结构。这产生具有更佳信噪比(SNR)且在应用基于多麦克风的噪声降低时控制更简单的麦克风信号。然而，在与传统耳机使用进行比较时，耳机麦克风离用户的嘴较远。因此，耳机不提供由用户的手和电话听筒的体积提供的噪声屏蔽效应。由于对精细且隐密的耳机的需要，耳机在近年变得更小且更轻，该问题变得甚至更具有挑战性。在用户戴耳机时，自然使用户的耳道屏蔽外部声学环境。如果耳机向耳道提供紧密的声学密封，则被放置在耳道内部的麦克风(内部麦克风)将与外部环境声学地隔离，使得将显著衰减环境噪声。另外，在被密封的耳道内部的麦克风无风振效果。另一方面，因为用户的话音被困于耳道内部，所以它可以借助用户头部中的各种组织来传导到达耳道。由此，由内部麦克风拾取的信号与在用户耳道外部的麦克风(外部麦克风)相比应具有远远更高的SNR。然而，内部麦克风信号摆脱不了组织。首先，身体传导的话音往往使其高频内容严重衰减，由此与借助空气传导的话音相比具有远远更窄的有效带宽。此外，在身体传导话音被密封在耳道内部时，它在耳道内部形成驻波。因此，由内部麦克风拾取的话音经常听起来模糊不清且起回声，同时缺乏由外部麦克风拾取的话音的自然音色。而且，有效带宽和驻波图案跨不同用户和耳机适配状况显著变化。最后，如果扬声器也位于同一耳道中，则由扬声器形成的声音也将被内部麦克风拾取。即使通过声学回声消除(AEC)，扬声器与内部麦克风之间的紧密耦合也在AEC之后经常导致严重的话音失真。过去已经尝试了其它努力以利用内部麦克风信号的独特特性用于优秀噪声降低性能。然而，跨不同用户和不同使用状况保持一致性能依然具有挑战性。
技术实现思路
提供本
技术实现思路
以按简化形式介绍下面在具体实施方式中进一步描述的概念的选择。本
技术实现思路
不旨在识别所要求保护主题的关键特征或必要特征，也不旨在用作确定所要求保护主题的范围的帮助。根据所描述技术的一个方面，提供了一种用于融合麦克风信号的示例方法。在各种实施方式中，该方法包括以下步骤：接收第一信号和第二信号。第一信号包括至少话音分量。第二信号包括由至少人体组织修改的话音分量。该方法还包括以下步骤：处理第一信号，以获得第一噪声估计。该方法还包括以下步骤：将第二信号与第一信号对齐。该方法中还包括以下步骤：至少基于第一噪声估计，混合第一信号和已对齐的第二信号，以生成增强话音信号。在一些实施方式中，该方法包括以下步骤：处理第二信号，以获得第二噪声估计，并且混合至少基于第一噪声估计和第二噪声估计。在一些实施方式中，第二信号表示由位于耳道内部的内部麦克风捕获的至少一个声音。在特定实施方式中，可以在使用期间密封内部麦克风，以便提供与来自耳道外部的声学信号的隔离，或者可以根据用户和内部麦克风在耳道中的用户放置来部分地密封内部麦克风。在一些实施方式中，第一信号表示由位于耳道外部的外部麦克风捕获的至少一个声音。在一些实施方式中，该方法还包括以下步骤：在对齐信号之前基于第一噪声估计执行第一信号的噪声降低。在其它实施方式中，该方法还包括以下步骤：在对齐信号之前，基于第一噪声估计执行第一信号的噪声降低，并且基于第二噪声估计执行第二信号的噪声降低。根据本公开的另一个方面，提供了一种用于融合麦克风信号的系统。示例系统包括数字信号处理器，该数字信号处理器被配置为接收第一信号和第二信号。第一信号包括至少话音分量。第二信号包括由至少人体组织修改的至少话音分量。数字信号处理器可操作为处理第一信号，以获得第一噪声估计，并且在一些实施方式中，数字信号处理器可操作为处理第二信号，以获得第二噪声估计。在示例系统中，数字信号处理器将第二信号与第一信号对齐，并且至少基于第一噪声估计混合第一信号和已对齐的第二信号，以生成增强话音信号。在一些实施方式中，数字信号处理器将第二信号与第一信号对齐，并且至少基于第一噪声估计和第二噪声估计混合第一信号和已对齐的第二信号，以生成增强话音信号。在一些实施方式中，该系统包括内部麦克风和外部麦克风。在特定实施方式中，可以在使用期间密封内部麦克风，以便提供与来自耳道外部的声学信号的隔离，或者可以根据用户和内部麦克风在耳道中的用户放置来部分地密封内部麦克风。第二信号可以表示由内部麦克风捕获的至少一个声音。外部麦克风位于耳道外部。第一信号可以表示由外部麦克风捕获的至少一个声音。根据本公开的另外示例实施方式，用于融合麦克风信号的方法的步骤被存储在包括指令的非暂时性机器可读介质上，这些指令在由一个或更多个处理器实现时执行所列步骤。本公开的其它示例实施方式和方面将从连同附图采取的以下描述变得清晰。附图说明在附图的图中以示例的方式且不限制地例示实施方式，在附图中，相同附图标记指示相同元件。图1是根据示例实施方式的系统和使用系统的环境的框图。图2是根据示例实施方式的适于实现本技术的耳机的框图。图3至图5是由外部麦克风和内部麦克风捕获的信号的波形和频谱分布的示例。图6是例示了根据示例实施方式的用于融合麦克风信号的数字处理单元的细节的框图。图7是示出了根据示例实施方式的用于融合麦克风信号的方法的流程图。图8是根据示例实施方式的可以用于实现用于本技术的方法的计算机系统。具体实施方式这里所公开的技术涉及用于融合麦克风信号的系统和方法。本技术的各种实施方式可以用被配置为接收和/或向其它装置提供音频的移动装置(诸如例如，蜂窝电话、电话听筒、耳机、可穿戴设备以及会议系统)来实践。本公开的各种实施方式利用至少一个内部麦克风信号和至少一个外部麦克风信号的对比特性提供这两个信号的无缝融合以用于实现噪声降低与话音质量之间的最佳平衡。根据示例实施方式，一种用于融合麦克风信号的方法可以开始于接收第一信号和第二信号。第一信号包括至少话音分量。第二信号包括由至少人体组织修改的话音分量。示例方法提供用于：处理第一信号，以获得第一噪声估计，并且在一些实施方式中，处理第二信号，以获得第二噪声估计。该方法可以包括以下步骤：将第二信号与第一信号对齐。该方法可以提供：至少基于第一噪声估计(并且在一些实施方式中，还基于第二噪声估计)，混合第一信号和已对齐的第二信号，以生成增强话音信号。现在参照图1，示出了用于融合麦克风信号的示例系统100及其环境的框图。示例系统100包括至少内部麦克风106、外部本文档来自技高网...

【技术保护点】
一种用于融合麦克风信号的方法，所述方法包括以下步骤：接收至少包括话音分量的第一信号和至少包括由至少人体组织修改的所述话音分量的第二信号；处理所述第一信号以获得第一噪声估计；将所述第二信号中的所述话音分量与所述第一信号中的所述话音分量在频谱上对齐；以及至少基于所述第一噪声估计，混合所述第一信号和所述第二信号中的已对齐话音分量以生成增强话音信号，所述混合包括：至少基于所述第一噪声估计，将第一权重分配给所述第一信号并且将第二权重分配给所述第二信号；以及根据所述第一权重和所述第二权重混合所述第一信号和所述第二信号。

【技术特征摘要】
【国外来华专利技术】2015.09.14 US 14/853,9471.一种用于融合麦克风信号的方法，所述方法包括以下步骤：接收至少包括话音分量的第一信号和至少包括由至少人体组织修改的所述话音分量的第二信号；处理所述第一信号以获得第一噪声估计；将所述第二信号中的所述话音分量与所述第一信号中的所述话音分量在频谱上对齐；以及至少基于所述第一噪声估计，混合所述第一信号和所述第二信号中的已对齐话音分量以生成增强话音信号，所述混合包括：至少基于所述第一噪声估计，将第一权重分配给所述第一信号并且将第二权重分配给所述第二信号；以及根据所述第一权重和所述第二权重混合所述第一信号和所述第二信号。2.根据权利要求1所述的方法，其中，所述第二信号表示由位于耳道内部的内部麦克风捕获的至少一个声音。3.根据权利要求2所述的方法，其中，所述内部麦克风被至少部分地密封，以便与在所述耳道外部的声学信号隔离。4.根据权利要求1所述的方法，其中，所述第一信号表示由位于耳道外部的外部麦克风捕获的至少一个声音。5.根据权利要求1所述的方法，所述方法还包括：处理所述第二信号以获得第二噪声估计。6.根据权利要求5所述的方法，其中，将所述第一权重分配给所述第一信号并将所述第二权重分配给所述第二信号至少基于所述第一噪声估计和所述第二噪声估计。7.根据权利要求1所述的方法，其中，对于频域中的子带执行所述对齐和所述混合中的至少一个。8.根据权利要求1所述的方法，其中，对于所述频域中的子带执行所述处理、所述对齐以及所述混合。9.根据权利要求1所述的方法，所述方法还包括：执行所述第一信号的噪声降低。10.根据权利要求1所述的方法，所述方法还包括：执行所述第二信号的噪声降低。11.根据权利要求5所述的方法，所述方法还包括：在所述对齐之前，基于所述第一噪声估计执行所述第一信号的噪声降低；以及在所述对齐之前，基于所述第二噪声估计执行所述第二信号的噪声降低。12.根据权利要求5所述的方法，所述方法还包括：在所述对齐之后，基于所述第一噪声估计执行所述第一信号的噪声降低；以及在所述对齐之后，基于所述第二噪声估计执行所述第二信号的噪声降低。13.根据权利要求1所述的方法，其中，所述对齐包括向所述第二信号应用频谱对齐滤波器。14.根据权利要求13所述的方法，其中，所述频谱对齐滤波器包括经验导出滤波器。15.根据权利要求13所述的方法，其中，所述频谱对齐滤波器包括基于所述第一信号和所述第二信号的互相关以及所述第二信号的自相关计算的自适应滤波器。16.根据权利要求6所述的方法，其中，在所述第一信号的信噪比SNR大于所述第二信号的SNR时所述第一权重接收比所述第二权重更大的值，并且其中，在所述第一信号的所述SNR小于所述第二信号的所述SNR时所述第二权重接收比所述第一权重更大的值，所述第一权重和所述第二权重之间的差与所述第一信号的所述SNR和所述第二信号的所述SNR之间的差对应。17.一种用于融合麦克风信号的系统，所述系统包括：数字信号处理器，所述数字信号处理器被配置为：接收至少包括话音分量的第一信号和至少包括由至少人体组织修改的所述话音分量的第二信号；处理所述第一信号以获得第一噪声估计；将所述第二信号中...

【专利技术属性】
技术研发人员：KC·彦，托马斯·E·米勒，M·赛义德，
申请(专利权)人：美商楼氏电子有限公司，
类型：发明
国别省市：美国,US