利用多麦克风的三维声音捕获和再现制造技术

本发明专利技术描述用于使用多麦克风设置进行三维声音记录和再现的系统、方法、设备和机器可读媒体。

【技术实现步骤摘要】
【国外来华专利技术】利用多麦克风的三维声音捕获和再现根据35U.S.C.§119主张优先权本专利申请案主张2010年10月25日申请且转让给本受让人的题为“利用多麦克风的三维声音捕获和再现(THREE-DIMENSIONALSOUNDCAPTURINGANDREPRODUCINGWITHMULTI-MICROPHONES)”的临时申请案第61/406,396号的优先权。本专利申请案还主张2011年3月22日申请的题目为“用于宽立体声和环绕声记录的多麦克风设置和处理方案(MULTI-MICROPHONESETUPANDPROCESSINGSCHEMEFORWIDESTEREOANDSURROUNDSOUNDRECORDING)”的临时申请案第61/466,432号的优先权，所述临时申请案转让给本受让人。
本专利技术涉及音频信号处理。
技术介绍

技术实现思路
根据一般配置的一种音频信号处理方法包含：将所记录的听觉场景分解成第一类可定位源与第二类环境声音；以及记录所述可定位源中的每一者的方向的指示。还揭示具有有形特征的计算机可读存储媒体(例如，非暂时性媒体)，所述有形特征致使所述机器读取所述特征以执行此方法。根据一般配置的一种音频信号处理设备包含：用于将所记录的听觉场景分解成第一类可定位源与第二类环境声音的装置；以及用于记录所述可定位源中的每一者的方向的指示的装置。根据另一一般配置的一种音频信号处理设备包含：空间选择性滤波器，其经配置以将所记录的听觉场景分解成第一类可定位源与第二类环境声音；以及方向估计器，其经配置以记录所述可定位源中的每一者的方向的指示。附图说明图1展示用于蜂窝式电话的代表性手持机上的麦克风放置。图2A展示基于用户接口输入进行麦克风/波束成形器选择的方法的流程图。图2B说明用于麦克风对的空间选择的区域。图3说明用于在两个维度中选择所需记录方向的用户接口。图4展示围绕经配置以执行主动噪音消除(ANC)的头戴式耳机界定的可能空间扇形区。图5展示三麦克风布置。图6展示用于具有两个可定位源(歌手与鼓)和无定位周围环境的情况的概念图。图7展示使用相位差分布来估计源方向和/或数目的实例。图8展示使用多个波束成形器来估计源方向和/或数目的实例。图9展示用于使用四麦克风设置的空间译码的全向和一阶捕获。图10展示便携式通信装置的一个实例的前视图和后视图。图11展示记录从侧面方向到达的源信号的情况。图12展示记录从侧面方向到达的源信号的另一情况。图13展示组合端射波束的情况。图14展示在前中、左前、右前、左后和右后方向上的波束的绘图的实例。图15展示获得右后空间方向的信号的处理的实例。图16展示利用具有三个麦克风的阵列使用两麦克风对BSS的空波束成形方法。图17展示其中前和右方向上的波束经组合以获得右前方向的结果的实例。图18展示如图16中所说明的方法的空波束的实例。图19展示利用具有四个麦克风的阵列使用四声道BSS的空波束成形方法。图20展示针对拐角方向FL、FR、BL和BR的一组四个滤波器的波束图的实例。图21展示在移动扬声器数据上习得的IVA会聚滤波器波束图的实例。图22展示在改进的移动扬声器数据上习得的IVA会聚滤波器波束图的实例。图23A展示组合端射波束的方法的流程图。图23B展示针对一般双对情况的方法的流程图。图23C展示针对三麦克风情况的图23B的方法的实施方案。图24展示利用具有四个麦克风的阵列使用四声道BSS的方法的流程图。图25展示用于从使用多个全向麦克风记录的信号提供5.1声道记录且使用头戴式送受话器再现此记录的系统。图26展示用于BSS滤波器组的部分路由图。图27展示用于2x2滤波器组的路由图。图28A展示阵列R100的实施方案R200的框图。图28B展示阵列R200的实施方案R210的框图。图29A展示根据一般配置的多麦克风音频感测装置D10的框图。图29B展示为装置D10的实施方案的通信装置D20的框图。具体实施方式除非明确地受其上下文限制，否则术语“信号”在本文中用以指示其普通意义中的任一者，包含如在导线、总线或其它传输媒体上表达的存储器位置(或存储器位置集合)的状态。除非明确地受其上下文限制，否则本文中使用术语“产生”来指示其普通意义中的任一者，例如，计算或以其它方式产生。除非明确地受其上下文限制，否则本文中使用术语“计算”来指示其普通意义中的任一者，例如，推算、评估、平滑化和/或从多个值中选择。除非明确地受其上下文限制，否则使用术语“获得”来指示其普通意义中的任一者，例如，计算、导出、接收(例如，从外部装置)和/或检索(例如，从存储元件阵列)。除非明确地受其上下文限制，否则使用术语“选择”来指示其普通意义中的任一者，例如，识别、指示、应用和/或使用两个或两个以上的集合中的至少一者和少于全部个。在术语“包括”用于本描述和权利要求书中的情况下，其不排除其它元件或操作。使用术语“基于”(如在“A是基于B”中)来指示其普通意义中的任一者，包含以下情况：(i)“从……导出”(例如，“B为A的前体”)，(ii)“至少基于”(例如，“A至少基于B”)，和如果在特定上下文中合适，(iii)“等于”(例如，“A等于B”)。类似地，使用术语“响应于”来指示其普通意义中的任一者，包含“至少响应于”。对多麦克风音频感测装置的麦克风的“位置”的参考指示麦克风的声学感测面的中心的位置，除非上下文另有指示。根据特定上下文，术语“信道”有时用来指示信号路径，且有时用来指示由此路径携载的信号。除非另有指示，否则术语“系列”用来指示一连串两个或两个以上项。术语“算法”用来指示以十为基数的算法，但此运算至其它基数的延伸在本专利技术的范畴内。术语“频率分量”用来指示信号的一组频率或频带中的一者，例如，信号的频域表示的样本(例如，如通过快速傅立叶变换产生)或信号的次频带(例如，巴克(Bark)级或梅尔(mel)级次频带)。除非另外指出，否则对具有特定特征的设备的操作的任何揭示内容还明确地希望揭示具有类似特征的方法(且反之亦然)，且对根据特定配置的设备的操作的任何揭示内容还明确地希望揭示根据类似配置的方法(且反之亦然)。关于方法、设备和/或系统，如由其特定上下文指示，可使用术语“配置”。一般地且可互换地使用术语“方法”、“过程”、“程序”和“技术”，除非特定上下文另有指示。也一般地且可互换地使用术语“设备”和“装置”，除非特定上下文另有指示。术语“元件”和“模块”通常用来指示较大配置的一部分。除非明确地受其上下文限制，否则本文中使用术语“系统”来指示其普通意义中的任一者，包含“交互以服务于共同目的的一群元件”。还应将文献的一部分以引用方式进行的任何并入理解为并有在所述部分内提及的术语或变量的定义(在这些定义出现于所述文献中其它处的情况下)，以及在并入的部分中提及的任何图。如本文中描述的方法可经配置以将所捕获的信号作为一系列段来处理。典型的段长度范围自约五毫秒或十毫秒至约四十毫秒或五十毫秒，且段可重叠(例如，其中邻近段重叠25%或50%)或不重叠。在一个特定实例中，将信号分成一系列不重叠段或“帧”，每一者具有十毫秒的长度。如由此方法处理的段也可为如由不同操作处理的较大段的一段(即，“子帧”)。现今，我们正经历着通过例如脸书(Facebo本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.10.25 US 61/406,396;2011.03.22 US 61/466,432;1.一种通过装置处理音频信号的方法，所述方法包括：将所记录的听觉场景分解成第一类可定位源与第二类环境声音，所述所记录的听觉场景是使用在所述装置上形成两个麦克风对的三个麦克风记录的，其中所述第一类可定位源表示不同方向，所述不同方向表示所述装置的一个或多个拐角，其中所述装置的所述一个或多个拐角包括左前方向、左后方向、右前方向和右后方向，且与标准声道格式环绕声系统相关联；记录所述可定位源中的每一者的方向的指示；以及通过在多个查看方向中的一个查看方向上应用波束且在所述多个查看方向中的所有其它查看方向上应用空波束而将至少一个多声道滤波器应用到所述听觉场景的多个所记录的输入声道，其中在一个查看方向上应用波束包括组合两个重叠的波束。2.根据权利要求1所述的方法，其中所述方法包括接收包括所需记录方向的用户输入。3.根据权利要求1所述的方法，其中所述方法包括估计所述可定位源的数目，包含估计每一源的到达方向。4.根据权利要求1所述的方法，其中所述方法包括根据三维音频编码方案编码所记录的多声道信号。5.根据权利要求4所述的方法，所述三维音频编码方案是高保真立体声复制方案和波场合成方案中的至少一者。6.根据权利要求1所述的方法，其中所述组合两个重叠的波束包括：在一个端射方向上应用波束以获得第一经滤波信号；在另一端射方向上应用波束以获得第二经滤波信号；以及组合所述第一经滤波信号与所述第二经滤波信号的延迟版本。7.根据权利要求1所述的方法，其中所述组合两个重叠的波束包括：在一个端射方向上应用波束以获得第一经滤波信号；在另一端射方向上应用波束以获得第二经滤波信号；以及组合所述第一与第二经滤波信号以获得组合信号，其中所述第一与第二经滤波信号中的每一者具有至少两个声道，且其中所述组合信号的一个声道相对于所述组合信号的另一声道延迟。8.根据权利要求7所述的方法，其中所述方法包括在所述组合之前，使所述第一经滤波信号的一个声道相对于所述第一经滤波信号的另一声道延迟，且使所述第二经滤波信号的一个声道相对于所述第二经滤波信号的另一声道延迟。9.根据权利要求7所述的方法，其中所述方法包括使所述组合信号的一个声道相对于所述组合信号的另一声道延迟。10.根据权利要求1所述的方法，其中所述组合两个重叠的波束包括：将在第一方向上具有波束的滤波器应用于由第一对麦克风产生的信号以获得第一经空间滤波的信号；将在不同于所述第一方向的第二方向上具有波束的滤波器应用于由不同于所述第一对麦克风的第二对麦克风产生的信号，以获得第二经空间滤波的信号；以及组合所述第一与第二经空间滤波的信号以获得在不同于所述第一和第二方向的第三方向上对应于源的输出信号。11.根据权利要求10所述的方法，其中所述第一对麦克风的轴线至少实质上正交于所述第二对麦克风的轴线。12.根据权利要求1所述的方法，其中所述方法包括：对于阵列中的所述三个麦克风中的每一者，记录对应输入声道；以及对于所述多个查看方向中的每一者，将对应多声道滤波器应用于所述多个所述所记录的输入声道以获得对应输出声道。13.根据权利要求12所述的方法，其中所述三个麦克风中的第一对的轴线距与所述三个麦克风中的第二对的轴线正交不大于15度。14.根据权利要求12所述的方法，其中所述多个查看方向为至少四个。15.根据权利要求12所述的方法，其中所述方法包括处理所述多个输出声道以产生双耳记录，其中所述处理包含对于所述多个输出声道中的每一者，将对应双耳脉冲响应应用于所述输出声道以获得对应双耳信号，其中所述双耳记录是基于所述双耳信号的和。16.根据权利要求1所述的方法，其中所述方法包括基于便携式音频感测装置的定向选择记录方向。17.根据权利要求10所述的方法，其中所述应用在所述第一方向上具有波束的所述滤波器限于低阈值与高阈值之间的频率，且其中所述低阈值与所述高阈值中的至少一者是基于麦克风之间的距离。18.根据权利要求1所述的方法，其中所述方法包含：训练多个滤波器以产生对应的多个固定会聚滤波器；以及将所述固定会聚滤波器应用于所述所记录的听觉场景以执行所述分解。19.一种用于音频信号处理的设备，所述设备包括：用于将所记录的听觉场景分解成第一类可定位源与第二类环境声音的装置，所述所记录的听觉场景是使用在所述装置上形成两个麦克风对的三个麦克风记录的，其中所述第一类可定位源表示不同方向，所述不同方向表示所述装置的一个或多个拐角，其中所述装置的所述...

【专利技术属性】
技术研发人员：金莱轩，埃里克·维塞，向佩，伊恩·埃尔纳恩·刘，迪内希·拉马克里希南，
申请(专利权)人：高通股份有限公司，
类型：
国别省市：