一种估计总体混合时间的装置和方法制造方法及图纸

本申请案涉及一种用于基于至少第一对空间脉冲响应估计总体混合时间的装置(200)，所述装置包括处理元件(305)，所述处理元件用于：在所述第一对空间脉冲响应的多个不同采样时间内确定所述第一对空间脉冲响应的第一空间脉冲响应与所述第一对空间脉冲响应的第二空间脉冲响应的能量分布之间的差异；设置所述多个采样时间的一个采样时间为所述第一对空间脉冲响应的混合时间，在所述混合时间内所述第一对空间脉冲响应的所述第一空间脉冲响应与所述第二空间脉冲响应的能量分布之间的差异等于或低于阈值；基于所述第一对空间脉冲响应的所述混合时间确定所述总体混合时间。本申请案进一步涉及一种用于估计总体混合时间的对应的方法。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种用于基于至少第一对空间脉冲响应估计总体混合时间的装置和方法以及对应的包括程序代码的计算机程序，所述程序代码当在计算机上运行时用于执行根据本专利技术的方法。
技术介绍
多信道音频内容如今在消费电子产品中越来越普遍。沉浸式音频在许多多媒体和通信系统中正在变成常见特征。然而，沉浸式音频通常需要涉及极大数目的扩音器的再现布局，如同例如，22.2布局。这是针对某些产品的主要约束，例如，移动装置(智能电话、平板计算机等)以及电话会议应用、家庭剧院应用、Hi-Fi应用等等，其仅通过两个扩音器或头戴式耳机输出音频信号，其中信号是在左音频输出信道和右音频输出信道中输出的。也被称为“虚拟环绕”的双声道化是多信道音频信号到使用头戴式耳机、左扬声器/右扬声器或其它装置的收听者的双声道呈现(扬声器上的双声道)。执行双声道化的一种方式是渲染每个扬声器及相关馈送信号作为虚拟来源，也就是说甚至使用头戴式耳机对馈送信号进行双声道地滤波以获得真实扬声器的感知。为了通过双声道方式渲染每个扬声器和相关馈送信号，对应于给定房间中的扬声器的位置，信号通过双声道空间脉冲响应(Binaural Room Impulse Response，BRIR)进行滤波，其中BRIR是在虚拟收听者位置处确定和测量的。一般而言，空间脉冲响应(Room Impulse Response，RIR)在某一点处测量到的房间对点声源激励的响应。通常，为了测量房间中的空间脉冲响应，房间通过扬声器激励并且响应则由不同位置处的麦克风测量。如果对激发的响应是通过安装在人体模型头部的耳朵中的麦克风测量的，那么相应的两个信道响应被称作双声道空间脉冲响应(Binaural Room Impulse Response，BRIR)，如关于图1所解释。BRIR对相应的扬声器与收听者的两只耳朵(左和右)之间的传递函数进行编码。在图1中呈现双声道滤波过程的一个实例，其中Hix表示通过信道i信号馈送到收听者的X(对于左X可以是L或对于右X可以是R)耳的扬声器的脉冲响应。大写字母H代表频域，而小写字母h代表表示脉冲响应的时域。如图1中示意性地示出，收听者100在房间中的虚拟位置处并且位于房间中的相应的不同位置处的两个扬声器105(扬声器1)和110(扬声器2)发出音频波，所述音频波是通过使用者100的左耳(L)和右耳(R)接收的。如图1中所示，存在针对扬声器105、110中的每一个的一对脉冲响应H。双声道化过程中的信号处理可导致高计算复杂度，尤其是对于高品质应用场景。这种复杂度来自于对双声道空间脉冲响应(binaural room impulse response，BRIR)的多信道输入信号的滤波。具体而言，BRIR的使用需要超过数万个采样，复杂性可以变得极其的高。此外，多信道架构可以由较多数目的信道组成，例如，在22.2扬声器布局中的22个信道。(对于2低频效应(Low Frequency Effect，LFE)，信道通常使用的是不同处理方式，因为这些信道并不会对声源的定位造带来任何贡献)。为了减小用于双声道化应用的计算复杂性，房间中的脉冲响应通常被划分成两部分，这也如在图2中所示的实例RIR的反射图曲线中观测到，即划分成直接路径和早期反射(direct path and early reflection，D&E)部分以及成混响拖尾(晚期部分)。随后针对两个部分使用不同的双声道化策略。D&E部分与晚期部分之间的过渡点被称作混合时间。混合时间可以实际时间值(例如，ns、ms、s)表示或以表示时间点的采样值表示。一般来说，我们讨论的采样时间涵盖混合时间的两种表述。早期反射是一组离散反射，其密度增大直至个体反射无法被辨别或感知。当D&E部分中的直达声音是可以轻易地识别的单个事件时，房间中的脉冲响应的早期反射和晚期混响是更加难以区分和标记的，如同在图3的实例中所示的空间脉冲响应幅值/时间图的实例中可见。混合时间的估计和确定是在现有技术中研究的相当深入的课题并且已经有很多的方案被提出来。第一组的方法是基于模型的方法，其假定存在房间的特性的一些先验知识，例如，体积或几何形状，基于此，混合时间是基于例如房间中的反射的密度的阈值或房间中的平均自由路径的阈值确定的。反射密度和平均自由路径可以在数学上涉及一些房间特性，使得可以闭合形式计算混合时间。第一组的方法的限制和问题在于房间特性的先验知识是必要的。通常，这些方法的结果不是非常精确的，因为它们不是基于真实房间的而是仅基于房间的模型。结果的质量极大的依赖于模型的质量和真实房间与模型的适配。第二组方法使用单个测量空间脉冲响应以估计混合时间。第二组方法是基于基于信号的方法的并且使用阈值估计，设置例如(高斯)随机性的阈值、存储器的阈值、反射检测能力的阈值、相位随机性的阈值。混合时间随后在其中给定指标低于或高于给定阈值的时间(或样本)处是固定的。然而，这些方法的评估是成问题的，因为不存在混合时间的清楚的定义。为了具有有意义的参考，一些现有技术研究执行RIR的感知分析以便在主观收听测试中定义知觉混合时间。此类研究通常采用在相同房间中的不同位置处测量的多个RIR。在一些情况下，基于模型的、基于信号的估计器和感知估计是使用回归方法合并的。一般而言，统计方法具有有限的一致性并且传递混合时间的非稳固估计。统计方法倾向于提供嘈杂检测曲线使得在此类曲线上施加阈值是易错的：曲线的较小变化引起混合时间估计的较大变化。此外，通过例如正交镜像滤波器(Quadrature Mirror Filter，QMF)的技术获得的RIR或BRIR的下采样子带域表示是MPEG双声道化框架所需的。到目前为止，基于信号的算法尚未在此类情境中被评估。然而，考虑全频带RIR的有限稳固性，可以合理的推测在下采样子带域中性能会不足：较短分析窗口可能引起统计不准确性(窗口的长度，通常是1024个样本，除以子带的数目，通常是64)；从全频带RIR到下采样子带RIR的精细结构传送的改变可能引起估计的不准确性。
技术实现思路
因此本专利技术的目标是提供用于基于至少第一对空间脉冲响应估计总体混合时间的概念，所述概念允许稳固的混合时间估计。上述目标通过所附独立权利要求中提供的方案来实现。在相应的从属权利要求中界定有利的实施方案。本专利技术的第一方面提供用于基于至少第一对空间脉冲响应估计总体混合时间的装置。所述装置包括处理元件，所述处理元件用于确定在第一对空间脉冲响应的多个不同采样时间内第一对空间脉冲响应的第一空间脉冲响应与第一对空间脉冲响应的第二空间脉冲响应的能量分布之间的差异；设置所述多个采样时间中的一个采样时间为第一对空间脉冲响应的混合时间，其中，所述混合时间内第一对空间脉冲响应的第一空间脉冲响应与第二空间脉冲响应的能量分布之间的差异等于或低于阈值；基于所述第一对空间脉冲响应的混合时间确定总体混合时间。相比在本申请的引言部分中所描述的现有技术，本专利技术的第一方面的装置能够的更加精确地及稳固地估计总体混合时间。在根据本专利技术的第一方面的装置的第一实施形式中，所述装置用于基于多对空间脉冲响应估计总体混合时间，第一对空间脉冲响应包括在多对空间脉冲响应中，并且所述处理元件进一步用于针对所述多对脉冲响应本文档来自技高网...

【技术保护点】
一种用于基于至少第一对空间脉冲响应估计总体混合时间的装置(200)，其特征在于，所述装置包括处理元件(305)，用于在所述第一对空间脉冲响应的多个不同采样时间内确定所述第一对空间脉冲响应的第一空间脉冲响应与所述第一对空间脉冲响应的第二空间脉冲响应的能量分布之间的差异，设置所述多个采样时间中的一个采样时间为所述第一对空间脉冲响应的混合时间，在所述混合时间内所述第一对空间脉冲响应的所述第一空间脉冲响应与所述第二空间脉冲响应的所述能量分布之间的所述差异等于或低于阈值，基于所述第一对空间脉冲响应的所述混合时间确定所述总体混合时间。

【技术特征摘要】
【国外来华专利技术】1.一种用于基于至少第一对空间脉冲响应估计总体混合时间的装置(200)，其特征在于，所述装置包括处理元件(305)，用于在所述第一对空间脉冲响应的多个不同采样时间内确定所述第一对空间脉冲响应的第一空间脉冲响应与所述第一对空间脉冲响应的第二空间脉冲响应的能量分布之间的差异，设置所述多个采样时间中的一个采样时间为所述第一对空间脉冲响应的混合时间，在所述混合时间内所述第一对空间脉冲响应的所述第一空间脉冲响应与所述第二空间脉冲响应的所述能量分布之间的所述差异等于或低于阈值，基于所述第一对空间脉冲响应的所述混合时间确定所述总体混合时间。2.根据权利要求1所述的装置(200)，其特征在于，所述装置用于基于多对空间脉冲响应估计所述总体混合时间，所述第一对空间脉冲响应包括在所述多对空间脉冲响应中，并且其中所述处理元件(305)进一步用于针对多对脉冲响应中的每一对脉冲响应确定每一对所述的空间脉冲响应的第一空间脉冲响应与第二空间脉冲响应分别在多个不同采样时间内的能量分布之间的差异，针对所述多对脉冲响应中的每一对脉冲响应设置所述多个采样时间中的一个采样时间为所述相应的对的空间脉冲响应的混合时间，其中，在所述混合时间内所述相应的对的空间脉冲响应的所述第一空间脉冲响应与所述第二空间脉冲响应的所述能量分布之间的差异等于或低于阈值，基于所述多个空间脉冲响应中的每一个的所述混合时间确定所述总体混合时间。3.根据权利要求2所述的装置(200)，其特征在于所述处理元件(305)进一步用于基于所述多对空间脉冲响应的所述混合时间的平均确定所述总体混合时间。4.根据权利要求2或3所述的装置(200)，其特征在于所述处理元件(305)进一步用于至少针对所述多对空间脉冲响应的部分对所述所确定的混合时间进行加权；基于所述加权混合时间确定所述总体混合时间。5.根据权利要求4所述的装置(200)，其特征在于所述处理元件(305)进一步用于基于与所述相应的对的空间脉冲响应的所述第一空间脉冲响应相关联的第一元数据并且基于与所述相应的对的空间脉冲响应的所述第二空间脉冲响应相关联的第二元数据对所述多个空间脉冲响应的所述部分的每一对空间脉冲响应的所述混合时间进行加权，所述第一元数据表明用于推导所述相关联的第一空间脉冲响应的声源与接收器之间的相互关系，所述第二元数据表明用于推导所述相关联的第二空间脉冲响应的声源与接收器之间的相互关系。6.根据权利要求1到5中的一项权利要求所述的装置(200)，其特征在于所述处理元件(305)进一步用于计算反向累积能量差异衰减曲线以用于确定所述能量分布之间的所述差异。7.根据权利要求6所述的装置(200)，其特征在于所述处理元件(305)进一步用于使用平滑能量差异以用于计算所述反向累积能量差异衰减曲线或者使用直接能量差异以用于计算所述反向累积能量差异衰减曲线或者使用幅值差异以用于计算所述反向累积能量差异衰减曲线或者使用等级差异以用于计算所述反向累积能量差异衰减曲线。8.根据权利要求1到6中的一项权利要求所述的装置(200)，其特征在于所述处理元件(305)用于推导所述第一脉冲响应与所述第二脉冲响应的所述能量分布之间的所述差异，使得所述差异可通过以下表达式计算 D E D C [ n ] = Σ k = n P...

【专利技术属性】
技术研发人员：西蒙妮·方塔纳，彼得·格罗舍，潘吉·赛提亚万，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44