再现空间扩展声源的设备与方法、或从空间扩展声源生成比特流的设备与方法技术

一种再现空间扩展声源的设备，空间扩展声源在空间中具有限定位置及几何形状，该设备包含：接口(100)，用以接收收听者位置；投影仪(120)，用于使用收听者位置、有关空间扩展声源的几何形状的信息、及有关空间扩展声源的位置的信息，计算投影至投影面上的与空间扩展声源相关联的二维或三维外壳的投影；声音位置计算器(140)，用于使用投影面计算用于空间扩展声源的至少两个声源的位置；以及渲染器(160)，用于在该类位置处渲染至少两个声源，以获得具有两个或更多个输出信号的空间扩展声源的再现，其中，渲染器(160)用以对不同位置使用不同声音信号，其中不同声音信号与空间扩展声源相关联。

【技术实现步骤摘要】
【国外来华专利技术】再现空间扩展声源的设备与方法、或从空间扩展声源生成比特流的设备与方法本专利技术涉及音频信号处理，以及特别涉及空间扩展声源的编码、解码或再现。长期以来，一直在研究在多个扬声器或耳机上的声源的再现。在此类设置上再现声源的最简单方法是将它们渲染为点源，即非常小(理想为无限小)的声源。但是，这种理论概念几乎无法以现实的方式建立现有物理声源的模型。例如，一架三角钢琴有很大的振动木质封闭体，其内部有许多空间分布的琴弦，并且因此在听觉感知上显得比点源要大得多(尤其是当收听者(和麦克风)靠近三角钢琴时)。许多现实世界中的声源具有相当大的尺寸(“空间范围”)，例如乐器、机器、管弦乐队、合唱团或环境声音(瀑布声)。此类声源的正确/逼真再现已成为许多声音再现方法的目标，无论是使用耳机的双耳方式(即使用所谓的头相关传递函数(HRTF)或双耳房间脉冲响应(BRIR))，还是使用扬声器设置(从两个扬声器(“立体声”)到在水平面上排列的许多扬声器(“环绕声”)以及在所有三个维度上围绕收听者的许多扬声器(“3D音频”))的传统方式均是如此。本专利技术的目的是提供一种用于编码或再现具有可能复杂的几何形状的空间扩展声源的概念。2D源宽度本节描述关于在从收听者的视角所面对的2D表面上渲染扩展声源的方法，例如在仰角为零的某个方位角范围(如传统立体声/环绕声中的情况)或某些方位角及仰角范围(如3D音频或具有用户运动的3个自由度(3DoF)的虚拟现实中的情况，即头部在俯仰/偏航/翻滚轴上旋转)中。可以通过减小参与声道信号的相关性来实现在两个或更多个扬声器之间平移的音频对象的视在宽度的增大(生成所谓的幻像或幻像源)(Blauert，2001，S.241-257)。随着相关性的减小，幻像源的扩展增大，直到对于接近零的相关性值(且张开角不太宽)，其覆盖扬声器之间的整个范围。通过得出并应用适当的解相关滤波器，获得源信号的解相关版本，Lauridsen(Lauridsen，1954)提出对源信号本身加上/减去源信号的时间延迟和缩放的版本，以获得信号的两个解相关版本。另外，Kendall(Kendall，1995)提出了更复杂的方法，他基于随机数序列的组合迭代地得出成对的解相关全通滤波器。Faller等人在研究(Baumgarte、Faller，2003)(Faller、Baumgarte，2003)中提出合适的解相关滤波器(扩散器)。此外，Zotter等人(Zotter、Frank，2013)也得出滤波器对，其中使用频率相关相位或幅度差来实现幻像源的加宽。又有，Alary、Politis、等人(Alary、Politis、2017)提出了基于天鹅绒噪声的解相关滤波器，这被Schlecht、Alary、Habets等人(Schlecht、Alary、Habets，2018)进一步优化。除了减少幻像源的对应声道信号的相关性之外，还可以通过增加归因于音频对象的幻像源的数量来增大源宽度。在Pulkki的研究(Pulkki，1999)中，通过将同一源信号平移到(略微)不同方向来控制源宽度。最初提出该方法是为了在VBAP平移(Pulkki，1997)源信号在声音场景中移动时，稳定所感知的VBAP平移源信号的幻像源扩展。这因为取决于源的方向而是有利的，渲染源由两个或更多个扬声器再现，这可能导致所感知的源宽度的非期望改变。虚拟世界DirAC(Pulkki、Laitinen、Erkut，2009)是对传统定向音频编码(DirAC)(Pulkki，2007)方法的扩展以用于虚拟世界中的声音合成。为了渲染空间范围，将源的定向声音分量在源的原始方向周围的一定范围内随机平移，其中平移方向随时间和频率而变化。在Santala、Pulkki的研究(Santala、Pulkki，2014)中也采用类似方法，其中空间范围是通过将源信号的频带随机分布到不同的空间方向来达成。这是一种旨在从所有方向同等地产生空间分布且包络的声音而非控制范围的精确程度的方法。Verron等人并非使用平移的相关信号，而是通过合成源信号的多个非相干版本、将它们均匀地分布在收听者周围的圆上、并在它们之间进行混合(Verron、Aramaki、Kronland-Martinet、Pallone，2010)来达成源的空间范围。同时激活的源的数量和增益决定了加宽效果的强度。此方法被实现为对环境声音合成器的空间扩展。3D源宽度本节描述关于在3D空间中渲染扩展声源的方法，即以具有6个自由度(6DoF)的虚拟现实所需的体积法。这意味着用户运动的6个自由度，即头部在俯仰/偏航/翻滚轴上的旋转再加上3个平移运动方向x/y/z。Potard等人通过研究源形状的感知，将源范围的概念扩展为源的一维参数，即在两个扬声器之间的宽度(Potard，2003)。他们通过将(时变)解相关技术应用于原始源信号，然后将非相干源放置在不同的空间位置并借此产生了三维范围(Potard、Burnett，2004)，从而生成了多个非相干点源。在MPEG-4高级音频BIFS(Schmidt、2004年)中，可以用若干个均匀分布且解相关的声源填充体积对象/形状(壳状、盒状、椭球体和圆柱体)，以引致三维源范围。为了使用高保真度立体声响复制(Ambisonics)增大和控制源范围，Schmele等人(Schmele、Sayin，2018)提出了一种降低输入信号的Ambisonics阶数(这固有地增大视在源宽度)并在聆听空间周围分布源信号的解相关副本的混合法。Zotter等人介绍了另一种方法，他们将在Zotter、Frank的研究(Zotter、Frank，2013)中提出的原理(即，得出引入频率相关相位和幅度差的滤波器对，以在立体声再现设置中达成源范围)用于Ambisonics(ZotterF.、Frank、Kronlachner、Choi，2014)。基于平移的方法的常见缺点(例如(Pulkki，1997)、(Pulkki，1999)、(Pulkki，2007)、(Pulkki、Laitinen、Erkut，2009))是对收听者位置的依赖性。即使与最佳位置的偏差很小，也会导致空间图像崩解为最靠近收听者的扬声器。这极大地限制了它们在虚拟现实和其中支持收听者到处自由移动的具有6个自由度(6DoF)的增强现实环境中的应用。此外，在基于DirAC的方法中分布时频点(例如(Pulkki，2007)、(Pulkki、Laitinen、Erkut，2009))并不总能保证幻像源的空间范围的正确渲染。此外，它通常会显著降低源信号的音质。通常通过以下方法之一实现源信号的解相关：i)得出具有互补幅度的滤波器对(例如(Lauridsen，1954))；ii)使用具有恒定幅度但(随机)加扰的相位的全通滤波器(例如(Kendall，1995)、(Potard&Burnett，2004)；或iii)在空间上随机分布源信号的时频点(例如(Santala、Pulkki，2014))。所有方法都有其各自的可能本文档来自技高网...

【技术保护点】
1.一种用于再现空间扩展声源的设备，所述空间扩展声源在空间中具有限定位置和几何形状，所述设备包括：/n接口(100)，用于接收收听者位置；/n投影仪，用于使用所述收听者位置、有关空间扩展声源的几何形状的信息、以及有关空间扩展声源的位置的信息，计算与所述空间扩展声源相关联的二维或三维外壳至投影面上的投影；/n声音位置计算器，用于使用所述投影面计算用于所述空间扩展声源的至少两个声源的位置；以及/n渲染器，用于在所述位置处渲染所述至少两个声源，以获得具有两个或更多个输出信号的所述空间扩展声源的再现，其中，所述渲染器被配置为对于不同位置使用不同声音信号，其中所述不同声音信号与所述空间扩展声源相关联。/n

【技术特征摘要】
【国外来华专利技术】20181219 EP 18214182.01.一种用于再现空间扩展声源的设备，所述空间扩展声源在空间中具有限定位置和几何形状，所述设备包括：
接口(100)，用于接收收听者位置；
投影仪，用于使用所述收听者位置、有关空间扩展声源的几何形状的信息、以及有关空间扩展声源的位置的信息，计算与所述空间扩展声源相关联的二维或三维外壳至投影面上的投影；
声音位置计算器，用于使用所述投影面计算用于所述空间扩展声源的至少两个声源的位置；以及
渲染器，用于在所述位置处渲染所述至少两个声源，以获得具有两个或更多个输出信号的所述空间扩展声源的再现，其中，所述渲染器被配置为对于不同位置使用不同声音信号，其中所述不同声音信号与所述空间扩展声源相关联。


2.如权利要求1所述的设备，其中检测器被配置为使用追踪系统检测在所述空间中的瞬时收听者位置，或者其中所述接口(100)被配置为使用经由所述接口输入的位置数据。


3.如权利要求1或2所述的设备，被配置为接收场景描述以及至少一个声音信号，所述场景描述包括有关空间扩展声源的限定位置的信息以及有关空间扩展声源的限定几何形状的信息，所述至少一个声音信号与所述空间扩展声源相关联，
其中所述设备还包括场景描述解析器(180)，所述场景描述解析器用于解析所述场景描述以取得有关限定位置的信息(341)、有关限定几何形状的信息(331)以及至少一个声源信号(301，302)，或
其中针对所述空间扩展声源，所述场景描述包括至少两个基础声音信号(301，302)以及关于所述有关空间扩展声源的几何形状的信息(331)的每个基础声音信号的位置信息(321)，以及其中所述声音位置计算器(140)被配置为当使用所述投影面计算所述至少两个声源的位置时使用所述至少两个基础信号的位置信息。


4.如前述权利要求中任一项所述的设备，
其中所述投影仪(120)被配置为使用所述有关空间扩展声源的几何形状的信息(331)计算所述空间扩展声源的外壳，并使用所述收听者位置将所述外壳沿朝向收听者的方向投影以获得所述二维或三维外壳至所述投影面上的投影，或
其中所述投影仪(120)被配置为将由所述有关空间扩展声源的几何形状的信息(331)所限定的所述空间扩展声源的几何形状沿朝向所述收听者位置的方向投影，并计算投影几何形状的外壳以获得所述二维或三维外壳至所述投影面上的投影。


5.如前述权利要求中任一项所述的设备，
其中所述声音位置计算器(140)被配置为从外壳投影数据以及所述收听者位置计算所述空间中的声源位置。


6.如前述权利要求中任一项所述的设备，
其中所述声音位置计算器(140)被配置为计算所述位置，以使得所述至少两个声源为多个周边声源并位于所述投影面上，或
其中所述声音位置计算器(140)被配置为计算，以使得多个周边声源中的周边声源的位置关于收听者位于所述投影面的右侧、和/或关于收听者位于所述投影面的左侧、和/或关于收听者位于所述投影面的顶部、和/或关于收听者位于所述投影面的底部。


7.如前述权利要求中任一项所述的设备，
其中所述渲染器(160)被配置为使用以下渲染所述至少两个声源：
依据声源的位置的平移操作，以获得用于预定义扬声器设置的扬声器信号，或
依据声源的位置使用头相关传递函数的双耳渲染操作，以获得耳机信号。


8.如前述权利要求中任一项所述的设备，
其中第一数量的相关源信号与所述空间扩展声源相关联，所述第一数量为一或大于一，其中相关源信号与相同的空间扩展声源相关，
其中所述声音位置计算器(140)确定用于渲染所述空间扩展声源的第二数量的声源，所述第二数量大于一，以及
其中所述渲染器(160)包括一个或多个解相关器(166)，所述一个或多个解相关器用于在所述第二数量大于所述第一数量时，从第一数量的一个或多个源信号(164)生成解相关信号。


9.如前述权利要求中任一项所述的设备，
其中所述接口(100)被配置为接收收听者在所述空间中的时变位置，
其中所述投影仪(120)被配置为计算所述空间中的时变投影，
其中所述声音位置计算器(140)被配置为计算所述空间中的声源的时变数量或声源的时变位置，以及
其中所述渲染器(160)被配置为在所述空间中渲染时变数量的声源或在所述空间中的时变位置处渲染所述至少两个声源。


10.如前述权利要求中任一项所述的设备，
其中所述接口(100)被配置为接收六个自由度的收听者位置，以及
其中所述投影仪(120)被配置为依据所述六个自由度计算所述投影。


11.如前述权利要求中任一项所述的设备，其中所述投影仪(120)被配置为：
将所述投影计算为图片平面，如垂直于收听者的视线的平面，或
将所述投影计算为围绕收听者的头部的球面，或
将所述投影计算为投影面，所述投影面位于距收听者的头部的中心预定距离处，或
从相对于收听者的头部的视角的方位角和仰角计算空间扩展声源的凸壳的投影，所述方位角和所述仰角从球坐标得出。


12.如前述权利要求中任一项所述的设备，
其中所述声音位置计算器(140)被配置为计算所述位置，以使得所述位置绕所述外壳的投影均匀分布，或者使得所述位置置于外壳投影的极点或边缘点，或者使得所述位置位于所述外壳的投影的水平或垂直极点或边缘点。


13.如前述权利要求中任一项所述的设备，
其中所述声音位置计算器(140)被配置为除周边声源的位置以外还确定辅助声源的位置，所述辅助声源的位置关于收听者位于所述外壳的投影之上、之前、之后或之内。


14.如前述权利要求中任一项所述的设备，
其中所述投影仪(120)被配置为在如水平方向和垂直方向的不同方向上以变量或预定量或以不同变量或不同预定量例如朝向所述外壳或所述投影的重心额外地收缩所述外壳的投影。


15.如前述权利要求中任一项所述的设备，其中所述声音位置计算器(140)被配置为计算，以使得至少一个额外辅助声源位于所述投影面上、关于所述收听者位置在左周边声源和右周边声源之间，或
其中所述声音位置计算器(140)被配置为计算，以使得至少一个额外辅助声源位于所述投影面上、关于所述收听者位置在左周边声源和右周边声源之间，其中在所述左周边声源和所述右周边声源之间的中间放置单个额外辅助源，或者在所述左周边声源和所述右周边声源之间等距地放置两个或更多个额外辅助源。


16.如前述权利要求中任一项所述的设备，
其中所述声音位置计算器(140)被配置为在经由所述接口接收收听者绕所述空间扩展声源的圆周运动的情况下，或者在经由所述接口接收所述空间扩展声源关于固定收听者的旋转的情况下，优选地绕所述投影的重心执行所述空间扩展声源的声音位置的旋转。


17.如前述权利要求中任一项所述的设备，
其中所述渲染器(160)被配置为，针对每个声源，依据收听者和所述声源之间的距离接收张开角，并且依据所述张开角渲染所述声源。


18.如前述权利要求中任一项所述的设备，
其中所述渲染器(160)被配置为接收每个声源的距离信息，以及
其中所述渲染器(160)被配置为依据所述距离渲染所述声源，以使得相较于放置地不太靠近收听者且具有相同音量的声源，放置地更靠近所述收听者的声源被渲染为具有较大音量。


19.如前述权利要求中任一项所述的设备，其中所述声音位置计算器(140)被配置为：
为每个声源确定距离，所述距离等于所述空间扩展声源关于收听者的距离，或
通过投影上的声源的位置至所述空间扩展声源的几何形状上的反向投影，确定每个声源的距离；
其中所述渲染器(160)被配置为使用有关所述距离的信息生成所述声源。


20.如前述权利要求中任一项所述的设备，
其中有关几何形状的信息(331)被限定为一维直线或曲线、二维面、或三维体，其中所述二维面例如为椭圆形、矩形、多边形，或多边形组，所述三维体例如为椭球体、立方体或多面体，和/或
其中所述信息被限定为参数化描述或多边形描述或多边形描述的参数化表示。


21.如前述权利要求中任一项所述的设备，
其中所述声音位置计算器(140)被配置为依据收听者至所述空间扩展声源的距离确定声源的数量，其中相较于针对所述收听者与所述空间扩展声源之间的较大距离的较少数量，针对较小距离，声源的数量较大。


22.如前述权利要求中任一项所述的设备，被配置为接收有关空间扩展声源所引入的扩展的信息，以及
其中所述投影仪(120)被配置为使用有关扩展的信息对所述外壳...

【专利技术属性】
技术研发人员：尤根·埃雷拉，伊曼纽尔·哈贝茨，塞巴斯蒂安·施莱赫特，亚历山大·阿达米，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：德国;DE