凹式音频渲染制造技术

本主题提供了对音频虚拟化面临的技术问题的技术解决方案。为了降低音频虚拟化面临的技术复杂性和计算强度，一种技术解决方案包括利用不同的质量级别双耳渲染音频对象，其中用于每个音频源的质量级别可以基于它们相对于用户的视场的位置来选择。在示例中，这个技术解决方案通过降低用户的中央视觉场外的音频源的音频质量来降低技术复杂性和计算强度。在示例中，高质量音频渲染可以应用于这个强中央视觉敏锐度区域内的声音对象。这些技术解决方案减少了更高复杂性系统上的处理，并且以降低的技术和计算成本提供了高得多的质量渲染的潜力。潜力。潜力。

【技术实现步骤摘要】
【国外来华专利技术】凹式音频渲染
[0001]相关申请和优先权要求
[0002]本申请与2019年5月31日提交并且标题为“Foveated Audio Rendering”的美国临时申请No.62/855,225相关并且要求其优先权，该美国临时申请的全部内容通过引用并入本文。


[0003]本文描述的技术涉及用于空间音频渲染的系统和方法。

技术介绍

[0004]音频虚拟器可以用于创建各个音频信号源自各种地点(例如，位于3D空间中)的感知。当使用多个扩音器或使用头戴式耳机再现音频时，可以使用音频虚拟器。用于虚拟化音频源的技术包括基于相对于收听者的音频源地点渲染那个音频源。然而，相对于收听者渲染音频源地点可能在技术上复杂并且在计算上昂贵，尤其是对于多个音频源。需要的是提高的音频虚拟器。
附图说明
[0005]图1是根据实施例的用户视觉场的图。
[0006]图2是根据实施例的音频质量渲染决策引擎的图。
[0007]图3是根据实施例的用户声学球体的图。
[0008]图4是根据实施例的声音渲染系统方法的图。
[0009]图5是根据示例实施例的虚拟环绕系统的图。
具体实施方式
[0010]本主题提供了对音频虚拟化面临的技术问题的技术解决方案。为了降低音频虚拟化面临的技术复杂性和计算强度，技术解决方案包括利用不同的质量级别双耳渲染音频对象，其中用于每个音频源的质量级别可以基于它们相对于用户的视场的位置来选择。在示例中，这个技术解决方案通过降低用户的中央视觉场外的音频源的音频质量来降低技术复杂性和计算强度。这个解决方案利用用户验证音频渲染的准确性的降低的能力(如果用户无法看到对象音频应该来自哪里)。一般地，人类具有通常限于以注视方向为中心的近似六十度弧的强视觉敏锐度。负责这个强中央视觉敏锐度的眼睛的部分是小凹，并且如本文所使用的，凹式音频渲染是指基于相对于这个强中央视觉敏锐度区域的音频对象位置渲染音频对象。在示例中，高质量音频渲染可以应用于这个强中央视觉敏锐度区域内的声音对象。相反地，较低复杂性算法可以应用于无法看到正被渲染的对象的其它区域，并且用户将不太可能或不能够注意到与较低复杂性算法相关联的任何定位错误。这些技术解决方案减少了更高复杂性系统上的处理，并且以降低的技术和计算成本提供了高得多的质量渲染的潜力。
[0011]下面结合附图阐述的详细描述旨在作为本主题的当前优选实施例的描述，而不旨在表示可以构造或使用本主题的唯一形式。本描述结合说明的实施例阐述了展开和操作本主题的功能和步骤序列。要理解的是，相同或等同的功能和序列可以通过也旨在涵盖在本主题的范围内的不同实施例来实现。还理解的是，关系术语(例如，第一、第二)的使用仅用于区分一个实体与另一个实体，而不一定要求或暗示这样的实体之间的任何实际的这样的关系或次序。
[0012]图1是根据实施例的用户视觉场100的图。用户110可以具有相关联的总视场120。总视场120可以被细分成多个区域。聚焦区域130可以直接在用户前方，其中聚焦区域130可以包括用户的总视场120的中央部分的近似三十度。3D视觉场140可以包括并且延伸超出聚焦区域130以包括用户的总视场120的中央部分的近似六十度。在示例中，用户110可以在3D视觉场140内以3D观看对象。周边视觉场150可以包括并且延伸超出3D视觉场140以包括用户的总视场120的中央部分的近似一百二十度。除了3D视觉场140之外，周边视觉场150还可以包括左周边区域160和右周边区域165。虽然双眼都能够观察左和右周边区域160和165中的对象，但是这些区域中降低的视觉敏锐度导致那些对象被以2D观看。视场120还可以包括对右眼不可见的仅左侧区域170，并且可以包括对左眼不可见的仅右侧区域175。
[0013]一个或多个音频源180可以定位在用户的视场120内。来自音频源180的音频可以行经单独的声学路径以到达用户110的每个耳膜。从音频源180到每个耳膜的单独路径创建独特的源到耳膜频率响应和耳间时间差(ITD)。这个频率响应和ITD可以组合以形成声学模型，诸如双耳头部相关传递函数(HRTF)。从音频源180到用户110的每个耳膜的每个声学路径可以具有独特的一对对应的HRTF。每个用户110可以具有略微不同的头部形状或耳朵形状，因此每个用户110根据头部形状或耳朵形状可以具有对应地略微不同的HRTF。为了从特定音频源180的地点准确地再现声音，可以对每个用户110测量HRTF值，并且可以将HRTF与音频源180卷积以从音频源180的地点渲染音频。虽然HRTF对特定用户110提供从特定地点的音频源180的准确再现，但是测量来自每个用户的来自每个地点的每种类型的声音以生成所有可能的HRTF是不实际的。为了减少HRTF测量的数量，可以在特定地点采样HRTF对，并且对于采样地点之间的地点可以对HRTF进行插值。使用这个HRTF插值再现的音频的质量可以通过增加采样地点的数量或通过提高HRTF插值来提高。
[0014]HRTF插值可以使用各种方法实现。在实施例中，HRTF插值可以包括创建多声道扬声器混合(例如，基于向量的幅度平移、环境立体声)和使用通用HRTF虚拟化扬声器。这个解决方案可以是高效的但是提供较低的质量，诸如当ITD和HRTF不正确并且导致减少的正面成像时。这个解决方案可以被用于多声道游戏、多声道电影或交互式3D音频(I3DA)。在实施例中，HRTF插值可以包括对于每个音频源的最小相位HRTF和ITD的线性组合。这可以通过提高的ITD的准确性来提供提高的低频率准确性。然而，在没有HRTF的密集的数据库(例如，至少100个HRTF)的情况下，这也可能降低HRTF插值的性能，并且实现起来可能在计算上更昂贵。在实施例中，HRTF插值可以包括对于每个音频源的个性化的HRTF和频域插值的组合。这可以专注于插值的HRTF音频源地点的更准确重建，并且可以对正面定位和外在化提供提高的性能，但是实现起来可能在计算上昂贵。
[0015]基于音频源180的地点的HRTF地点和插值的组合的选择可以提供提高的HRTF音频渲染性能。为了在降低计算强度的同时提高HRTF渲染的性能，可以对聚焦区域130内的音频
对象应用最高质量HRTF渲染，并且对视场120内离聚焦区域130越来越远的区域可以降低HRTF渲染质量。这个基于视场120内的细分区域的HRTF的选择可以用于选择特定区域中的降低的音频质量渲染，其中降低的音频质量渲染将不被用户辨识。此外，无缝过渡可以在视场120内的细分区域的过渡处使用以减少或消除用户110检测区域之间的过渡的能力。视场120内和外的区域可以用于确定应用于每个声音源的渲染质量，诸如下面关于图2所描述的。
[0016]图2是根据实施例的音频质量渲染决策引擎200的图。决策引擎200可以通过确定声音源地点210开始。当一个或多个声音源地点在视觉场220内时，可以基于个体化的HRTF 225的复频域插值渲染声音源。当一个或多个声音源地点在视觉场220外但在周边区域230本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种声音渲染系统，包括：一个或多个处理器；包括指令的存储设备，所述指令在由所述一个或多个处理器执行时将所述一个或多个处理器配置为：使用第一渲染质量渲染第一声音信号，所述第一声音信号与中央视觉区域内的第一声音源相关联；以及使用第二渲染质量渲染第二声音信号，所述第二声音信号与周边视觉区域内的第二声音源相关联，其中所述第一渲染质量高于所述第二渲染质量。2.根据权利要求1所述的系统，其中：所述第一渲染质量包括个体化的头部相关传递函数(HRTF)的复频域插值；并且所述第二渲染质量包括具有每源耳间时间差(ITD)的线性时域HRTF插值。3.根据权利要求1所述的系统，其中：所述中央视觉区域与中央视觉敏锐度相关联；所述周边视觉区域与周边视觉敏锐度相关联；并且所述中央视觉敏锐度大于所述周边视觉敏锐度。4.根据权利要求3所述的系统，其中：所述中央视觉区域包括用户注视方向上的中央锥形区域；并且所述周边视觉区域包括用户视场内且所述中央锥形区域外的周边锥形区域。5.根据权利要求3所述的系统，所述指令还将所述一个或多个处理器配置为使用过渡渲染质量渲染过渡声音信号，所述过渡声音信号与过渡边界区域内的过渡声音源相关联，所述过渡边界区域由所述中央锥形区域和沿着所述中央锥形区域的周界的周边锥形区域共享，其中所述过渡渲染质量提供所述第一渲染质量与所述第二渲染质量之间的无缝音频质量过渡。6.根据权利要求5所述的系统，其中所述过渡边界区域被选择以包括HRTF采样地点。7.根据权利要求6所述的系统，其中在所述过渡边界区域处应用公共的ITD。8.根据权利要求1所述的系统，所述指令还将所述一个或多个处理器配置为使用第三渲染质量渲染第三声音信号，所述第三声音信号与所述周边视觉区域外的非可视区域内的第三声音源相关联，其中所述第二渲染质量高于所述第三渲染质量。9.根据权利要求8所述的系统，其中所述第三渲染质量包括虚拟扩音器渲染。10.根据权利要求1所述的系统，所述指令还将所述一个或多个处理器配置为：基于所述第一声音信号和第二声音信号生成混合输出信号；以及将所述混合输出信号输出到可听声音再现设备。11.根据权利要求10所述的系统，其中：所述可听声音再现设备包括双耳声音再现设备；使用所述第一渲染质量渲染所述第一声音信号包括使用第一头部相关传递函数(HRTF)将所述第一声音信号渲染为第一双耳音频信号；以及使用所述第二渲染质量渲染所述第二声音信号包括使用第二HRTF将所述第二声音信号渲染为第二双耳音频信号。12.一种声音渲染方法，包括：
使用第一渲染质量渲染第一声音信号，所述第一声音信号与中央视觉区域内的第一声音源相关联；以及使用第二渲染质量渲染第二声音信号，所述第二声音信号与周边视觉区域内的第二声音源相关联，其中所述第一渲染质量高于所述第二渲染质量。13.根据权利要求12所述的方法，其中：所述第一渲染质量包括个体化的头部相关传递函数(HRTF)的复频域插值；并且所述第二渲染质量...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：DTS公司，
类型：发明
国别省市：