用于动态源的实时声音传播的参数波场编码制造技术

本文中所讨论的技术可以便于响应于在三维环境中的源位置处接收到所期望的无回声信号而在三维环境中的收听者位置处感知的(多个)传播信号的实时计算和回放。所传播的音频逼真地考虑了由三维环境的几何形状和组成所引起的动态信号源、动态收听者和效果。这些技术可以参数化环境的(多个)脉冲响应，并且以遵守(多个)参数化的脉冲响应的参数的方式在运行时间利用规范滤波器对无回声信号进行卷积。这些技术还响应于在虚拟三维环境中的多个源位置处生成的源音频信号的生成而提供在虚拟三维环境中的收听者位置处感知的传播音频信号的实时计算和回放。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
由于计算设备中的处理速度的增加和更大更便宜的存储容量，所以视频游戏和其它虚拟模拟已变得越来越逼真。这些进步已经允许虚拟环境设计者将真实世界物理的一些有限效果并入视频游戏和其它虚拟模拟。为此，许多视频游戏现在并入使用数学模型模拟真实世界物理的物理引擎。然而，众所周知，逼真的音频已经难以模拟。尝试使用对在虚拟环境中传播并且在收听者位置感知的声音进行建模的波方程由于实时处理和存储约束而不容易实现。因为这个，所以许多游戏工作室手动编码视频游戏音频，以模仿虚拟环境对在这些环境中传播的声音的效果。特别地，存储环境的特性(即，脉冲响应)所需的空间随着环境音量增加而超线性地增加，并且脉冲响应通常是混乱的，从而使得它们不太适合于压缩。更进一步地，使用物理模型计算环境中收听者位置处的传播声音需要利用源位置和收听者位置之间的环境的脉冲响应来卷积源音频信号。卷积具有高的处理成本。由于对分配给视频游戏的音频处理的总处理量的约束，所以典型的视频游戏控制台、台式计算机和移动设备硬件仅提供足够的处理能力来计算在任何一个时间多达十个源的传播音频。在许多视频游戏中，在视频游戏中存在多达数百个音频信号源，因此当前没有办法进行对所传播的音频信号进行建模所需的卷积数目。更进一步地，当环境包含快速移动通过环境的源时，待使用音频信号进行卷积的脉冲响应快速改变，从而导致用户可以将其感知为系统滞后的场景中的混响被削减。
技术实现思路
本文中所讨论的技术便于响应于在虚拟三维环境中的源位置处接收所期望的无回声音频信号而在三维环境中的收听者位置处感知的(多个)所传播的音频信号的实时计算和回放。所传播的音频逼真地考虑了由三维虚拟环境的几何形状和组成所引起的动态音频信号源、动态收听者和声学效果。这些技术还响应于在虚拟三维环境中的(多个)源位置处生成的(多个)源音频信号的生成而提供在虚拟三维环境中的收听者位置处感知的所传播的音频信号的实时计算和回放。本文中所讨论的技术可以将对虚拟三维环境的声学特性进行建模的脉冲响应场转换成与若干个参数相对应的场。更进一步地，这些技术可以应用与从场解码为音频信号的参数一致的规范滤波器。提供本
技术实现思路
以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。本
技术实现思路
旨在用于帮助确定所要求保护的主题的范围。比如，术语“技术”可以是指(多个)系统、(多个)方法、计算机可读介质/指令、(多个)模块、算法、硬件逻辑(例如，现场可编程门阵列(FPGA))、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD))、和/或上文和整个文档所描述的情景所准许的(多个)技术。附图说明参考附图对具体实施方式进行描述。在附图中，附图标记的(多个)最左边的数字标识附图标记首次出现的附图。在不同的附图中相同的附图标记表示相似或相同的项。图1是描绘了音频传播框架的示例可以在其中操作的示例环境的方框图。图2是描绘了根据各种示例的可以计算环境内的音频传播的示例设备的方框图。图3是描绘根据一些示例的计算环境内的音频传播的示例音频传播框架的方框图。图4是描绘根据一些示例的可以计算环境内的音频传播的示例专用计算设备的方框图。图5是图示了模拟环境中的压力场、编码压力场、以及在运行时间计算所传播的音频信号的示例过程的流程图。图6是图示了模拟环境中的压力场的示例过程的流程图。图7是环境的示例脉冲响应。图8是图示了对压力场进行编码的示例过程的流程图。图9是图示了从如图7所示的脉冲响应提取参数的示意图。图10是脉冲响应、窗口函数、窗口化的脉冲响应和去卷积的窗口化的脉冲响应的示例图的图。图11是示例能量衰变曲线、早期衰变时间斜率和后期混响时间斜率的图。图12是图示了在运行时间计算所传播的音频信号的示例过程的流程图。图13是图示了渲染参数的示例过程的流程图。图14是图示了用于生成早期反射阶段的规范滤波器的示例能量衰变曲线的图。图15是图示了满足图14中所描绘的能量衰变曲线的示例时域规范滤波器的图。图16是图示了满足图14中所描绘的能量衰变曲线的示例频域规范滤波器的图。图17是描绘了在五个虚拟环境上进行的一个模拟和编码示例的实验结果的表。图18是图示了与未编码的虚拟环境相比在两个虚拟环境上进行的一个模拟和编码示例的实验结果的图。具体实施方式概况本公开涉及用于计算信号从环境中的(多个)源传播到接收器的技术。本文中所描述的示例提供了用于响应于三维环境中的源位置处的无回声(即，未传播)音频信号而便于在虚拟三维环境中的收听者位置处感知的传播音频信号的实时计算和再现的技术。与先前的途径相反，该技术不存储虚拟环境的脉冲响应场。相反，可以从脉冲响应的能量衰变中提取若干感知参数，并且这些感知参数可以被编码为参数场。在一些示例中，不是每个源一次对脉冲响应和源音频信号进行卷积，这些技术提供将每个源信号分割成根据与源/收听者位置对相对应的脉冲响应的感知参数而缩放的副本，并且累积分割的源信号在要用若干规范滤波器进行卷积的源上的和，规范滤波器是固定滤波器。更进一步地，在一些示例中，该技术不使用针对每个源的在运行时间生成的脉冲响应或滤波器进行卷积。相反，在至少一个示例中，该技术使用具有在运行时间之前是固定的特性的滤波器，并且用要传播的(多个)分割的源信号的加权和对这些固定滤波器进行卷积。本文中所描述的技术和系统可以以多种方式来实现。下文参考以下附图提供示例实现方式。本文中所描述的实现方式、示例和说明可以组合。说明性环境图1是描绘了其中本文中所描述的示例可以操作的示例环境100的方框图。在一些示例中，环境100的各种设备和/或部件包括可以经由一个或多个网络104彼此通信以及与外部设备通信的分布式计算资源102。例如，(多个)网络104可以包括诸如因特网之类的公共网络、诸如机构和/或个人内联网之类的专用网络、或专用和公共网络的某种组合。(多个)网络104还可以包括任何类型的有线和/或无线网络，包括但不限于局域网(LAN)、广域网(WAN)、卫星网络、电缆网络、WiFi网络、WiMax网络、移动通信网络(例如，3G、4G等)、或其任何组合。(多个)网络104可以利用通信协议，包括基于分组和/或基于数据报的协议，诸如因特网协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)或其它类型的协议。而且，(多个)网络104还可以包括便于网络通信和/或形成网络的硬件基础的若干个设备，诸如交换机、路由器、网关、接入点、防火墙、基站、中继器、主干设备等等。在一些示例中，(多个)网络104还可以包括使得能够连接到无线网络(诸如无线接入点(WAP))的设备。示例支持通过在各种电磁频率(例如，射频)上发送和接收数据的WAP的连接性，包括支持电气和电子工程师协会(IEEE)1302.11标准(例如，1302.11g、1302.11n等)的WAP、以及其它标准。在各种示例中，(多个)分布式计算资源102包括诸如设备106(1)至106(N)的计算设备。这些示例支持(多个)设备106可以包括在群集或其它分组配置中操作以共享资源、平衡负载、增加性能、提供故障切换支持或冗余、或用于其它目的的一个或多个计算设备的场景。尽管被图示为台式计算机，但是(多个)设备1本文档来自技高网...

【技术保护点】
一种设备，包括：一个或多个处理单元；计算机可读介质，其上存储有模块，所述模块包括：编码模块，被配置成参数化环境的脉冲响应场，以获得参数化的脉冲响应场；解码模块，被配置成：接收信号传输位置和信号接收器位置；以及从所述参数化的脉冲响应场中解码参数以获得解码的参数，所述解码部分地基于所述信号传输位置和所述信号接收器位置，并且所述解码的参数与所述信号接收器位置处的所述环境的脉冲响应的感知特征相对应；以及渲染模块，被配置成将滤波器应用于要从所述信号传输位置被传播到所述信号接收器位置的信号，所述应用至少部分地基于所述解码的参数。

【技术特征摘要】
【国外来华专利技术】2014.06.20 US 14/311,2081.一种设备，包括：一个或多个处理单元；计算机可读介质，其上存储有模块，所述模块包括：编码模块，被配置成参数化环境的脉冲响应场，以获得参数化的脉冲响应场；解码模块，被配置成：接收信号传输位置和信号接收器位置；以及从所述参数化的脉冲响应场中解码参数以获得解码的参数，所述解码部分地基于所述信号传输位置和所述信号接收器位置，并且所述解码的参数与所述信号接收器位置处的所述环境的脉冲响应的感知特征相对应；以及渲染模块，被配置成将滤波器应用于要从所述信号传输位置被传播到所述信号接收器位置的信号，所述应用至少部分地基于所述解码的参数。2.根据权利要求1所述的设备，其中所述脉冲响应场的幅度至少部分地基于以下各项中的至少一项而变化：脉冲传输位置、接收位置、或者时间。3.根据权利要求1所述的设备，所述渲染模块还被配置成：至少部分地基于所述解码的参数来计算权重；至少部分地基于所述权重来缩放所述信号以获得缩放的信号；以及使用滤波器来卷积所述缩放的信号。4.根据权利要求3所述的设备，其中由所述权重缩放的所述滤波器的和与所述解码的参数一致。5.一种方法，包括：接收环境的参数化的脉冲响应；从所述参数化的脉冲响应解码参数，以获得解码的参数；以及计算权重，用所述权重加权的规范滤波器的加权线性组合与所述解码的参数一致。6.根据权利要求5所述的方法，所述解码包括：在连续三维空间中接收源位置和收听者位置；至少部分地基于所述源位置从多个固定第一位置中选择探针样本集合，所述多个固定第一位置表示所述环境的空间样本；至少部分地基于所述收听者位置从多个固定第二位置中选择接收器样本集合，所述多个固定第二位置表示所述环境的空间样本；从所述参数化的脉冲响应计算针对所述探针样本集合和所述接收器样本集合的感知参数；至少部分地基于所述源位置和所述收听者位置来计算所述探针样本集合和所述接收器样本集合的空间权重；以及至少部分地基于所述空间权重从所述感知参数插值解码的参数。7.根据权利要求...

【专利技术属性】
技术研发人员：N·拉古范希，J·M·斯尼德，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US