沉浸式音频通信制造技术

一种沉浸式音频通信。本发明专利技术提供一种将空间音频用于虚拟环境的系统和方法，所述虚拟环境能运行在具有有限处理能力的便携式设备上，并且利用低带宽通信连接。所述系统识别虚拟环境中的第一化身；并且确定所述化身是否满足重用准则，所述重用准则使得系统能够对所述第一化身重用已经为虚拟环境中的第二化身生成的音频信息。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术总寸本上涉及^冗浸式音频通《言(immersive audio communication) 领域，并且具体地但决不排他地适用于与虚拟环境的化身(avatar)相关 联的沉浸式音频场景。
技术介绍
传统地，分布式虚拟环境(如多人在线游戏)使用基本的装置以使 得用户能够相互通信。例如， 一些分布式虚拟环境已经采用了基于文本 的通信，而其他的虚拟环境已经支持在因特网协议技术上的简单的单声 道语音。已经提出，可以通过在虚拟环境中增加介质或高质量音频通信来改 进用户对虚拟环境的感知。因此，已经进行了相当多的研究来为分布式 虚拟环境提供实时沉浸式音频通信。大多数研究集中在为用户提供表达 方向感和距离感的空间音频；即，音频信息听起来好像是从特定位置发 出并且已经传播了一定距离。为分布式虚拟环境提供沉浸式音频通信的研究通常假设虚拟环境的 用户使用计算设备(如，台式计算机)，该计算设备具有合理量的处理能 力，并且经由相对高带宽的数据链路连接到虚拟环境。这样，当前的沉 浸式音频通信技术通常涉及跨越一个或更多中心服务器和用户的计算设 备而进行分布式沉浸式音频场景计算。便携式无线计算设备的最近进展(如诺基亚N-Gage和PlayStation Portable)意味着数量日益增长的用户将潜在地期望经由便携式无线计算 设备访问虚拟环境。与台式计算设备相比，便携式无线计算设备具有有 限处理能力，并且将经由合理低带宽的无线链路连接到虚拟环境。不幸 的是，因为无线计算设备可能没有足够的处理能力来参与到分布式音频场景计算中，所以当今的沉浸式音频通信技术可能无法有效支持便携式 无线计算设备(或其他具有相对低计算能力的计算设备)。其结果是，大 部分计算密集的音频场景处理将被推回到虚拟环境服务器上。这基本意 味着如果要支持便携式无线计算设备并为其提供沉浸式音频通信，可能 需要采用更强大的服务器。
技术实现思路
根据本专利技术的第一方面，提供了一种将音频用于虚拟环境的方法， 该方法包括以下步骤识别与所述虚拟环境相关联的第一化身；对于为与所述虚拟环境相关联的第二化身创建的音频信息，确定是 否满足音频重用准则；以及在确定满足所述音频重用准则时，对所述第一化身重用所述音频信息o该方法的优点在于，与现有的沉浸式音频技术不同，其能够有利于 便携式无线通信设备(或具有相对低处理能力的任何其他设备)进行沉 浸式音频通信。该优点源自所述方法涉及尽可能(即，当满足音频重用 准则时)重用音频信息这一事实，这可以减少创建沉浸式音频的处理密 集型任务。借助于示例实现，该方法可以由一个或更多个中央音频场景 创建服务器来执行，以降低(多个)中央服务器的音频场景处理要求。 与本专利技术相反，现有的沉浸式音频通信技术不釆用音频信息重用，并且 将因此而比采用本专利技术的系统需要更多处理资源。该方法优选地还包括以下步骤基于所述第一化身和与虚拟环境相 关联的第三化身之间的距离处理所述音频信息。执行处理音频的步骤的优点在于，其可以被用来将对距离的感知添 加到重用的音频信息中。例如，该处理步骤可以涉及将所述音频信息衰 减以表示该音频信息己经传播了 一定距离。该方法优选地还包括以下步骤在确定不满足所述音频重用准则时， 为所述第一化身创建替代音频信息。创建替代音频信息的优点在于，在不满足重用准则的情况下提供了 获得用于所述第一化身的音频的机制。确定是否满足音频重用准则的步骤优选地包括以下步骤确定所述 第一化身是否会将所述音频信息感知成是从所述虚拟环境中所述第三化 身所在的预定区域发出的。确定第一化身是否会将所述音频信息感知成是从所述预定区域发出 的优点在于，其提供了用于确保重用的音频信息具有合理地靠近精确创 建的音频信息的空间方面的空间特性的技术，该精确创建的音频信息可 以在创建替代音频信息的前述步骤期间创建。所述音频信息优选地包括空间音频信息。根据本专利技术的第二方面，提供了一种将音频用于虚拟环境的系统， 该系统包括一处理装置，该处理装置被设置为执行以下步骤 识别与所述虚拟环境相关联的第一化身；对于为与所述虚拟环境相关联的第二化身创建的音频信息，确定是 否满足音频重用准则；以及在确定满足所述音频重用准则时，对所述第一化身重用所述音频信厄、o所述处理装置优选地还被设置为执行以下步骤基于所述第一化身 和与所述虚拟环境相关联的第三化身之间的距离处理所述音频信息。所述处理装置优选地还被设置为执行以下步骤在确定不满足所述 音频重用准则时，为所述第一化身创建替代音频信息。将所述处理装置优选地设置为确定是否满足所述音频重用准则的所 述步骤包括以下步骤确定所述第一化身是否会将所述音频信息感知成 是从所述虚拟环境中所述第三化身所在的预定区域发出的。所述音频信息优选地包括空间音频信息。根据本专利技术的第三方面，提供了一种包括至少一个指令的计算机程 序，该指令被设置为使得计算设备执行根据本专利技术第一方面的方法。根据本专利技术的第四方面，提供了一种包括根据本专利技术第三方面的计 算机程序的计算机可读介质。附图说明尽管存在可能落入本专利技术的范围内的任何其他实施方式，下面仍将 参照附图来描述仅作为实施例的本专利技术的实施方式，在附图中 图1示出了包括本专利技术的一实施方式的系统； 图2 (a)例示了由现有的沉浸式音频技术使用的技术； 图2 (b)例示了根据本专利技术一实施方式由图1的系统创建沉浸式音 频的技术；以及图3是应用了图1的系统的虚拟环境的表示。具体实施例方式参照图l，系统100包括虚拟环境系统102;用户计算设备104;以 及通信系统106。虚拟环境系统102的主要功能是维护虚拟环境的状态信息并为虚拟 环境的参与者提供沉浸式音频通信。在本专利技术的该实施方式中，虚拟环 境是多人在线游戏的战场，并且化身表示虚拟环境的参与者(即，用户 计算设备104的用户)并且是动画战士的形式。由虚拟环境系统102维 护的状态信息包括例如虚拟环境中化身的位置；即，战场中战士的位置。应注意到，本专利技术并不限于用于多人在线游戏的虚拟环境和化身。 本专利技术适用的虚拟环境的范围包括例如商务环境(如虚拟员工会议)或 教育环境(如虚拟讲座)的虚拟环境。为了执行维护状态信息和提供沉浸式音频通信的主要功能，虚拟环 境系统102包括传统的计算机硬件，该计算机硬件包括主板、中央处理 单元、随机存取存储器、硬盘、联网硬件和电源。除了硬件外，虚拟环 境系统102包括操作系统(如Linux，其可从www.redhat.com获得)，该 操作系统驻留在系统102的硬盘上，并且与硬件协同以提供其中可以执 行软件应用的环境。在这点上，虚拟环境系统102的硬盘加载有用于维 护状态信息的虚拟环境服务器应用(如Quake引擎，其可从 www.idsoftware.com获得)、以及用于为虚拟环境的参与者提供沉浸式音频通信的沉浸式音频通信服务器应用。用户计算设备104是以便携式无线通信设备的形式，如诺基亚N-Gage和PlayStation Portable。然而，容易理解到，本专利技术并不限于便携 式无线通信设备。预期在本专利技术的另选实施方式中，用户计算设备104 可以是例如膝上型或台式计算机。每个用户计算设备104包括传统的计 算机硬件，该计算机硬件包括主板、中央处理单元、随机存取存储器、 硬盘本文档来自技高网...

【技术保护点】
一种将音频用于虚拟环境的方法，该方法包括以下步骤：识别与虚拟环境相关联的第一化身；对于为第二化身创建的音频信息，确定是否满足音频重用准则；以及在确定满足所述音频重用准则时，对所述第一化身重用所述音频信息。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：保罗安德鲁鲍斯特德，法尔扎德撒菲伊，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：US[美国]