虚拟环境中渲染实时空间音频的系统和方法技术方案

本发明专利技术提供了一种新型实时空间音频渲染系统，包括可在通信设备上运行的实时空间音频渲染计算机软件应用程序。该应用程序将收听者在虚拟房间中的单声道音频源渲染成立体声音频。收听者是可以移动的。为房间内的每个收听者渲染立体声音频。实时空间音频渲染系统有两种不同的模式：有混响和无混响。混响可以提供房间的维度感。首先，直达声处理模块生成直达声立体声音频，可体现空间音频的方向感和距离感。当需要混响时，还需执行混响处理模块，使得最后生成的空间音频可体现房间的维度感。最后生成的空间音频可体现房间的维度感。最后生成的空间音频可体现房间的维度感。

【技术实现步骤摘要】
虚拟环境中渲染实时空间音频的系统和方法
相关申请的交叉引用
[0001]本申请要求申请日为2021年11月8日，申请号为17/520,956的美国申请的优先权。


[0002]本专利技术涉及一种实时通信中的音频渲染技术，具体而言，本专利技术涉及虚拟环境中的实时空间音频渲染技术。更具体而言，本专利技术涉及一种用于在虚拟环境中渲染实时立体声音频的系统和方法。

技术介绍

[0003]在现实世界的交流中，人们可以从声源处听到声音，并分辨声源的方向和距离。这是由双耳效应所决定的。双耳效应要求收听者两耳接收到的声波信号的时延和频谱能量分布是不同的。因此，空间音频应至少具有两个声道(立体声音频)才能在实时通信环境(如在线游戏环境)中为用户提供双耳效应。参与人员(或简称为参与者)在实时通信(RTC)虚拟环境中位于不同的房间条件下，比如在线会议室或虚拟剧院等。他们也可以在自己的房间内从一个地方移动到另一个地方。房间内可能有多个音频源，例如说话声、电视等。
[0004]但是，在实时通信中，很多设备如笔记本电脑或手机可能只支持单通道录音。即使设备支持立体声录制，RTC应用程序使用的音频编解码器也可能不支持立体声音频。因此，RTC虚拟环境中的音频通常是单声道格式。除了硬件和音频编解码器的限制外，在RTC虚拟环境中，每个音频源的位置都可以是变化的。换句话说，对于单声道音频信号需要一种新的实时空间音频渲染系统，来根据音频源和收听者的实时位置生成立体声音频。
[0005]因此，需要一种在虚拟环境中为收听者生成立体声音频的新型音频渲染系统和方法。实时空间音频渲染系统需要通过来自音频源的单声道音频信号、收听者和音频源的实时虚拟位置以及收听者的实时方位将实时立体声音频信号以最短的时间延迟传送至每一个听众。实时空间音频渲染系统将音频源进行渲染并混合成立体声播放格式以便传送给虚拟房间中的收听者。此外，收听者可以通过立体声音频分辨每个音频源的方向和距离，这使得虚拟RTC环境更接近真实世界的聆听体验。此外，实时空间音频渲染系统还需要生成具有混响效果的立体声音频信号。

技术实现思路

[0006]总体而言，本专利技术提供了一种用于在虚拟环境中对来自单声道的实时空间音频进行渲染的计算机实现方法。该方法由实时空间音频渲染系统内的实时空间音频渲染计算机软件应用程序执行，具体包括：确定是否为渲染单声道音频源集合的空间音频设置了混响效果；确定该单声道音频源集合中的每一个音频源分别相对于收听者在虚拟环境中的动态位置集合；获得一个离散的头部相关脉冲响应(HRIR)集合；将该离散HRIR集合转换为连续HRIR集合；基于该动态位置集合确定该单声道音频源集合内每个单声道音频源的耳间时间差；根据上述耳间时间差修改该连续HRIR，生成修改后的HRIR；对单声道音频源集合内的每
个单声道音频源的音频信号应用增益控制，生成修改后的音频信号；根据修改后的HRIR对修改后的音频信号进行卷积运算，生成单声道音频源集合中每个单声道音频源的空间音频信号；以及，将单声道音频源集合中的所有单声道音频源的空间音频信号进行组合，生成直达声(无混响)音频，该直达声音频可由通信设备播放。空间音频是立体声音频。该方法还包括将直达声音频的电平压缩到目标范围之内以供通信设备播放，其中空间音频是立体声音频。
[0007]在设置混响时，则该方法还包括：根据收听者所在房间的空间尺寸数据和收听者的位置以及上述单声道音频源集合，生成双耳房间脉冲响应(BRIR)；使用BRIR将单声道音频源集合中的每个单声道音频源的音频信号进行卷积运算，生成单声道音频源集合中的每个单声道音频源的混响立体声音频；将单声道音频源集合中的所有单声道音频源的混响立体声音频进行组合，生成组合混响音频；以及，在左声道和右声道均将直达声音频与组合混响音频进行混合，生成最终的空间音频用于在通信设备上播放。
[0008]本专利技术还提供了一种实时空间音频渲染系统，该系统包括在通信设备上运行的实时空间音频渲染计算机软件应用程序。实时空间音频渲染计算机软件应用程序能够：确定是否在渲染单声道音频源集合的空间音频时设置了混响效果；确定该单声道音频源集合中的每一个音频源分别相对于收听者在虚拟环境中的动态位置集合；获得一个离散的头部相关脉冲响应(HRIR)集合；将该离散HRIR集合转换为连续HRIR集合；确定单声道音频源集合内每个单声道音频源的耳间时间差；根据上述耳间时间差修改该连续HRIR，生成修改后的HRIR；对单声道音频源集合中的每个单声道音频源的音频信号应用增益控制，生成修改后的音频信号；根据修改后的HRIR对修改后的音频信号进行卷积运算，生成单声道音频源集合内每个单声道音频源的空间音频信号；以及，将单声道音频源集合内的所有单声道音频源的空间音频信号进行组合，生成直达声音频，该直达声音频可由通信设备播放。在一些实施方案中，空间音频是立体声音频。实时空间音频渲染计算机软件应用程序还可用于将直达声音频的电平压缩到目标范围之内以供通信设备播放。
[0009]在配置混响时，实时空间音频渲染计算机软件应用程序还可：根据收听者所在房间的一组维度数据和收听者的位置以及上述单声道音频源集合，生成双耳房间脉冲响应(BRIR)；使用BRIR将单声道音频源集合中的每个单声道音频源的音频信号进行卷积运算，生成单声道音频源集合中的每个单声道音频源的混响立体声音频；将单声道音频源集合中的所有单声道音频源的混响立体声音频进行组合，生成组合混响音频；以及，在左声道和右声道均将直达声音频与组合混响音频混合，生成最终空间音频用于在通信设备上播放。在进一步的实施方案中，实时空间音频渲染计算机软件应用程序还适用于将最终空间音频的电平压缩到目标范围。
附图说明
[0010]本专利或申请文件包含至少一个彩色附图。专利局将根据需求并在支付相关费用的情况下，提供带有彩色附图的本专利或专利申请的副本。
[0011]在权利要求书中将会特别指出本专利技术的功能特征，同时也可通过参考以下附图及其相关描述来更好地理解本专利技术本身以及本专利技术的构成和使用方法。本专利技术的全部附图也是构成本专利技术的一部分内容，其中相同的附图标记表示相同的部件：
[0012]图1是根据本专利技术实施例所绘制的实时空间音频渲染系统生成空间音频的过程的流程图。
[0013]图2是根据本专利技术实施例所绘制的包含实时空间音频渲染系统的实时通信系统的示例框图。
[0014]图3是根据本专利技术实施例所绘制的包含实时空间音频渲染系统的通信设备的示例框图。
[0015]图4是根据本专利技术实施例所绘制的包含实时空间音频渲染系统的计算机服务器的示例框图。
[0016]图5是根据本专利技术实施例所绘制，展示了计算机空间音频渲染系统将来自一个或多个音频源的单声道格式音频信号渲染成无混响的立体声格式音频这一过程的流程图。
[0017]图6是根据本专利技术实施例所绘制的在虚拟环境中单声道音频源集合相对于收听者及其朝向的动态位置的示意图。
[0018]图7是根据本专利技术实施例所绘制，展示了空间音频渲染系统将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种在虚拟环境中将单声道音频源渲染成实时空间音频的计算机实现方法，所述方法由实时空间音频渲染系统中的实时空间音频渲染计算机软件应用程序执行，并且所述方法包括：1)确定是否在将单声道音频源集合渲染为空间音频时设置了混响效果；2)确定所述单声道音频源集合中的每一个音频源分别相对于收听者在虚拟环境中的动态位置集合；3)获得一个离散HRIR集合；4)将所述离散HRIR集合转换为连续HRIR；5)基于所述动态位置集合，确定所述单声道音频源集合内每个单声道音频源的耳间时间差；6)根据所述耳间时间差修改所述连续HRIR，生成修改后的HRIR；7)对所述单声道音频源集合内的每个单声道音频源的音频信号应用增益控制，生成修改后的音频信号；8)根据所述修改后的HRIR对修改后的音频信号进行卷积运算，生成所述单声道音频源集合中每个单声道音频源的空间音频信号；以及9)将所述单声道音频源集合中的所有单声道音频源的空间音频信号进行组合，生成直达声音频，所述直达声音频可由通信设备播放。2.根据权利要求1所述的方法，还包括将所述直达声音频的电平压缩到目标范围之内以供所述通信设备播放。3.根据权利要求1所述的方法，如果设置了需要混响，所述方法还包括：1)根据收听者所在房间的空间尺寸数据和收听者的位置以及所述单声道音频源集合，生成BRIR；2)使用所述BRIR将所述单声道音频源集合中的每个单声道音频源的音频信号进行卷积运算，生成所述单声道音频源集合中的每个单声道音频源的混响立体声音频；3)将所述单声道音频源集合中的所有单声道音频源的混响立体声音频进行组合，生成组合混响音频；以及4)在左声道和右声道均将所述直达声音频与所述组合混响音频进行混合，生成最终的空间音频用于在所述通信设备上播放。4.根据权利要求3所述的方法，还包括将所述最终的空间音频的电平压缩到目标范围之内。5.根据权利要求1～4任一项所述的方法，其中所述空间音频为立体声音频。6.一种实时空间音频渲染系统，所述系统包括在通信设备上运行...

【专利技术属性】
技术研发人员：冯建元，杭睿翔，
申请(专利权)人：达音网络科技上海有限公司，
类型：发明
国别省市：