【技术实现步骤摘要】
本公开涉及媒体数据的处理，诸如音频数据的处理。
技术介绍
1、近年来，人们对增强现实(ar)、虚拟现实(vr)和混合现实(mr)技术越来越感兴趣。无线空间中图像处理和计算机视觉技术的进步已导致更好的渲染(render)和计算资源分配，以改善这些技术的视觉质量和身临其境的视觉体验。
2、在vr技术中，可以使用头戴式显示器向用户呈现虚拟信息，使得用户可以在他们眼前的屏幕上从视觉上体验人造世界。在ar技术中，通过附加或叠加在现实世界中的物理对象上的视觉对象来增强现实世界。增强可以将新的视觉对象插入到现实世界环境中，或用视觉对象掩饰现实世界环境。在mr技术中，很难分辨出现实或合成/虚拟和用户的视觉体验之间的界限。
技术实现思路
1、本公开总体上涉及以计算机为媒介的现实系统的用户体验的听觉方面，包含虚拟现实(vr)、混合现实(mr)、增强现实(ar)、计算机视觉和图形系统。更具体地，该技术可以使得能够在支持少于五个自由度的设备或系统上渲染用于vr、mr、ar等的音频数据，该音频数据占五个或更多个自由度。作为一个示例，在头部运动方面或在支持零个自由度的设备或系统上，该技术可以使得能够在仅支持三自个由度(偏航、俯仰和翻滚)的设备或系统上渲染占六个自由度(空间中的偏航、俯仰和翻滚加上用户的x、y和z平移)的音频数据。
2、在一个示例中，一种设备包括：存储器，其被配置为存储表示在多个捕获位置捕获的声场的音频数据、使音频数据能够被渲染以支持n个自由度的元数据、以及使音频数据能够
3、在另一个示例中，一种方法包括：存储表示在多个捕获位置捕获的声场的音频数据；存储使音频数据能够被渲染以支持n个自由度的元数据；存储使音频数据能够被渲染以支持m个自由度的适配元数据，其中n是第一整数，m是不同于第一整数的第二整数；基于适配元数据，适配音频数据以提供m个自由度；以及基于适配的音频数据生成扬声器馈送。
4、在又一个示例中，一种设备包括：用于存储表示在多个捕获位置捕获的声场的音频数据的部件；用于存储使音频数据能够被渲染以支持n个自由度的元数据的部件；用于存储使音频数据能够被渲染以支持m个自由度的适配元数据的部件，其中n是第一整数，m是不同于第一整数的第二整数；用于基于该适配元数据，适配音频数据以提供m个自由度的部件；以及用于基于适配的音频数据生成扬声器馈送的部件。
5、在附图和以下说明书中将详细阐述本公开的一个或多个示例。根据说明书和附图以及权利要求书，该技术的各个方面的其他特征、目的和优点将是显而易见的。
本文档来自技高网...【技术保护点】
1.一种设备，包括：
2.根据权利要求1所述的设备，其中，N等于6并且M小于N。
3.根据权利要求1所述的设备，还包括被配置为显示多个用户位置或轨迹的显示设备。
4.根据权利要求1所述的设备，其中，为了确定所述用户位置，所述一个或多个处理器被配置为：
5.根据权利要求2所述的设备，其中，所述6个自由度包括在二维空间坐标空间或三维空间坐标空间中限定的偏航、俯仰、翻滚和平移距离。
6.根据权利要求1所述的设备，其中，所述适配元数据包括所述用户位置和用户方位，并且其中，所述一个或多个处理器被配置为基于所述用户位置和所述用户方位来适配所述音频数据以提供零个自由度。
7.根据权利要求1所述的设备，其中，所述适配元数据包括所述用户位置，并且其中，所述一个或多个处理器被配置为：
8.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为将所述用户位置作为所述适配元数据存储到所述存储器。
9.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为获得指定所述适配元数据的比特流，所述适配
10.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为获得指示与所述设备接口连接的用户的旋转头部运动的旋转指示，并且其中，所述一个或多个处理器还被配置为基于所述旋转指示和所述适配元数据来适配所述音频数据以提供三个自由度。
11.根据权利要求1所述的设备，其中，所述一个或多个处理器耦接到可穿戴设备的扬声器，其中，所述一个或多个处理器被配置为将双耳渲染器应用于适配的更高阶立体混响声音频数据以生成所述扬声器馈送，并且其中，所述一个或多个处理器还被配置为将所述扬声器馈送输出到所述扬声器。
12.根据权利要求1所述的设备，其中，所述音频数据包括与具有一阶或更低阶的球基函数相关联的更高阶立体混响声系数、与具有混合阶和子阶的球基函数相关联的更高阶立体混响声系数、或者与具有大于一的阶数的球基函数相关联的更高阶立体混响声系数。
13.根据权利要求1所述的设备，其中，所述音频数据包括一个或多个音频对象。
14.根据权利要求1所述的设备，还包括：
15.根据权利要求1所述的设备，其中，所述一个或多个处理器包括处理电路。
16.根据权利要求15所述的设备，其中，所述处理电路包括一个或多个专用集成电路。
17.根据权利要求7所述的设备，其中，所述M个自由度包括三个自由度，所述三个自由度包括偏航、俯仰和翻滚。
18.根据权利要求7所述的设备，其中，M等于0。
19.根据权利要求7所述的设备，其中，所述一个或多个处理器还被配置为将所述效果矩阵乘以渲染矩阵以获得更新的渲染矩阵，并且其中，所述一个或多个处理器还被配置为将所述更新的渲染矩阵应用于所述音频数据以：
20.根据权利要求11所述的设备，其中，所述可穿戴设备包括手表、眼镜、耳机、增强现实(AR)头戴式耳机、虚拟现实(VR)头戴式耳机或扩展现实(XR)头戴式耳机。
21.根据权利要求1所述的设备，其中，所述设备是车辆、机器人或手机中的一个。
22.一种方法，包括：
23.一种设备，包括：
...【技术特征摘要】
1.一种设备，包括：
2.根据权利要求1所述的设备，其中，n等于6并且m小于n。
3.根据权利要求1所述的设备，还包括被配置为显示多个用户位置或轨迹的显示设备。
4.根据权利要求1所述的设备，其中，为了确定所述用户位置，所述一个或多个处理器被配置为：
5.根据权利要求2所述的设备，其中，所述6个自由度包括在二维空间坐标空间或三维空间坐标空间中限定的偏航、俯仰、翻滚和平移距离。
6.根据权利要求1所述的设备，其中，所述适配元数据包括所述用户位置和用户方位，并且其中，所述一个或多个处理器被配置为基于所述用户位置和所述用户方位来适配所述音频数据以提供零个自由度。
7.根据权利要求1所述的设备，其中，所述适配元数据包括所述用户位置，并且其中，所述一个或多个处理器被配置为：
8.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为将所述用户位置作为所述适配元数据存储到所述存储器。
9.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为获得指定所述适配元数据的比特流，所述适配元数据包括与所述音频数据相关联的所述用户位置。
10.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为获得指示与所述设备接口连接的用户的旋转头部运动的旋转指示，并且其中，所述一个或多个处理器还被配置为基于所述旋转指示和所述适配元数据来适配所述音频数据以提供三个自由度。
11.根据权利要求1所述的设备，其中，所述一个或多个处理器耦接到可穿戴设备的扬声器，其中，所述一个或多个处理器被配置为将双耳渲染...
【专利技术属性】
技术研发人员：M·Y·金，N·G·彼得斯，S·M·A·萨莱辛，S·G·斯瓦米纳坦，D·森，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。