声场调整制造技术

一种设备，包括一个或多个处理器，其被配置为经由无线传输从回放设备接收与回放设备的姿态相关联的数据。一个或多个处理器还被配置为基于该数据从声场的多个表示中选择声场的特定表示。声场的每个相应表示对应于扇区集合中的不同扇区。扇区表示与回放设备的移动相关联的值的范围。一个或多个处理器还被配置为生成对应于声场的所选择的表示的音频数据。一个或多个处理器还被配置为经由无线传输将音频数据作为流式数据向回放设备发送。频数据作为流式数据向回放设备发送。频数据作为流式数据向回放设备发送。

【技术实现步骤摘要】
【国外来华专利技术】声场调整
[0001]相关申请的交叉引用
[0002]本申请要求所共有的2020年6月29日提交的临时专利申请第63/045,297号；2020年7月17日提交的临时专利申请第63/053,331号；以及2021年6月28日提交的美国非临时专利申请第17/360,950号的优先权权益，其中每个专利申请的内容通过引用全部明确并入本文。


[0003]本公开大体上涉及调整声场。

技术介绍

[0004]技术的进步已经导致了更小和更强大的计算设备。例如，目前存在各种便携式个人计算设备，包括诸如移动和智能电话的无线电话、平板电脑和膝上型计算机，它们小巧、重量轻且易于用户携带。这些设备可以通过无线网络传送语音和数据分组。此外，很多这样的设备合并了附加功能，诸如数码相机、数字摄像机、数字记录器和音频文件播放器。而且，这种设备可以处理可执行指令，包括可用于访问互联网的软件应用程序(诸如网络浏览器应用程序)。因此，这些设备可以包括显著的计算能力。
[0005]这种设备的一个应用包括向用户提供无线沉浸式音频。作为示例，用户佩戴的耳机设备可以从远程服务器接收流式(streaming)音频数据以向用户回放。为了说明，耳机设备检测用户头部的旋转并向远程服务器发送头部跟踪信息。远程服务器基于头部跟踪信息更新音频场景，基于更新后的音频场景生成双耳音频数据，并向耳机设备发送双耳音频数据以向用户回放。
[0006]在远程服务器处执行音频场景更新和双耳音频化使用户能够经由具有相对有限的处理资源的耳机设备来体验沉浸式的音频体验。然而，由于与向远程服务器发送头部跟踪信息、基于头部旋转更新音频数据以及向耳机设备发送更新后的双耳音频数据相关联的时延，这样的系统会导致不自然的高的运动到声音(motion
‑
to
‑
sound)时延。换句话说，用户头部的旋转与在用户耳朵处播放的对应修改后的空间音频之间的时间延迟可能不自然地长，这可能降低用户的体验。

技术实现思路

[0007]根据本文公开的技术的特定实现，一种设备包括被配置为从音频源获取声音信息的一个或多个处理器。一个或多个处理器还被配置为基于与回放设备相关联的时延标准来选择压缩模式或旁路模式，在压缩模式下，声音信息的表示在传输到回放设备之前被压缩，在旁路模式下，声音信息的表示在传输到回放设备之前不被压缩。一个或多个处理器还被配置为生成音频数据，该音频数据基于压缩模式或旁路模式中的所选择的一个而包括声音信息的压缩表示或者声音信息的未压缩表示。一个或多个处理器还被配置为经由无线传输将音频数据作为流式数据向回放设备发送。
[0008]根据本文公开的技术的特定实现，一种方法包括：从音频源获取音频信息，以及基于与回放设备相关联的时延标准来选择压缩模式或旁路模式，在压缩模式下，声音信息的表示在传输到回放设备之前被压缩，在旁路模式下，声音信息的表示在传输到回放设备之前不被压缩。该方法还包括生成音频数据，该音频数据基于压缩模式或旁路模式中的所选择的一个而包括声音信息的压缩表示或者声音信息的未压缩表示。该方法还包括经由无线传输将音频数据作为流式数据向回放设备发送。
[0009]根据本文公开的技术的特定实现，一种设备包括用于从音频源获取声音信息的部件。该装置还包括用于基于与回放设备相关联的时延标准来选择压缩模式或旁路模式的部件，在压缩模式下，声音信息的表示在传输到回放设备之前被压缩，在旁路模式下，声音信息的表示在传输到回放设备之前不被压缩。该装置还包括用于生成音频数据的部件，该音频数据基于压缩模式或旁路模式中的所选择的一个而包括声音信息的压缩表示或者声音信息的未压缩表示。该装置还包括用于经由无线传输将音频数据作为流式数据向回放设备发送的部件。
[0010]根据本文公开的技术的特定实现，一种包括指令的非暂时性计算机可读介质，该指令在由一个或多个处理器执行时，使一个或多个处理器从音频源获得声音信息。该指令在被执行时还使一个或多个处理器基于与回放设备相关联的时延标准来选择压缩模式或旁路模式，在压缩模式下，声音信息的表示在传输到回放设备之前被压缩，在旁路模式下，声音信息的表示在传输到回放设备之前不被压缩。该指令在被执行时还使一个或多个处理器生成音频数据，该音频数据基于压缩模式或旁路模式中的所选择的一个而包括声音信息的压缩表示或者声音信息的未压缩表示。该指令在被执行时还使一个或多个处理器经由无线传输将音频数据作为流式数据向回放设备发送。
[0011]根据本文公开的技术的另一特定实现，一种设备包括一个或多个处理器，其被配置为经由无线传输从回放设备接收与回放设备的姿态相关联的数据。一个或多个处理器还被配置为基于该数据从声场的多个表示中选择声场的特定表示。声场的每个相应表示对应于扇区集合中的不同扇区。扇区表示与回放设备的移动相关联的值的范围。一个或多个处理器还被配置为生成对应于声场的所选择的表示的音频数据。一个或多个处理器还被配置为经由无线传输将音频数据作为流式数据向回放设备发送。
[0012]根据本文公开的技术的另一特定实现，一种方法包括在设备处经由无线传输从回放设备接收与回放设备的姿态相关联的数据。该方法还包括基于该数据从声场的多个表示中选择声场的特定表示。声场的每个相应表示对应于扇区集合中的不同扇区。扇区表示与回放设备的移动相关联的值的范围。该方法还包括在设备处生成对应于声场的所选择的表示的音频数据。该方法还包括经由无线传输将音频数据作为流式数据从设备向回放设备发送。
[0013]根据本文公开的技术的另一特定实现，一种非暂时性计算机可读存储介质存储指令，该指令在由一个或多个处理器执行时，使得一个或多个处理器经由无线传输从回放设备接收与回放设备的姿态相关联的数据。该指令在由一个或多个处理器执行时还使一个或多个处理器基于该数据从声场的多个表示中选择声场的特定表示。声场的每个相应表示对应于扇区集合中的不同扇区。扇区表示与回放设备的移动相关联的值的范围。该指令在由一个或多个处理器执行时还使一个或多个处理器生成对应于声场的所选择的表示的音频
数据。该指令在由一个或多个处理器执行时还使一个或多个处理器经由无线传输将音频数据作为流式数据向回放设备发送。
[0014]根据本文公开的技术的另一特定实现，一种装置包括用于经由无线传输从回放设备接收与回放设备的姿态相关联的数据的部件。该装置还包括用于基于该数据从声场的多个表示中选择声场的特定表示的部件。声场的每个相应表示对应于扇区集合中的不同扇区。扇区表示与回放设备的移动相关联的值的范围。该装置还包括用于生成对应于声场的所选择的表示的音频数据的部件。该装置还包括用于经由无线传输将音频数据作为流式数据向回放设备发送的部件。
[0015]根据本文公开的技术的另一特定实现，设备包括一个或多个处理器，其被配置为经由无线传输从流式设备接收表示声场的经编码的全景声(ambisonics)音频数据。该一个或多个处理器还被配置为执行对全景声音频数据的解码以生成经解码的全景声音频数据。全景声音频数据的解码包括经编本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种设备，包括：一个或多个处理器，其被配置为：经由无线传输从回放设备接收与所述回放设备的姿态相关联的数据；基于所述数据从声场的多个表示中选择所述声场的特定表示，所述声场的每个相应表示对应于扇区集合中的不同扇区，其中，扇区表示与所述回放设备的移动相关联的值的范围；生成对应于所述声场的所选择的表示的音频数据；以及经由无线传输将所述音频数据作为流式数据向所述回放设备发送。2.根据权利要求1所述的设备，其中，所述声场的所述多个表示包括全景声数据。3.根据权利要求1所述的设备，其中，所述声场的所述多个表示包括预旋转声场。4.根据权利要求1所述的设备，其中，所述声场的所述多个表示包括预渲染立体声数据。5.根据权利要求1所述的设备，其中，所述一个或多个处理器被配置为基于所述回放设备的预测姿态来选择所述特定表示。6.根据权利要求5所述的设备，其中，所述一个或多个处理器被配置为基于从所述回放设备接收的姿态数据的时间序列来确定所述预测姿态。7.根据权利要求5所述的设备，其中，所述一个或多个处理器被配置为从所述回放设备接收所述预测姿态。8.根据权利要求1所述的设备，其中，所述一个或多个处理器被配置为：进一步基于所述回放设备的参考姿态来选择所述特定表示；以及基于所述回放设备的姿态更新所述参考姿态。9.根据权利要求8所述的设备，其中，所述一个或多个处理器被配置为基于接收到参考重置指令来更新所述参考姿态。10.根据权利要求1所述的设备，其中，所述一个或多个处理器被配置为基于所述回放设备的方位的改变超过阈值，选择所述声场的所述特定表示以具有与所述声场的先前表示的音频格式不同的音频格式。11.根据权利要求1所述的设备，其中，所述扇区集合中的扇区包括对应于重叠视口视场的重叠扇区。12.根据权利要求1所述的设备，其中，所述扇区集合中的扇区是非重叠扇区。13.根据权利要求1所述的设备，其中，所选择的表示对应于与第一扇区对应的所述声场的第一表示，并且其中，所述一个或多个处理器还被配置为：从所述回放设备接收与所述回放设备的第二姿态相关联的第二数据；基于所述第二数据，从所述声场的所述多个表示中选择所述声场的第二表示，所述第二表示对应于所述集合中的第二扇区，其中，所述第二扇区部分地与所述第一扇区重叠；生成对应于所述声场的所述第二表示的第二音频数据；以及经由无线传输将所述第二音频数据向所述回放设备发送。14.根据权利要求1所述的设备，其中，所选择的表示对应于与第一扇区对应的所述声场的第一表示，并且其中，所述一个或多个处理器还被配置为：从所述回放设备接收与所述回放设备的第二姿态相关联的第二数据；
基于所述第二数据，从所述声场的所述多个表示中选择所述声场的第二表示，所述第二表示对应于所述声场的平移；生成对应于所述声场的所述第二表示的第二音频数据；以及经由无线传输将所述第二音频数据向所述回放设备发送。15.根据权利...

【专利技术属性】
技术研发人员：A谢夫西夫，NG彼得斯，IG穆诺茨，V梅尔科特克里什纳普拉萨德，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：