动态改变音频特性制造技术

对象可表示播放音频的计算机应用程序。与该音频相关联的音频参数可基于该对象的大小来确定，使得当该对象大时，该音频听起来像它源自一个或多个大声源。当该对象小时，这些音频参数被确定成使得该音频听起来像它源自小声源。也描述了其他方面。也描述了其他方面。也描述了其他方面。

【技术实现步骤摘要】
【国外来华专利技术】动态改变音频特性
[0001]交叉引用
[0002]本申请要求2020年9月1日提交的美国临时申请号63/073,175和2021年4月9日提交的美国临时申请号63/172,963的权益。


[0003]本公开的一个方面涉及动态地改变与应用程序相关联的音频特性。

技术介绍

[0004]包括移动设备或其他电子系统的计算机系统可运行向用户播放音频的一个或多个应用程序。例如，计算机可启动在运行时间期间向用户播放来自电影的声音的电影播放器应用程序。诸如视频呼叫、电话呼叫、警报等的其他应用程序可与音频回放相关联。
[0005]操作系统可向用户呈现向用户示出一个或多个对象的用户接口或显示器，其中该对象(例如，图标、窗口、图片、动画图形等)表示应用程序。例如，电影播放器应用程序可在允许用户观看和控制回放的“窗口”中播放。操作系统可在给定时间管理多个应用程序。

技术实现思路

[0006]可实施系统级规则以基于对象的大小来调整应用程序的音频参数。该对象(例如，图标、窗口、图片、动画图形等)可表示底层应用程序。该对象可呈现在2D显示器上，或者作为虚拟对象呈现在扩展现实(XR)环境中。
[0007]此外，与该应用程序相关联的音频可进行空间渲染，使得该对象表示一个或多个声源。例如，如果示出电影的媒体播放器窗口被呈现给用户，并且该媒体播放器窗口被示出为小窗口，那么这些音频参数可被确定成使得与该媒体播放器窗口相关联的音频(例如，电影音轨)被渲染以便被感知为源自小源。如果用户将该媒体播放器窗口的大小调整为更大，那么动态地调整音频参数以反映该窗口的大小。在这种情况下，该电影音频可听起来像它源自更大、更复杂或雄伟的声源。基于对象大小来确定的音频参数可包括例如动态范围、指向性图案、频率响应、声音功率和/或其他音频参数。
[0008]在一些方面，描述了一种方法、执行该方法的系统或计算设备。该方法包括保持与一个或多个应用程序相关联的元数据。该元数据指定与该应用程序相关联的对象(例如，图标、窗口、图片、计算机生成的图形、动画和/或其他对象)的大小。该对象例如在显示器上被呈现给用户。基于该对象的大小，确定或修改一个或多个音频参数。音频参数可包括以下项中的至少一项：动态范围、指向性图案、频率响应、声音功率、频率范围、音高、音色、输出音频通道的数目和回响。
[0009]该音频参数可应用于渲染和/或混合与该应用程序相关联的音频。以此方式，向用户示出的看似大的对象也可听起来好像它们是大的(例如，多个声源、大动态范围、低音等)。相反，向用户示出的微小的对象可听起来微小(例如，单点源、小动态范围等)。通过实施这些规则，模仿对象的真实世界声学行为来保持似真性。用户还可重新设定对象的大小
以使它们听起来“更大”或“更小”。这些系统级规则可在操作系统级实施。在一些方面，这些规则可同时在多个应用程序上实施。
[0010]以上概述不包括本公开的所有方面的详尽列表。可预期的是，本公开包括可由上文概述的各个方面以及在下文的具体实施方式中公开并且在权利要求书部分特别指出的各个方面的所有合适的组合来实践的所有系统和方法。此类组合可具有未在上述
技术实现思路
中具体阐述的特定优点。
附图说明
[0011]本公开的各方面以举例的方式进行说明，而不仅限于各个附图的图示，在附图中类似的附图标号指示类似的元件。应当指出的是，在本公开中提到“一”或“一个”方面未必是同一方面，并且其意指至少一个。另外，为了简洁以及减少附图的总数，可使用给定附图示出本公开的不止一个方面的特征部，并且对于给定方面，可能并非需要该附图中的所有元件。
[0012]图1示出了根据一些方面的用于利用动态音频参数渲染音频的方法。
[0013]图2示出了根据一些方面的用于利用动态音频参数渲染音频的操作系统工作流程。
[0014]图3和图4示出了根据一些方面的基于对象的大小的音频调整。
[0015]图5示出了根据一些方面的显示器上的表示应用程序和声源的对象的示例。
[0016]图6示出了指向性图案的示例。
[0017]图7示出了动态范围的示例。
[0018]图8示出了频率控制的示例。
[0019]图9示出了根据一些方面的示例性音频处理系统。
[0020]图10示出了根据一些方面的基于声源的模型来生成声音的示例。
具体实施方式
[0021]现在将参考所附附图来解释本公开的各方面。每当所描述的部件的形状、相对位置和其它方面未明确限定时，本专利技术的范围并不仅局限于所示出的部件，所示出的部件仅用于例证的目的。另外，虽然阐述了许多细节，但应当理解，本公开的一些方面可在没有这些细节的情况下被实施。在其他情况下，未详细示出熟知的电路、算法、结构和技术，以免模糊对该描述的理解。
[0022]人可以在不借助于电子设备的情况下与物理环境或物理世界交互以及/或者感知物理环境或物理世界。物理环境可包括物理特征，诸如物理对象或表面。物理环境的示例是包括物理植物和动物的物理森林。人可以通过各种手段(诸如听觉、视觉、味觉、触觉和嗅觉)直接感知物理环境以及/或者与物理环境交互。相比之下，人可以使用电子设备与完全或部分模拟的扩展现实(XR)环境交互以及/或者感知该扩展现实环境。该XR环境可以包括混合现实(MR)内容、增强现实(AR)内容、虚拟现实(VR)内容等等。利用XR系统，人的物理运动或其表示的一些可被跟踪，并且作为响应，能够以符合至少一个物理定律的方式调节在XR环境中模拟的虚拟对象的特征。例如，该XR系统可以检测用户头部的移动，并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。又如，
该XR系统可以检测呈现XR环境的电子设备(例如，移动电话、平板电脑、膝上型电脑等)的移动，并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。在一些情形中，该XR系统可以响应于诸如物理运动的表示的其他输入(例如，语音命令)而调节图形内容的特征。
[0023]许多不同类型的电子系统可以使用户能够与XR环境交互和/或感知XR环境。示例的非排他性列表包括抬头显示器(HUD)、头戴式系统、基于投影的系统、具有集成显示能力的窗户或车辆挡风玻璃、形成为放置于用户眼睛上的透镜的显示器(例如，接触镜片)、头戴式受话器/耳机、具有触觉反馈或不具有触觉反馈的输入系统(例如，可穿戴或手持式控制器)、扬声器阵列、智能电话、平板电脑和台式计算机/膝上型计算机。头戴式系统可具有不透明显示器和一个或多个扬声器。其它头戴式系统可被配置为接受不透明外部显示器(例如，智能电话)。头戴式系统可包括用于捕获物理环境的图像或视频的一个或多个图像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可具有媒介，光通过该媒介被引导到用户的眼睛。显示器可利用各种显示技术，例如uLED、OLED、LED、硅基液晶、激光扫描光源、本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由计算设备执行的方法，包括：保持与在所述计算设备上运行的应用程序相关联的元数据，所述元数据包括与所述应用程序相关联的对象的大小；呈现与所述应用程序相关联的所述对象；以及基于所述对象的所述大小，确定应用于渲染与所述应用程序相关联的音频的一个或多个音频参数，所述一个或多个音频参数包括动态范围。2.根据权利要求1所述的方法，还包括：在所述对象的所述大小增大的情况下增大所述动态范围，以及在所述对象的所述大小减小的情况下减小所述动态范围。3.根据权利要求1
‑
2中任一项所述的方法，其中确定所述动态范围包括：基于与所述对象相关联的声源的模型来生成音频滤波器。4.根据权利要求3所述的方法，其中所述模型的大小或几何形状基于所述对象的大小或几何形状来确定。5.根据权利要求3
‑
4中任一项所述的方法，还包括：响应于所述对象的所述大小或所述几何形状的变化来修改所述模型的所述大小或所述几何形状。6.根据权利要求3
‑
5中任一项所述的方法，其中所述模型的一个或多个部分在确定所述动态范围的模拟中辐射声学能量，所述音频滤波器是从所述声学能量生成的。7.根据权利要求3
‑
6中任一项所述的方法，其中所述音频滤波器包括与直接声音相关联的第一滤波器、与早期反射相关联的第二滤波器和与回响相关联的第三滤波器，所述第一滤波器、所述第二滤波器和所述第三滤波器应用于所述音频以渲染所述音频。8.根据权利要求3
‑
7中任一项所述的方法，包括：基于用户输入来修改所述模型的几何属性，从而导致基于所述模型的所修改的几何属性来生成第二音频滤波器。9.根据权利要求1
‑
8中任一项所述的方法，其中所述一个或多个音频参数还包括以下项中的至少一项：指向性图案、频率响应、声音功率、频率范围、音高、音色、输出音频通道的数目和回响。10.根据权利要求9所述的方法，还包括：在所述对象的所述大小被修改的情况下修改所述一个或多个音频参数中的至少一个音频参数。11.根据权利要求1
‑
10中任一项所述的方法，其中所述对象通过增强现实、混合现实或虚拟现实显示器来呈现。12.根据权利要求1
‑
10中任一项所述的方法，其中所述对象通过二维显示器来呈现。13.根据权利要求1
‑
12中任一项所述的方法，其中所述动态范围的应用与用于渲染与所述应用程序相关联的音频的用户控制的音频设置无关。14.根据权利要求1
‑
13中任一项所述的方法，其中所述方法由所述计算设备的操作系统(OS)执行，并且所述应用程序是由所述OS管理的多个应用程序中的一个应用程序，所述多个应用程序中的每个应用程序与包括对应对象的对应大小的对应元数据相关联。15.根据权利要求14所述的方法，其中基于所述对应对象的所述对应大小，与所述多个应用程序中的对应应用程序相关联的音频参数被确定并且应用于渲染与所述多个应用程序中的所述对应应用程序相关联的音频。16.根据权利要求1
‑
15中任一项所述的方法，其中基于所述对象的所述大小来确定或修改所述动态范围或其他音频参数视所述应用程序的分类而定，所述分类包括以下项中的
至少一项：媒体、通信和实用。17.一种由计算设备执行的方法，包括：保持与在所述计算设备上运行的应用程序相关联的元数据，所述元数据包括与所述应用程序相关联的对象的大小；呈现与所述应用程序相关联的所述对象；以及基于所述对象的所述大小，确定应用于渲染与所述应用程序相关联的音频的一个或多个音频参数，所述一个或多个音频参数包括指向性图案。18.根据权利要求17所述的方法，还包括：在所述对象的所述大小被修改的情况下改变所述指向性图案的形状，包括在所述对象的所述大小增大的情况下增大所述指向性图案的指向性，以及在所述对象的所述大小减小的情况下减小所述指向性图案的所述指向性。19.根据权利要求17
‑
18中任一项所述的方法，其中确定所述指向性图案包括：基于与所述对象相关联的声源的模型来生成音频滤波器。20.根据权利要求19所述的方法，其中所述模型的大小或几何形状基于所述对象的大小或几何形状来确定。21.根据权利要求19
‑
20中任一项所述的方法，还包括：响应于所述对象的所述大小或所述几何形状的变化来修改所述模型的所述大小或所述几何形状。22.根据权利要求19
‑
21中任一项所述的方法，其中所述模型的一个或多个部分辐射声学能量以形成所述指向性图案，所述音频滤波器是从所述指向性图案生成的。23.根据权利要求19
‑
22中任一项所述的方法，其中所述音频滤波器包括与直接声音相关联的第一滤波器、与早期反射相关联的第二滤波器和与回响相关联的第三滤波器，所述第一滤波器、所述第二滤波器和所述第三滤波器应用于所述音频以渲染所述音频。24.根据权利要求19
‑
23中任一项所述的方法，包括：基于用户输入来修改所述模型的几何属性，从而导致基于所述模型的所修改的几何属性来生成第二音频滤波器。25.根据权利要求17
‑
24中任一项所述的方法，其中所述一个或多个音频参数还包括以下项中的至少一项：动态范围、频率响应、声音功率、频率范围、音高、音色、输出音频通道的数目和回响。26.根据权利要求25所述的方法，还包括：在所述对象的所述大小被修改的情况下修改所述一个或多个音频参数中的至少一个音频参数。27.根据权利要求17
‑
26中任一项所述的方法，其中所述对象通过增强现实、混合现实或虚拟现实显示器来呈现。28.根据权利要求17
‑
26中任一项所述的方法，其中所述对象通过二维显示器来呈现。29.根据权利要求17
‑
28中任一项所述的方法，其中所述指向性图案的应用与用于渲染与所述应用程序相关联的音频的用户控制的音频设置无关。30.根据权利要求17
‑
29中任一项所述的方法，其中所述方法由所述计算设备的操作系统(OS)执行，并且所述应用程序是由所述OS管理的多个应用程序中的一个应用程序，所述多个应用程序中的每个应用程序与包括对应对象的对应大小的对应元数据相关联。31.根据权利要求30所述的方法，其中基于所述对应对象的所述对应大小，与所述多个应用程序中的对应应用程序相关联的音频参数被确定并且应用于渲染与所述多个应用程序中的所述对应应用程序相关联的音频。
32.根据权利要求17
‑
31中任一项所述的方法，其中基于所述对象的所述大小来确定或修改所述指向性图案或其他音频参数视所述应用程序的分类而定，所述分类包括以下项中的至少一项：媒体、通信和实用。33.一种由计算设备执行的方法，包括：保持与在所述计算设备上运行的应用程序相关联的元数据，所述元数据包括与所述应用程序相关联的对象的大小；呈现与所述应用程序相关联的所述对象；以及基于所述对象的所述大小，确定应用于渲染与所述应用程序相关联的音频的多个音频参数中的至少一个音频参数，所述至少一个音频参数包括频率响应。34.根据权利要求33所述的方法，还包括：在所述对象的所述大小被修改的情况下改变所述频率响应，使得在所述对象的所述大小减小的情况下升高所述音频的低频截止值，并且在所述对象的所述大小增大的情况下降低所述音频的所述低频截止值。35.根据权利要求33
‑
34中任一项所述的方法，其中确定所述频率响应包括基于与所述对象相关联的声源的模型来生成音频滤波器。36.根据权利要求35所述的方法，其中所述模型的大小或几何形状基于所述对象的大小或几何形状来确定。37.根据权利要求35
‑
36中任一项所述的方法，还包括：响应于所述对象的所述大小或所述几何形状的变化来修改所述模型的所述大小或所...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：苹果公司，
类型：发明
国别省市：