音频文件的头部姿势混合制造技术

本发明专利技术涉及音频文件的头部姿势混合。描述了能够向显示设备的用户呈现音频文件的听觉或视觉表示的可穿戴设备的示例，其中音频文件包括表示音频文件的不同音频内容的多个干音轨。描述如下的系统和方法：确定用户的姿势；基于用户的姿势来生成音频文件的多个干音轨中的至少一个干音轨的音频混合；基于用户的姿势和音频混合来生成音频混合的可视化；将表示音频混合的音频信号传送给扬声器；并将表示音频混合的可视化的视觉信号传送给显示器。混合的可视化的视觉信号传送给显示器。混合的可视化的视觉信号传送给显示器。

【技术实现步骤摘要】
音频文件的头部姿势混合
[0001]本申请是申请日为2016年9月13日、PCT国际申请号为 PCT/US2016/051521、中国国家阶段申请号为201680066714.X、专利技术名称 为“音频文件的头部姿势混合”的申请的分案申请。
[0002]相关申请的交叉引用
[0003]本申请根据35USC
§
119(e)要求2015年9月16日提交的美国临时 申请No.62/219,604题为“音频文件的头部姿势混合(HEAD POSEMIXING OF AUDIO FILES)”和2016年1月29日提交的美国临时申请 No.62/289,085题为“音频文件的头部姿势混合(HEAD POSE MIXING OFAUDIO FILES”的优先权权益。两个临时申请的全部内容通过引用全部并 入在此。


[0004]本公开涉及虚拟现实和增强现实成像和可视化系统，尤其涉及基于用 户姿势来混合音频文件的系统。

技术介绍

[0005]现代计算和显示技术促进了用于所谓的“虚拟现实”、“增强现实”或“混 合现实”体验的系统的开发，其中数字再现的图像或其部分以其看起来似乎 是或可能被认为是真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及 数字或虚拟图像信息的呈现，而不透明于其它实际的真实世界的视觉输入； 增强现实或“AR”情景通常涉及将数字或虚拟图像信息呈现为对用户周围 的现实世界的可视化的增强；混合现实或“MR”，其与真实世界和虚拟世 界合并在一起，以产生物理对象和虚拟对象共存并实时交互的新的环境。 事实证明，人类的视觉感知系统非常复杂，开发促进虚拟图像元素在其它 虚拟或现实世界图像元素中的舒适的、感觉自然的、丰富的呈现的VR、 AR或MR技术是有挑战性的。在此公开的系统和方法解决了与VR、AR 和MR技术有关的各种挑战。

技术实现思路

[0006]描述了能够向显示设备的用户呈现音频文件的可听或可视表示的可穿 戴设备的示例。音频文件包括表示音频文件的不同音频内容的多个干音轨。
[0007]可穿戴设备的一个实施例包括：非瞬态存储器，其被配置为存储包括 多个干音轨的音频文件，其中每个干音轨表示音频文件的不同音频内容； 传感器，其被配置为测量与可穿戴设备的用户的姿势相关联的信息；显示 器，其被配置为将图像呈现给可穿戴设备的用户的眼睛；扬声器，其被配 置为向可穿戴设备的用户呈现声音；以及与非瞬态存储器、传感器、扬声 器以及显示器通信的处理器。处理器编程有可执行指令从而：确定用户的 姿势；至少部分地基于用户的姿势生成音频文件的多个干音轨中的至少一 个干音轨的音频混合；至少部分地基于用户的姿势和音频混合来生成音频 混合的可视化；将表示音频混合的音频信号传送给扬声器；并将表示音频 混合的可视化的视觉信号传送给显示器。
[0008]另一方面，描述了用于与增强现实对象进行交互的方法。该方法在硬 件计算机处理器的控制下执行。该方法包括生成供可穿戴系统的用户进行 交互的增强现实对象；在用户与界面交互时检测用户的手势；将检测到的 手势与对增强现实对象的特征的修改相关联；以及根据对增强现实对象的 特征的修改来修改增强现实对象。可穿戴系统可以包括执行用于与增强现 实对象交互的方法的处理器。
[0009]在附图和以下描述中阐述本说明书中描述的主题的一个或多个实施方 式的细节。根据说明书、附图以及权利要求将清楚其它特征、方面和优势。 该概述和以下详细的描述都不旨在限定或限制本专利技术主题的范围。
附图说明
[0010]图1描绘了具有某些虚拟现实对象以及由人看到的某些物理对象的混 合现实场景的示意图。
[0011]图2示意性示出了可穿戴系统的示例。
[0012]图3示意性示出了使用多个深度平面来模拟三维图像的方法的方面。
[0013]图4示意性示出了用于向用户输出图像信息的波导堆叠的示例。
[0014]图5示出了可以由波导输出的示例出射光束。
[0015]图6是示出包括波导装置、将光光耦合到波导装置或从波导装置光耦 合光的光耦合器子系统、以及控制子系统的光学系统的示意图，该光学系 统用于生成多焦点立体显示器、图像或光领域。
[0016]图7是可穿戴系统的示例的框图。
[0017]图8是渲染与识别的对象相关的虚拟内容的方法的示例的过程流程 图。
[0018]图9是可穿戴系统的另一示例的框图。
[0019]图10是用于确定到可穿戴系统的用户输入的方法的示例的过程流程 图。
[0020]图11是用于与虚拟用户界面进行交互的方法的示例的过程流程图。
[0021]图12
‑
14示意性示出了向可穿戴系统的用户呈现音频文件的多个流轨 道的可视化的用户界面的示例，其中音频文件至少部分地基于用户的姿势 被动态地混合。
[0022]图15示出了在用户环境中的不同深度处显示不同视觉图形的3D用户 界面的示例。
[0023]图16A和图16B示出了声源的方向性的示例。
[0024]图17示出了创建声音拼贴效果的示例。
[0025]图18示出了视觉和听觉上呈现音频文件的示例过程。
[0026]在整个附图中，可以重新使用附图标记来指示参考元件之间的对应关 系。提供附图以示出在此描述的示例实施例并且不旨在限制本公开的范围。
具体实施方式
[0027]概述
[0028]音频文件可以包括表示音频信号的多个干音轨(stem track)，用于例 如声音、鼓、吉他、贝斯或其它声音。干音轨可以与多个乐器(诸如一组 鼓或四重奏乐器)相关联，或与单个声源(诸如语音或一个乐器)相关联。 单个干音轨可以表示单声道、立体声道或环绕
声道。音频文件可以包括1、 2、3、4、5、6、8、10、12个或更多的干音轨。除了干音轨之外，音频文 件还可以包括用于标准回放的主音轨。
[0029]用户可能想要与音频文件中的干音轨交互并通过混合干音轨来生成新 的音频文件。然而，现有的用户界面对于这项任务通常是麻烦的，因为他 们通常不向干音轨提供可视化，并且通常需要专业技能来组合多个干音轨。
[0030]在此描述的可穿戴系统旨在通过提供与干音轨相关联的视觉图形来解 决该问题。例如，与干音轨相关联的视觉图形可以是用于该干音轨的乐器 的图形表示。如果干音轨与声音相关联，则视觉图形也可以是虚拟的人。
[0031]可穿戴系统可以允许用户使用姿势(例如头部姿势、身体姿势、眼睛 姿势或手势)容易地与干音轨进行交互。例如，用户可以通过移动他的手 或改变他的头部位置在音频文件中混合多个干音轨，或者跨多个音频文件 来混合干音轨。用户还可以修改音频文件，例如通过调整干音轨(例如调 整干音轨的音量)或通过用其它干音轨替换干音轨。在一些实施例中，干 音轨的某些混合可以与用户环境中的位置相关联。当用户移动到环境中的 位置时，可穿戴系统可以播放与该位置关联的声音(或声音的混合)。与 干音轨交互的另外的示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可穿戴设备，包括：非瞬态存储器，其被配置为存储包括多个干音轨的音频文件，每个干音轨表示所述音频文件的不同音频内容，其中，所述多个干音轨中的至少一个干音轨包括与所述多个干音轨中的所述至少一个干音轨的音频内容相关的动画元数据；传感器，其被配置为测量与所述可穿戴设备的用户的姿势相关联的信息；显示器，其被配置为将图像呈现给所述可穿戴设备的所述用户的眼睛；扬声器，其被配置为将声音呈现给所述可穿戴设备的所述用户；以及处理器，其与所述非瞬态存储器、所述传感器、所述扬声器以及所述显示器通信，所述处理器编程有可执行指令从而：确定所述用户的所述姿势，所述姿势至少指示所述用户在三维(3D)环境中面对的姿势方向；导致显示包括与所述音频文件的不同干音轨相关联的多个表面的虚拟对象；响应于用户在所述3D环境内相对于所述虚拟对象的移动或重新定向所述虚拟对象的用户指示，确定所述虚拟对象相对于所述用户的所述姿势的方位变化；至少部分地基于所...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：