虚拟现实领域中的装置及相关联的方法制造方法及图纸

关于用于在虚拟现实(VR)空间中呈现给用户的场景的虚拟现实内容，VR内容包括由音频捕获设备在音频捕获位置捕获的空间音频，并且基于用户在虚拟现实空间中相对于虚拟音频捕获位置的虚拟位置，该虚拟音频捕获位置对应于音频捕获位置；当虚拟位置在具有空间音频效果的阈值距离内时，提供空间音频的可听呈现，使得一个或多个声音被感知为源自虚拟现实空间中的与方向性信息相对应的一个或多个方向；以及当虚拟位置超出阈值距离时，提供空间音频的可听呈现，使得一个或多个声音被可听地呈现为具有环境音频效果。

Devices and Related Methods in Virtual Reality

【技术实现步骤摘要】
【国外来华专利技术】虚拟现实领域中的装置及相关联的方法
本公开涉及虚拟现实领域。还公开了相关联的方法、计算机程序和装置。某些公开的方面/示例涉及便携式电子设备。
技术介绍
将被感知为源自特定方向的空间音频呈现为使得其与呈现给用户的视觉内容相对应，是很重要的。先前公布的文件及本说明书中的任何背景的列出或讨论不应被视为承认该文件和背景是现有技术的一部分或是公知常识。本公开的一个或多个方面/示例可以或可以不解决一个或多个背景问题。
技术实现思路
在第一示例方面，提供了一种装置，包括：至少一个处理器；及包括计算机程序代码的至少一个存储器，该至少一个存储器和该计算机程序代码被配置为与至少一个处理器一起使得该装置至少执行下述操作：关于场景的所捕获的虚拟现实内容，该场景用于在虚拟现实空间中呈现给用户以用于在虚拟现实中观看，虚拟现实内容包括由至少一个音频捕获设备捕获的空间音频，该至少一个音频捕获设备位于场景中的音频捕获位置处，空间音频包括来自场景的具有方向性信息的音频，方向性信息定义朝向来自音频捕获位置的音频的一个或多个声音的源的一个或多个方向，基于用户在虚拟现实空间中相对于虚拟现实空间中的虚拟音频捕获位置的虚拟位置，该虚拟音频捕获位置对应于场景中的音频捕获位置；当虚拟位置在具有空间音频效果的虚拟音频捕获位置的阈值距离内时，提供空间音频的可听呈现，使得一个或多个声音被感知为源自虚拟现实空间中的与方向性信息相对应的一个或多个方向；以及当虚拟位置距虚拟音频捕获位置超过阈值距离时，提供空间音频的可听呈现，使得至少该一个或多个声音的子集在不具有空间音频效果但具有环境音频效果的情况下被可听地呈现，使得所述声音被感知为没有特定的起源方向。在一个或多个实施例中，环境音频效果被配置为可听地呈现空间音频的一个或多个声音，使得其被感知为源自用户周围的所有方向中的一个方向以及多个方向。在一个或多个示例中，具有环境音频效果的空间音频被呈现，使得其被感知为普遍的背景音频。在一个或多个实施例中，VR内容包括个体音频，该个体音频包括来自场景中的特定声音源的音频，其中空间音频还至少部分地包括来自场景中同一特定声音源的音频，当虚拟位置超过阈值距离时，相对于虚拟位置在阈值距离内时，装置被使得以相对于空间音频较高的音量提供个体音频的可听呈现。在一个或多个实施例中，个体音频与特定源位置信息相关联，该特定源位置信息定义场景中的特定声源的位置，并且基于所述特定源位置信息和当前观看方向以及用户的虚拟位置，个体音频被提供具有空间音频效果的可听呈现，该空间音频效果被配置为将音频定位在虚拟现实空间中，使得其被感知为源自虚拟现实空间中与特定源位置信息相对应的方向。在一个或多个实施例中，阈值距离定义转变区域，该转变区域包括虚拟现实空间的区域，在虚拟现实空间的该区域中，被提供具有空间音频效果的可听呈现的空间音频与被提供具有环境音频效果的可听呈现的所述空间音频的比率根据距所述虚拟音频捕获位置的距离而变化。在一个或多个实施例中，随着用户的虚拟位置距虚拟音频捕获位置的距离增加，被提供具有空间音频效果的可听呈现提供的空间音频的增益减小。在一个或多个实施例中，随着用户的虚拟位置距虚拟音频捕获位置的距离增加，被提供具有环境音频效果的可听呈现的空间音频的增益增加。在一个或多个实施例中，空间音频效果使用头部相关传递函数和矢量基幅度平移中的一项来可听地呈现空间音频。在一个或多个实施例中，当虚拟位置距虚拟音频捕获位置超出阈值距离时，装置被使得提供空间音频的可听呈现，使得由空间音频捕获设备捕获的一个或多个声音中的所有声音在以下情况下被可听地呈现：i)不具有空间音频效果以及ii)具有环境音频效果，使得所述声音被感知为在没有特定起源方向。在一个或多个实施例中，当虚拟位置距虚拟音频捕获位置超出阈值距离时，装置被使得提供音频的该子集之外的一个或多个声音的具有空间音频效果的可听呈现，其中一个或多个声音的方向性信息指示从用户的所述虚拟位置和虚拟音频捕获位置延伸的方向的方向阈值内的方向。因此，在一个或多个示例中，空间音频效果仍然可以用于源自虚拟音频捕获位置的相对侧的位置的到用户的虚拟位置(由上述阈值定义)的声音，因为朝向这些声音源的方向在用户的虚拟位置仍然有效。然而，来自其他方向的声音可能无法正确地对应于VR内容中声音源的视觉位置，因此对于那些声音，环境音频效果被使用。在第二方面，提供了一种方法，该方法包括：关于场景的所捕获的虚拟现实内容，该场景用于在虚拟现实空间中呈现给用户以用于在虚拟现实中观看，虚拟现实内容包括由至少一个音频捕获设备捕获的空间音频，该至少一个音频捕获设备位于场景中的音频捕获位置处，空间音频包括来自场景的具有方向性信息的音频，方向性信息定义朝向来自音频捕获位置的音频的一个或多个声音的源的一个或多个方向，基于用户在虚拟现实空间中相对于虚拟现实空间中的虚拟音频捕获位置的虚拟位置，该虚拟音频捕获位置对应于场景中的音频捕获位置；当虚拟位置在具有空间音频效果的虚拟音频捕获位置的阈值距离内时，提供空间音频的可听呈现，使得一个或多个声音被感知为源自虚拟现实空间中的与方向性信息相对应的一个或多个方向；以及当虚拟位置距虚拟音频捕获位置超过阈值距离时，提供空间音频的可听呈现，使得至少该一个或多个声音的子集在不具有空间音频效果但具有环境音频效果的情况下被可听地呈现，使得所述声音被感知为没有特定的起源方向。在第三方面，提供了一种包括在其上存储的计算机程序代码的计算机可读介质，计算机可读介质和计算机程序代码被配置为，当在至少一个处理器上运行时，执行以下方法：关于场景的所捕获的虚拟现实内容，该场景用于在虚拟现实空间中呈现给用户以用于在虚拟现实中观看，虚拟现实内容包括由至少一个音频捕获设备捕获的空间音频，该至少一个音频捕获设备位于场景中的音频捕获位置处，空间音频包括来自场景的具有方向性信息的音频，方向性信息定义朝向来自音频捕获位置的音频的一个或多个声音的源的一个或多个方向，基于用户在虚拟现实空间中相对于虚拟现实空间中的虚拟音频捕获位置的虚拟位置，该虚拟音频捕获位置对应于场景中的音频捕获位置；当虚拟位置在具有空间音频效果的虚拟音频捕获位置的阈值距离内时，提供空间音频的可听呈现，使得一个或多个声音被感知为源自虚拟现实空间中的与方向性信息相对应的一个或多个方向；以及当虚拟位置距虚拟音频捕获位置超过阈值距离时，提供空间音频的可听呈现，使得至少该一个或多个声音的子集在不具有空间音频效果但具有环境音频效果的情况下被可听地呈现，使得所述声音被感知为没有特定的起源方向。在另一方面，提供了一种装置，该装置包括部件，该被配置为：关于场景的所捕获的虚拟现实内容，该场景用于在虚拟现实空间中呈现给用户以用于在虚拟现实中观看，虚拟现实内容包括由至少一个音频捕获设备捕获的空间音频，该至少一个音频捕获设备位于场景中的音频捕获位置处，空间音频包括来自场景的具有方向性信息的音频，方向性信息定义朝向来自音频捕获位置的音频的一个或多个声音的源的一个或多个方向，基于用户在虚拟现实空间中相对于虚拟现实空间中的虚拟音频捕获位置的虚拟位置，该虚拟音频捕获位置对应于场景中的音频捕获位置；当虚拟位置在具有空间音频效果的虚拟音频捕获位置的阈值距离内时，提供空间音频的可听呈现，使得一个本文档来自技高网...

【技术保护点】
1.一种装置，包括：至少一个存储器；以及包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置执行至少以下操作：关于场景的所捕获的虚拟现实内容，所述场景用于在虚拟现实空间中呈现给用户以用于在虚拟现实中观看，所述虚拟现实内容包括由至少一个音频捕获设备捕获的空间音频，所述至少一个音频捕获设备位于所述场景中的音频捕获位置处，所述空间音频包括来自所述场景的具有方向性信息的音频，所述方向性信息定义一个或多个方向，所述一个或多个方向朝向来自所述音频捕获位置的所述音频的一个或多个声音的源，基于用户在所述虚拟现实空间中相对于在所述虚拟现实空间中的虚拟音频捕获位置的虚拟位置，所述虚拟音频捕获位置对应于所述场景中的所述音频捕获位置；当所述虚拟位置在具有空间音频效果的所述虚拟音频捕获位置的阈值距离内时，提供所述空间音频的可听呈现，使得所述一个或多个声音被感知为源自所述虚拟现实空间中的与所述方向性信息相对应的一个或多个方向；以及当所述虚拟位置距所述虚拟音频捕获位置超过所述阈值距离时，提供所述空间音频的可听呈现，使得至少所述一个或多个声音的子集在不具有所述空间音频效果但具有环境音频效果的情况下被可听地呈现，以使得所述声音被感知为没有特定的起源方向。...

【技术特征摘要】
【国外来华专利技术】2016.12.30 EP 16207494.21.一种装置，包括：至少一个存储器；以及包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置执行至少以下操作：关于场景的所捕获的虚拟现实内容，所述场景用于在虚拟现实空间中呈现给用户以用于在虚拟现实中观看，所述虚拟现实内容包括由至少一个音频捕获设备捕获的空间音频，所述至少一个音频捕获设备位于所述场景中的音频捕获位置处，所述空间音频包括来自所述场景的具有方向性信息的音频，所述方向性信息定义一个或多个方向，所述一个或多个方向朝向来自所述音频捕获位置的所述音频的一个或多个声音的源，基于用户在所述虚拟现实空间中相对于在所述虚拟现实空间中的虚拟音频捕获位置的虚拟位置，所述虚拟音频捕获位置对应于所述场景中的所述音频捕获位置；当所述虚拟位置在具有空间音频效果的所述虚拟音频捕获位置的阈值距离内时，提供所述空间音频的可听呈现，使得所述一个或多个声音被感知为源自所述虚拟现实空间中的与所述方向性信息相对应的一个或多个方向；以及当所述虚拟位置距所述虚拟音频捕获位置超过所述阈值距离时，提供所述空间音频的可听呈现，使得至少所述一个或多个声音的子集在不具有所述空间音频效果但具有环境音频效果的情况下被可听地呈现，以使得所述声音被感知为没有特定的起源方向。2.根据权利要求1所述的装置，其中所述环境音频效果被配置为可听地呈现所述空间音频的所述一个或多个声音，使得其被感知为源自所述用户周围的所有方向中的一个方向以及多个方向。3.根据权利要求1或权利要求2所述的装置，其中所述VR内容包括个体音频，所述个体音频包括来自所述场景中的特定声音源的音频，其中所述空间音频还至少部分地包括来自所述场景中的同一特定声音源的音频，所述装置被使得当所述虚拟位置超过所述阈值距离时，相对于所述虚拟位置在所述阈值距离内时，以相对于所述空间音频较高的音量提供所述个体音频的可听呈现。4.根据权利要求3所述的装置，其中所述个体音频与特定源位置信息相关联，所述特定源位置信息定义所述场景中的所述特定声音源的所述位置，并且基于所述特定源位置信息和当前观看方向以及所述用户的所述虚拟位置，所述个体音频被提供具有所述空间音频效果的可听呈现，所述空间音频效果被配置为将所述音频定位在所述虚拟现实空间中，使得其被感知为源自所述虚拟现实空间中与所述特定源位置信息相对应的方向。5.根据任一项前述权利要求所述的装置，其中所述阈值距离定义转变区域，所述转变区域包括虚拟现实空间的区域，在虚拟现实空间的所述区域中，被提供具有所述空间音频效果的可听呈现的空间音频与被提供具有所述环境音频效果的可听呈现的所述空间音频的比率根据距所述虚拟音频捕获位置的距离而变化。6.根据任一项前述权利要求所述的装置，其中随着用户的所述虚拟位置距所述虚拟音频捕获位置的距离增加，被提供具有所述空间音频效果的可听呈现的所述空间音频的增益减小。7.根据任一项前述权利要求所述的装置，其中随着用户的所述虚拟位置距虚拟音频捕获位置的距离的增加，被提供具有所述环境音频效果的可听呈现的所述空间音频的增益增加。8.根据任一项前述权利要求所述的装置，其中所述空间音频效果使用头部相...

【专利技术属性】
技术研发人员：A·埃罗南，A·勒蒂涅米，J·莱帕南，J·阿拉斯维奥里，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：芬兰,FI