自由视点渲染中的音频对象修改制造技术

一种方法，包括：在向用户自由视点渲染期间，以及在自由视点渲染中的用户的位置与音频对象之间的相对移动期间，检测音频对象与用户位置之间的位置冲突异常，其中自由视点渲染包括音频对象的渲染；以及基于位置冲突异常的检测，改变音频对象的渲染，其中改变基于至少一个预先确定的异常修改参数。个预先确定的异常修改参数。个预先确定的异常修改参数。

【技术实现步骤摘要】
自由视点渲染中的音频对象修改
[0001]本申请是2017年10月6日提交的申请号为201780063477.6、专利技术名称为“自由视点渲染中的音频对象修改”的专利申请的分案申请。


[0002]示例性的和非限制性的实施例一般涉及音频对象，更具体地，涉及修改音频对象。

技术介绍

[0003]在视听消费中的自由视点，指的是能够在内容消费空间中移动的用户。非自由视点虚拟现实体验限于改变视点的方向(旋转)，但是自由视点渲染允许经由移动(平移)改变渲染点以及改变视点的方向(旋转)。在自由视点渲染中提供一个音频对象是已知的。因此，对于自由视点渲染而言，几何变换包括3D旋转和2D平移或3D平移。

技术实现思路

[0004]以下概述仅是示例性的。该
技术实现思路
不旨在限制权利要求的范围。
[0005]根据一个方面，示例方法包括，在向用户进行自由视点渲染期间，以及在所述自由视点渲染中的所述用户的位置与所述自由视点渲染中的所述音频对象之间的相对移动期间，检测所述自由视点渲染中的所述音频对象与所述用户的位置之间的位置冲突异常，其中所述自由视点渲染包括音频对象的渲染；以及基于所述位置冲突异常的所述检测，改变所述音频对象的所述渲染，其中所述改变基于至少一个预先确定的异常修改参数。
[0006]根据另一方面，示例装置包括至少一个处理器；以及至少一个包括计算机程序代码的非瞬态存储器，所述至少一个存储器以及计算机程序代码被配置为与所述至少一个处理器一起使得所述装置：在向用户进行自由视点渲染期间，以及在所述自由视点渲染中的所述用户的位置与所述自由视点渲染中的所述音频对象之间的相对移动期间，检测所述自由视点渲染中的所述音频对象与所述用户的位置之间的位置冲突异常，其中所述自由视点渲染包括音频对象的渲染；以及基于所述位置冲突异常的所述检测，改变所述音频对象的所述渲染，其中所述改变基于至少一个预先确定的异常修改参数。
[0007]根据另一方面，示例装置包括一种由机器能够读取的非瞬态程序存储设备，其有形地体现了由所述机器能够执行的用于执行操作的程序指令，所述操作包括：在向用户进行自由视点渲染期间，以及在所述自由视点渲染中的所述用户的位置与所述自由视点渲染中的所述音频对象之间的相对移动期间，检测所述自由视点渲染中的所述音频对象与所述用户的位置之间的位置冲突异常，其中所述自由视点渲染包括音频对象的渲染；以及基于所述位置冲突异常的所述检测，改变所述音频对象的所述渲染，其中所述改变基于至少一个预先确定的异常修改参数。
附图说明
[0008]结合附图，前述方面和其他特征将在以下描述中被解释，其中：
[0009]图1是包括示例实施例的特征的现实系统的示意图；
[0010]图2是示出了在图1中所示出的系统的一些组件的示意图；
[0011]图3是从第三人视角的虚拟现实场景的示例说明；
[0012]图4是类似于图3的示意图，示出了在自由视点渲染中音频对象与用户位置之间的位置冲突异常的说明；
[0013]图5A
‑
5D示出了针对在自由视点渲染中音频对象与用户位置之间的位置冲突异常的不同结果；
[0014]图6是在图1和2中所示系统的一些组件的示意图；
[0015]图7是用于示例性实施例的特征进行编程的用户界面的示例；
[0016]图8示出了用于处理图4中所示的位置冲突异常的一些示；
[0017]图9是示例方法的示意图；
[0018]图10是示出了有效距离参数的示例的示意图；
[0019]图10A
‑
10B是有效距离参数的示例场强的示意图；
[0020]图11是一个示例方法的示意图；
[0021]图12是一个示例方法的示意图；
[0022]图13是一个示例方法的示意图；
[0023]图14是一个示例方法的示意图；以及
[0024]图15是一个示例方法的示意图。
具体实施方式
[0025]图1示出了结合示例实施例的特征的现实系统10的示意图。例如，用户可以将现实系统10用于增强现实(AR)、虚拟现实(VR)、或存在捕获(PC)体验和内容消费。尽管将参考附图中示出的示例性实施例来描述这些特征，但是应该理解，特征可以以许多替换形式的实施例来实现。
[0026]系统10被配置为向用户提供自由视点渲染。系统10通常包括视觉系统12、音频系统14和相对位置系统16。视觉系统12被配置为向用户提供视觉图像。例如，视觉系统12可包括一个虚拟现实(VR)头戴式耳机、护目镜或眼镜。音频系统14被配置为向用户提供音频声音，诸如，通过一个或多个扬声器、一个VR头戴式耳机或耳塞。相对位置系统16被配置为感测用户的位置(诸如例如用户的头部)，并且确定用户在现实内容消费空间场景中的位置。现实内容消费空间中的移动可以基于用户实际移动、用户控制的移动和/或一些其他外部控制的移动或预先确定的移动，或这些移动的任意组合。用户能够在自由视点的内容消费空间中移动。相对位置系统16可以能够基于用户在现实世界中的移动来改变用户看到和听到的内容；现实世界的移动改变了用户在自由视点渲染中看到和听到的内容。
[0027]参考图2，现实系统10通常包括一个或多个控制器18、一个或多个输入20以及一个或多个输出22。输入20可以包括，例如，相对位置系统16的位置传感器、来自另一设备(诸如通过因特网，或用于将信息输入至系统10的任何其他合适的设备)的现实信息。输出22可以包括，例如，视觉系统12的VR头戴式耳机上的显示器、音频系统14的扬声器、和一个与另一设备通信信息的通信输出。控制器18可包括一个或多个处理器24和一个或多个包括软件28的存储器26。
[0028]参考图3，示出了自由视点介导现实体验的快照。在该示例中，体验包括树32、鸟34和具有蜂巢38和蜜蜂40的树枝36。图3示出了一个正在体验自由视点视频和音频的用户。该示例示出了一个用户，被描绘为在现实空间中佩戴头戴式显示器(HMD)和组合耳机；被介导现实体验所包围。换句话说，图3呈现了一个第三人视角，其将用户和用户当前体验的介导现实空间进行组合。用户在体验中的位置由30表示。介导现实空间由现实空间的视频表示和音频对象声源32、34、38、40组成。在该示例中，用户体验到一个自然场景，他在其中看到并听到鸟儿在他周围歌唱、蜜蜂在用户面前的蜂巢周围嗡叫。
[0029]参考图4，示出了用户已经从介导现实体验中的图3中所示的定位中移动到了一个新的位置。然而，在图4中所示的新位置，用户已经进入或者通过了音频对象或源；即，用户30的头部31显示在蜂巢38内。这示出了自由视点渲染中的音频对象38与用户的位置之间的位置冲突异常。在现实世界中，在不破坏蜂巢的情况下，一个人的头部不能在蜂巢中。图中所示的蜂巢示例内的头部仅仅是位置冲突异常的一个示例。另一可能的示例是，例如，用户靠近炉子，来自该位置的炉子的热量将超过现实生活中的人可以承受的热量。基于该位置冲突异常，炉子的声本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种装置，包括：至少一个处理器；以及包括计算机程序代码的至少一个非瞬态存储器，所述至少一个存储器以及计算机程序代码被配置为，与所述至少一个处理器一起，使得所述装置：确定与至少一个音频对象相关联的音频对象元数据，其中所述音频对象元数据包括至少一个指令，所述指令用于基于至少一个预先确定的异常修改参数响应于位置冲突异常的检测来在自由视点渲染中渲染所述至少一个音频对象；以及发送所述音频对象元数据，其中所述音频对象元数据被配置为修改所述至少一个音频对象的渲染。2.根据权利要求1所述的装置，其中所述至少一个预先确定的异常修改参数包括位置参数，其中所述位置参数定义针对所述至少一个音频对象的位置修改。3.根据权利要求1所述的装置，其中所述至少一个预先确定的异常修改参数包括缩放参数，其中所述缩放参数定义针对所述至少一个音频对象的大小修改。4.根据权利要求1所述的装置，其中所述至少一个预先确定的异常修改参数包括旋转参数，其中所述旋转参数定义针对所述至少一个音频对象的旋转修改。5.根据权利要求1所述的装置，其中所述至少一个预先确定的异常修改参数包括放大参数，其中所述放大参数相对于所述至少一个音频对象的原始音量定义所述至少一个音频对象的音量。6.根据权利要求1所述的装置，其中包括计算机程序代码的所述至少一个非瞬态存储器被进一步配置为，与所述至少一个处理器一起，使得所述装置提供接口，以设置所述至少一个预先确定的异常修改参数，用于以下至少一个：所述至少一个音频对象，至少一个频道，或对于检测到的用户交互的至少一个跟踪。7.根据权利要求1所述的装置，其中用于响应于所述位置冲突异常的检测来在所述自由视点渲染中渲染所述至少一个音频对象进一步包括基于以下项目中的至少一个的用于所述位置冲突异常的检测的至少一个指令：所述渲染的当前位置，所述渲染的先前位置，或所述渲染的下一位置，其中所述渲染的所述当前位置、所述先前位置和所述下一位置每一个包括用户的视点。8.根据权利要求1所述的装置，其中所述音频对象元数据进一步包括定义何时将修改所述至少一个音频对象的渲染的至少一个指令。9.根据权利要求1所述的装置，其中所述音频对象元数据进一步包括定义所述至少一个音频对象的渲染将被修改到何程度的至少一个指令。10.根据权利要求1所述的装置，其中所述位置冲突异常的检测基于距离参数。11.根据权利要求1所述的装置，其中包括计算机程序代码的所述至少一个非瞬态存储器被进一步配置为，与所述至少一个处理器一起，使得所述装置发送所述至少一个音频对
象。12.根据...

【专利技术属性】
技术研发人员：L，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：