音频场景处理制造技术

公开了一种装置，包括：用于从音频场景中的多个音频对象中标识感兴趣的一个或多个音频对象部件；以及用于处理与多个对象相关联的第一音频信号，以用于提供给用户设备的部件。处理可以基于用户设备在音频场景中的位置。处理可以包括：组合与音频对象相关联的第一音频信号，以形成经组合的第一音频信号；修改经组合的第一音频信号的振幅并且将经组合的第一音频信号的最大振幅限制为第一电平；以及修改与感兴趣的一个或多个音频对象相关联的一个或多个个体第一音频信号的振幅，所述修改独立于经组合的第一音频信号的振幅。

【技术实现步骤摘要】
【国外来华专利技术】音频场景处理
本公开涉及用于音频场景处理的方法和系统，尤其是(但不排他地)用于包括来自一个或多个音频对象的空间音频的虚拟现实(VR)和增强现实(AR)内容的方法和系统。
技术介绍
虚拟现实(VR)是将视频内容和音频内容中的一者或两者提供给用户设备的快速发展的
用户设备可以被提供有来自内容源的实时或所存储的馈送，该馈送表示用于通过用户设备进行沉浸式输出的虚拟现实空间或世界。在提供音频的情况下，可以是空间音频的音频表示从多个音频对象捕获或合成的音频。虚拟空间或虚拟世界是空间(例如捕获到的现实世界空间)的任何计算机生成的版本，用户可以通过诸如虚拟现实头戴式受话器的用户设备而沉浸其中。虚拟现实头戴式受话器可以被配置为例如通过使用被并入在头戴式受话器内的视频屏幕和头戴式耳机对来向用户提供虚拟现实视频和空间音频内容中的一者或多者。用户设备的位置和/或移动可以增强沉浸式体验。一些虚拟现实用户设备使用所谓的三自由度(3DoF)，其意味着偏航轴、俯仰轴以及滚转轴中的头部移动被测量到并且确定用户看到和听到的内容。在用户旋转其头部时，这促进了场景在单个位置中主要保持静态。下一阶段可以被称为3DoF+，其可以促进例如在位置周围的数十厘米的范围内的欧几里德空间中的有限平移移动。又一阶段是六自由度(6DoF)系统，其中，用户能够在欧几里德空间中自由地移动并且在偏航轴、俯仰轴以及滚转轴中旋转其头部。六自由度系统和方法将实现体积虚拟现实内容的供应和消耗。体积虚拟现实内容包括从所有角度以三维度来表示空间和/或对象的数据，使用户能完全在空间和/或对象周围移动，以从任何角度查看和/或听到这些数据。为了避免产生疑问，对虚拟现实(VR)的参考也旨在涵盖相关技术，诸如增强现实(AR)。
技术实现思路
第一方面提供了一种装置，包括：用于从音频场景中的多个音频对象中标识感兴趣的一个或多个音频对象的部件；以及用于通过以下操作来处理与多个对象相关联的第一音频信号以用于提供给用户设备的部件：组合与音频对象中的至少一些音频对象相关联的第一音频信号，以形成经组合的第一音频信号；修改该经组合的第一音频信号的振幅并且将经组合的第一音频信号的最大振幅限制为第一电平；以及修改与感兴趣的一个或多个音频对象相关联的一个或多个个体第一音频信号的振幅，所述修改独立于经组合的第一音频信号的振幅。该装置可以还包括用于随后将受到第一电平限制的经组合的第一音频信号与一个或多个个体第一音频信号组合并且将所得信号提供给用户设备的部件。处理部件在第一处理路径中可以将第一动态范围压缩应用于经组合的第一音频信号；并且在第二处理路径中可以将单独的第二动态范围压缩应用于分别与一个或多个感兴趣对象相关联的一个或多个单独的第一音频信号。该处理部件可以还执行：在组合之前在第一处理路径中对第一音频信号进行放大；以及在将个体的第二动态范围压缩应用于一个或多个个体第一音频信号之后，在第二处理路径中进行放大，该放大是基于的是用户设备距感兴趣的一个或多个音频对象的距离。该放大可以通过用户设备距一个或多个感兴趣音频对象的倒排距离而被确定。感兴趣的多个对象可以通过标识部件而被标识，并且其中通过处理部件被个体地应用于每个个体第一音频信号的第二动态范围压缩可以具有不同动态范围压缩特性。该处理部件可以被配置为使得分别与一个或多个感兴趣对象相关联的一个或多个第一音频信号的比例(i)在组合并应用第一动态范围压缩之前被减小并且(ii)在将个体第二动态范围压缩应用于所述一个或多个信号之前被同时地增大。该处理部件可以被配置为使得经组合的第一音频信号仅包括与除了一个或多个感兴趣音频对象之外的音频对象相关联的第一音频信号。该处理部件可以通过求和来组合音频信号。感兴趣的一个或多个对象可以基于距用户设备的距离而被标识。感兴趣的一个或多个对象可以基于用户设备相对于对象的移动方向而被标识。音频对象可以包括体积虚拟场景中的虚拟对象。个体第一音频信号可以受限于与第一最大振幅电平不同的第二最大振幅电平，并且第一最大振幅电平与第二最大振幅电平之间的差异可以基于用户设备在音频场景中的位置来动态地调整。另一方面提供了一种方法，包括：从音频场景中的多个音频对象中标识感兴趣的一个或多个音频对象；处理与多个对象相关联的第一音频信号以用于提供给用户设备，包括：组合与音频对象相关联的第一音频信号，以形成经组合的第一音频信号；修改经组合的第一音频信号的振幅并且将经组合的第一音频信号的最大振幅限制为第一电平；以及修改与感兴趣的一个或多个音频对象相关联的一个或多个个体第一音频信号的振幅，该修改独立于经组合的第一音频信号的振幅。另一方面提供了一种计算机可读介质，包括在其上存储的计算机程序代码，该计算机可读介质和计算机程序代码被配置为当在至少一个处理器上运行时：从音频场景中的多个音频对象中标识感兴趣的一个或多个音频对象；处理与多个对象相关联的第一音频信号以用于提供给用户设备，包括：组合与音频对象相关联的第一音频信号，以形成经组合的第一音频信号；修改经组合的第一音频信号的振幅并且将经组合的第一音频信号的最大振幅限制为第一电平；以及修改与感兴趣的一个或多个音频对象相关联的一个或多个个体第一音频信号的振幅，所述修改独立于经组合的第一音频信号的振幅。另一方面提供了一种装置，该装置具有至少一个处理器和至少一个存储器，该至少一个存储器在其上存储有计算机可读代码，该计算机可读代码在被执行时控制至少一个处理器：从音频场景中的多个音频对象中标识感兴趣的一个或多个音频对象；处理与多个对象相关联的第一音频信号以用于提供给用户设备，包括：组合与音频对象相关联的第一音频信号，以形成经组合的第一音频信号；修改经组合的第一音频信号的振幅并且将经组合的第一音频信号的最大振幅限制为第一电平；以及修改与一个或多个感兴趣音频对象相关联的一个或多个个体第一音频信号的振幅，所述修改独立于经组合的第一音频信号的振幅。另一方面提供了一种非瞬态计算机可读介质，该非瞬态计算机可读介质在其上存储有计算机可读代码，该计算机可读代码在被至少一个处理器执行时使该至少一个处理器执行方法，该方法包括：从音频场景中的多个音频对象中标识感兴趣的一个或多个音频对象；以及处理与多个对象相关联的第一音频信号以用于提供给用户设备，包括：组合与音频对象相关联的第一音频信号，以形成经组合的第一音频信号；修改经组合的第一音频信号的振幅并且将经组合的第一音频信号的最大振幅限制为第一电平；以及修改与一个或多个感兴趣音频对象相关联的一个或多个个体第一音频信号的振幅，所述修改独立于经组合的第一音频信号的振幅。附图说明现在将参照附图以非限制性示例方式描述实施例，在附图中：图1是根据本文中所描述的各种示例的音频捕获系统的示例，该音频捕获系统可以被使用以便捕获用于处理的音频信号；图2是根据示例实施例的虚拟现实显示系统的透视图；图3是根据示例实施例的包括图2的本文档来自技高网...

【技术保护点】
1.一种装置，包括：/n用于从音频场景中的多个音频对象中标识一个或多个感兴趣的音频对象的部件；/n用于通过以下操作来处理与多个所述对象相关联的第一音频信号以用于提供给用户设备的部件：/n组合与所述音频对象中的至少一些音频对象相关联的第一音频信号，以形成组合的第一音频信号；/n修改所述经组合的第一音频信号的振幅并且将所述经组合的第一音频信号的最大所述振幅限制为第一电平；以及/n修改与所述感兴趣的一个或多个音频对象相关联的一个或多个个体第一音频信号的所述振幅，所述修改独立于针对所述经组合的第一音频信号的修改。/n

【技术特征摘要】
【国外来华专利技术】20171227 EP 17210625.41.一种装置，包括：
用于从音频场景中的多个音频对象中标识一个或多个感兴趣的音频对象的部件；
用于通过以下操作来处理与多个所述对象相关联的第一音频信号以用于提供给用户设备的部件：
组合与所述音频对象中的至少一些音频对象相关联的第一音频信号，以形成组合的第一音频信号；
修改所述经组合的第一音频信号的振幅并且将所述经组合的第一音频信号的最大所述振幅限制为第一电平；以及
修改与所述感兴趣的一个或多个音频对象相关联的一个或多个个体第一音频信号的所述振幅，所述修改独立于针对所述经组合的第一音频信号的修改。


2.根据权利要求1所述的装置，还包括用于随后将受到所述第一电平限制的所述经组合的第一音频信号与所述一个或多个个体第一音频信号组合并且将所得信号提供给所述用户设备的部件。


3.根据权利要求1或权利要求2所述的装置，其中所述处理部件：
在第一处理路径中，将第一动态范围压缩应用于所述经组合的第一音频信号；以及
在第二处理路径中，将个体第二动态范围压缩应用于分别与所述感兴趣的一个或多个对象相关联所述一个或多个个体第一音频信号。


4.根据权利要求3所述的装置，其中所述处理部件还执行：
在组合之前在所述第一处理路径中对所述第一音频信号进行放大；以及
在将个体的第二动态范围压缩应用于所述一个或多个个体第一音频信号之后在所述第二处理路径中进行放大，所述放大基于的是所述用户设备距感兴趣的所述一个或多个音频对象的距离。


5.根据权利要求4所述的装置，其中所述放大通过所述用户设备距所述感兴趣的一个或多个音频对象的倒排距离而被确定。


6.根据权利要求3至5中任一项所述的装置，其中感兴趣的多个对象通过所述标识部件而被标识，并且其中通过所述处理部件被个体地应用于每个个体第一音频信号的所述第二动态范围压缩具有不同动态范围压缩特性。


7.根据权利要求3至6中任一项所述的装置，其中所述处理部件被配置为使得分别与所述感兴趣的一个或多个对象相关联的一个或多个第一音频信号的比例(i)在组合并且应用第一动态范围压缩之前被减小，并且(ii)同时在将个体第二动态范围压缩应用于所述一个或多个信号之前被增大。


8.根据权利要求1至6中任一项所述的装置，其中处理部件被配置为使得所述经组合的第一音频信号仅包括与除了感兴趣的所述一个或多个音频对象之外的音频对象相关联的第一音频信号。


9.根据任一项前述权利要求所述的装置，其中所述处理部件通过求和来组合所述音频信号。


10.根据任一项前述权利要求所述的装置，其中所述感兴趣的一个或多个对象基于距所述用户设备的距离而被标识。


11.根据任一项前述权利要求所述的装置，其中所述感兴趣的一个或多个对象基于所述用户设备相对于所述对象的移动方向而被标识。

【专利技术属性】
技术研发人员：A·埃罗南，J·A·利帕南，S·S·马特，A·勒蒂涅米，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：芬兰;FI