一种还原声场空间及姿态追踪的方法、装置和设备制造方法及图纸

本发明专利技术公开了一种还原声场空间及姿态追踪的方法、装置和设备。本发明专利技术提供的方法为：判断输入音频格式，如果为Ambisonic格式音频则直接进行下一步骤，如果为基于声道的音频，则对音频进行空间声场渲染并转换为Ambisonic格式音频，如果为对象音频，则将音频转换为Ambisonic格式音频；在还音过程中实时获取用户的头部姿态参数，对Ambisonics格式音频进行声源方位还原渲染；最后经过双耳化处理，得到用于耳机播放的全景声音频信号。本发明专利技术对于基于声道的音频，在进行声场空间渲染时充分考虑了影院的空间影响，更好地还原声场空间，同时在耳机还音过程中，实现了对声源方位的相应调整，达到实时跟踪声源的目的，使得通过耳机还音时更符合现实中扬声器还音的模式效果。音时更符合现实中扬声器还音的模式效果。音时更符合现实中扬声器还音的模式效果。

【技术实现步骤摘要】
一种还原声场空间及姿态追踪的方法、装置和设备


[0001]本申请涉及声音处理
，特别是涉及一种还原声场空间及姿态追踪的方法、装置和设备。

技术介绍

[0002]传统在影院观影的观影方式十分受大众认可，但因为影院分布不均、建设影厅需要更严格基建硬件环境等限制，观影方式越来越多元化。例如以移动智能设备或耳机作为还音单元的更灵活的“观影放映”方式逐渐崭露头角，这种观影方式也存在着相当多的受众。用耳机作为露天或户外观影还音的优点显而易见：一方面，封闭式的声音输出使得噪音污染几乎为零，更容易向居民区等对噪音敏感的区域推广；另一方面，戴上耳机，能够将开放式环境中的各种声音干扰屏蔽，同时此观影方式不受制于场所环境以及观影位置的限制，使得观影体验更加的自由。
[0003]然而，在以耳机作为还音单元观影时，实际的还音效果并不符合现实中通过扬声器还音的模式效果，这在很大程度上影响了全景声播放效果。

技术实现思路

[0004]基于此，本专利技术实施例为了解决上述以耳机作为还音单元观影时现有技术中存在的技术问题，提供了一种还原声场空间及姿态追踪的方法、装置和设备。
[0005]为了达到上述专利技术目的，本专利技术实施例采用以下技术方案：
[0006]根据本专利技术实施例的一个方面，提供了一种还原声场空间及姿态追踪的方法，所述方法包括：
[0007]步骤一，判断输入音频格式，如果为Ambisonic格式音频则直接进行步骤二；如果为基于声道的音频，则对所述基于声道的音频进行空间声场渲染并转换为Ambisonic格式音频；如果为包含位置信息元数据的对象音频，则将所述对象音频转换为Ambisonic格式音频；
[0008]步骤二，实时获取用户的头部姿态参数，对所述Ambisonics格式音频进行声源方位还原渲染；
[0009]步骤三，对进行声源方位还原渲染后得到的Ambisonics信号进行双耳化处理，输出用于耳机播放的全景声音频信号。
[0010]进一步地，步骤一中所述的空间声场渲染是将实际测量的或模拟生成的相关参数代入镜像声源模型算法，生成空间响应函数并进行卷积渲染。
[0011]进一步地，所述相关参数具体包括：
[0012]影厅的长、宽、高；
[0013]影厅六面的反射系数；
[0014]每个声源的位置坐标；
[0015]拾音位置坐标。
[0016]进一步地，步骤一中所述转换为Ambisonic格式音频，具体包括：
[0017]利用公式将输入音频转换为W、X、Y、Z四个通道上的信号：
[0018][0019][0020][0021][0022]W为包含所有方位信息的音频信号，X为包含前后方位信息的音频信号，Y为包含左右方位信息的音频信号，Z为包含上下方位信息的音频信号，s
i
为单声道音频信号或每个对象音频信号，k为音频的声道个数或对象个数，θ分别为音频每个声道或对象在空间中的水平角和垂直角；
[0023]若输入的音频是单声道音频，则声道位置是正前方，即水平角为0，代入上述公式(2)、(3)，并结合其他参数将所述单声道信号转换为Ambisonic格式音频；
[0024]若输入的音频是多声道音频，所述多声道音频由多个单声道音频信号组成，则将按照标准布局摆放的各个扬声器位置和对应单声道音频信号，代入上述公式(1)
‑
(4)将所述多声道音频转换为Ambisonic格式音频；
[0025]若输入的音频是对象音频，则将每个对象位置信息元数据转换为水平角和垂直角θ，代入上述公式(2)
‑
(4)，并将每个对象位置元数据信息中包含的关于音频对象大小的描述，映射为权重参数q，在计算所述对象音频W通道上的信号时，给每个对象音频信号乘以相应的权重参数q，也就是将上述公式(1)替换为
[0026]进一步地，每个对象对应的权重参数q取值范围在0
‑
1之间，并且所有对象的权重参数和为1。
[0027]可选地，所述实时获取用户的头部姿态参数是通过陀螺仪来获取的。
[0028]进一步地，所述步骤二具体包括：
[0029]将实时获取到的用户头部的水平角和垂直角θ1，代入上述公式(1)
‑
(4)，实时对Ambisonic格式音频四个通道上的信号进行调整。
[0030]根据本专利技术实施例的另一个方面，提供了一种还原声场空间及姿态追踪的装置，所述装置包括：
[0031]音频格式判断模块，用于判断输入音频格式，如果为Ambisonic格式音频则直接将输入音频发送给声源方位还原渲染模块；如果为基于声道的音频，则对所述基于声道的音频进行空间声场渲染并转换为Ambisonic格式音频，将得到的Ambisonic格式音频发送给声源方位还原渲染模块；如果为包含位置信息元数据的对象音频，则将所述对象音频转换为Ambisonic格式音频，并发送给声源方位还原渲染模块；
[0032]声源方位还原渲染模块，用于实时获取用户的头部姿态参数，对所述Ambisonics格式音频进行声源方位还原渲染并发送给音频双耳化模块；
[0033]音频双耳化模块，用于对进行声源方位还原渲染后得到的Ambisonics信号进行双耳化处理，输出用于耳机播放的全景声音频信号。
[0034]根据本专利技术实施例的又一个方面，提供了一种还原声场空间及姿态追踪的设备，所述设备包括：
[0035]含陀螺仪的耳机或VR头戴设备，所述陀螺仪用于实时获得头部姿态参数；
[0036]数据处理设备，包括存储器和处理器，用于对所述输入音频进行处理，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的任一项步骤，最终输出用于耳机播放的全景声音频信号。
[0037]根据本专利技术实施例的又一个方面，提供了一种还原声场空间及姿态追踪的设备，所述设备包括：
[0038]普通耳机；
[0039]外置独立姿态感知模组，包括陀螺仪和数据处理设备，所述陀螺仪用于实时获得头部姿态参数，所述数据处理设备包括存储器和处理器，用于对所述输入音频进行处理，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的任一项步骤，最终输出用于耳机播放的全景声音频信号。
[0040]本专利技术至少具有以下有益效果：
[0041]本专利技术基于对现有技术问题的进一步分析和研究，认识到现有技术中，对于耳机播放的全景声音频，没有考虑到影院的空间影响，在针对对象的音频，没有考虑音频对象大小对空间声场的影响；此外，当观众头部发生偏转时音源并没有进行相应调整，不符合现实中扬声器还音的模式效果，这些都在很大程度上影响了全景声播放效果；本专利技术提供的方法首先判断输入音频格式，如果为Ambisonic格式音频则直接进行下一步骤，如果为基于声道的音频，则对所述基于声道的音频进行空间声场渲染并转换为Ambisonic格式音频，如果为位置信息元数据的对象音频，则本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种还原声场空间及姿态追踪的方法，其特征在于，所述方法包括：步骤一，判断输入音频格式，如果为Ambisonic格式音频则直接进行步骤二；如果为基于声道的音频，则对所述基于声道的音频进行空间声场渲染并转换为Ambisonic格式音频；如果为包含位置信息元数据的对象音频，则将所述对象音频转换为Ambisonic格式音频；步骤二，实时获取用户的头部姿态参数，对所述Ambisonics格式音频进行声源方位还原渲染；步骤三，对进行声源方位还原渲染后得到的Ambisonics信号进行双耳化处理，输出用于耳机播放的全景声音频信号。2.根据权利要求1所述的方法，其特征在于，步骤一中所述的空间声场渲染是将实际测量的或模拟生成的相关参数代入镜像声源模型算法，生成空间响应函数并进行卷积渲染。3.根据权利要求2所述的方法，其特征在于，所述相关参数具体包括：影厅的长、宽、高；影厅六面的反射系数；每个声源的位置坐标；拾音位置坐标。4.根据权利要求1所述的方法，其特征在于，步骤一中所述转换为Ambisonic格式音频，具体包括：利用公式将输入音频转换为W、X、Y、Z四个通道上的信号：利用公式将输入音频转换为W、X、Y、Z四个通道上的信号：利用公式将输入音频转换为W、X、Y、Z四个通道上的信号：利用公式将输入音频转换为W、X、Y、Z四个通道上的信号：W为包含所有方位信息的音频信号，X为包含前后方位信息的音频信号，Y为包含左右方位信息的音频信号，Z为包含上下方位信息的音频信号，s
i
为单声道音频信号或每个对象音频信号，k为音频的声道个数或对象个数，θ分别为音频每个声道或对象在空间中的水平角和垂直角；若输入的音频是单声道音频，则声道位置是正前方，即水平角为0，代入上述公式(2)、(3)，并结合其他参数将所述单声道信号转换为Ambisonic格式音频；若输入的音频是多声道音频，所述多声道音频由多个单声道音频信号组成，则将按照标准布局摆放的各个扬声器位置和对应单声道音频信号，代入上述公式(1)
‑
(4)将所述多声道音频转换为Ambisonic格式音频；若输入的音频是对象音频，则将每个对象位置信息元数据转换为水平角和垂直角θ，代入上述公式(2)
‑
(4)，并将每个对象位置元数据信息中包含的关于音频对象大小的描述，映射为权重...

【专利技术属性】
技术研发人员：王薇娜，张鑫，崔强，高峰，王惠，
申请(专利权)人：中国电影科学技术研究所，
类型：发明
国别省市：