使用立体混响信号的音频信号处理方法和装置制造方法及图纸

公开一种用于渲染输入音频信号的音频信号处理装置。音频信号处理装置可以包括处理器，该处理器被配置成获得包括立体混响信号和非剧情声道差分信号的输入音频信号，渲染立体混响信号以生成第一输出音频信号，将第一输出音频信号与非剧情声道差分信号混合以生成第二输出音频信号，并且输出第二输出音频信号。

Audio signal processing method and device using stereo reverberation signal

【技术实现步骤摘要】
【国外来华专利技术】使用立体混响信号的音频信号处理方法和装置
本公开涉及一种音频信号处理方法和装置，并且更具体地，涉及一种为包括头戴式显示器(HMD)设备的便携式设备提供沉浸式声音的音频信号处理方法和装置。
技术介绍
为了在头戴式显示器(HMD)设备中提供沉浸式和交互式音频，本质上需要双耳渲染技术。用于再现与虚拟现实(VR)相对应的空间声音的技术是增加虚拟现实的真实性并允许VR设备用户感觉完全浸入其中的重要因素。被渲染以在虚拟现实中再现空间声音的音频信号可以被划分为剧情音频信号和非剧情音频信号。在此，剧情音频信号可以是使用头部方向和用户位置的信息交互地呈现的音频信号。另外，非剧情音频信号可以是方向性不重要或者根据声音质量的声音效果比声音的定位更重要的音频信号。同时，在受计算量和功耗的限制的移动设备中，由于经受渲染的对象或声道的增加，可能出现计算量和功耗的负担。另外，当前多媒体服务市场中提供的大多数用户设备和回放软件所支持的可解码音频格式的编码流的数量可能会受到限制。在这种情况下，用户设备可以接收与非剧情音频信号分离的非剧情音频信号，并将其提供给用户。可替选地，用户设备可以提供其中向用户省略非剧情音频信号的多媒体服务。因此，需要用于改善处理剧情音频信号和非剧情音频信号的效率的技术。
技术实现思路
技术问题本公开的实施例有效地发送具有再现真实空间声音所需的各种特性的音频信号。另外，本公开的实施例将通过包括在编码流的数量中受限制的音频格式来发送包括非剧情音频信号的音频信号作为用于再现剧情效应和非剧情效应的音频信号。技术解决方案根据本公开的实施例的用于生成输出音频信号的音频信号处理装置可以包括处理器，该处理器被配置成获得包括第一立体混响信号和非剧情声道信号的输入音频信号，基于非剧情性声道信号生成仅包括与在第一立体混响信号的立体混响格式中包括的多个信号分量当中的预定信号分量相对应的信号的第二立体混响信号，并且生成包括通过合成用于每个信号分量的第二立体混响信号和第一立体混响信号获得的第三立体混响信号的输出音频信号。在这种情况下，非剧情声道信号可以表示形成相对于听众固定的音频场景的音频信号。此外，预定信号分量可以是表示在已经收集立体混响信号的点处的声场的声压的信号分量。处理器可以被配置成利用第一滤波器对非剧情声道信号进行滤波以生成第二立体混响信号。在这种情况下，第一滤波器可以是第二滤波器的逆滤波器，该第二滤波器用于将第三立体混响信号双耳渲染为在已经接收到第三立体混响信号的输出设备中的输出音频信号。处理器可以被配置成获得关于在其中模拟输出音频信号的虚拟空间中布置的多个虚拟声道的信息，并基于多个虚拟声道的信息来生成第一滤波器。在这种情况下，多个虚拟声道的信息可以是用于渲染第三立体混响信号的多个虚拟声道。多个虚拟声道的信息可以包括表示多个虚拟声道中的每个虚拟声道的位置的位置信息。在这种情况下，处理器可以被配置成基于位置信息获得与多个虚拟声道中的每个虚拟声道的位置相对应的多个双耳滤波器，并且基于多个双耳滤波器生成第一滤波器。处理器可以被配置成基于在多个双耳滤波器中包括的滤波器系数的总和来生成第一滤波器。处理器可以被配置成基于滤波器系数的总和与多个虚拟声道的数量的逆运算结果来生成第一滤波器。第二滤波器可以包括分别与在立体混响信号中包括的每个信号分量相对应的用于每个信号分量的多个双耳滤波器。而且，第一滤波器可以是与用于每个信号分量的多个双耳滤波器当中的预定信号分量相对应的双耳滤波器的逆滤波器。第一滤波器的频率响应可以是在频域中具有恒定大小的响应。非剧情声道信号可以是由第一声道信号和第二声道信号组成的2声道信号。在这种情况下，处理器可以被配置成生成第一声道信号和第二声道信号之间的差分信号，并且生成包括差分信号和第三立体混响信号的输出音频信号。处理器可以被配置成基于通过在时域中合成第一声道信号和第二声道信号而获得的信号来生成第二立体混响信号。第一声道信号和第二声道信号可以是相对于将其中模拟第二输出音频信号的虚拟空间划分成两个区域的平面与不同区域相对应的声道信号。处理器可以被配置成对输出音频信号进行编码以生成比特流，并将所生成的比特流发送到输出设备。另外，输出设备可以是用于渲染通过对比特流进行解码而生成的音频信号的装置。当用于生成比特流的编码流的数量为N时，输出音频信号可以包括由与N-1个编码流相对应的N-1个信号分量组成的第三立体混响信号和与一个编码流相对应的差分信号。具体地，用于生成比特流的编解码器支持的编码流的最大数量可以是五。根据本公开的另一实施例的用于操作用于生成输出音频信号的音频信号处理装置的方法可以包括，获得包括第一立体混响信号和非剧情声道差分信号的输入音频信号；基于非剧情性声道信号生成仅包括与第一立体混响信号的立体混响格式中包括的多个信号分量当中的预定信号分量相对应的信号的第二立体混响信号；以及生成包括通过合成用于每个信号分量的第二立体混响信号和第一立体混响信号获得的第三立体混响信号的输出音频信号。在这种情况下，非剧情声道信号可以表示形成相对于听众固定的音频场景的音频信号。另外，预定信号分量可以是表示在已经收集立体混响信号的点处的声场的声压的信号分量。根据本专利技术的另一个实施例，用于渲染输入音频信号的音频信号处理装置可以包括处理器，该处理器被配置成获得包括立体混响信号和非剧情声道差分信号的输入音频信号，渲染立体混响信号以生成第一输出音频信号，将第一输出音频信号和非剧情声道差分信号混合以生成第二输出音频信号，并输出第二输出音频信号。在这种情况下，非剧情声道差分信号可以是表示组成2声道音频信号的第一声道信号和第二声道信号之间的差的差分信号。另外，第一声道信号和第二声道信号中的每个可以是形成相对于听众固定的音频场景的音频信号。立体混响信号可以包括基于通过将第一声道信号和第二声道信号合成而获得的信号而生成的非剧情立体混响信号。在这种情况下，非剧情立体混响信号可以仅包括与立体混响信号的立体混响格式中包括的多个信号分量当中的预定信号分量相对应的信号。另外，预定信号分量可以是表示在已经收集立体混响信号的点处的声场的声压的信号分量。具体地，非剧情立体混响信号可以是通过利用第一滤波器对通过在时域中合成第一声道信号和第二声道信号已经获得的信号进行滤波而获得的信号。在这种情况下，第一滤波器可以是第二滤波器的逆滤波器，该第二滤波器用于将立体混响信号双耳渲染为第一输出音频信号。第一滤波器可以基于关于在其中模拟第一输出音频信号的虚拟空间中布置的多个虚拟声道的信息来生成。多个虚拟声道的信息可以包括表示多个虚拟声道中的每个虚拟声道的位置的位置信息。在这种情况下，第一滤波器可以基于与多个虚拟声道中的每个虚拟声道的位置相对应的多个双耳滤波器来生成。另外，多个双耳滤波器可以基于位置信息来确定。第一滤波器可以基于在多个双耳滤波器中包括的滤波器系数的总和来生成。第一滤波器可以基于滤波器系数的总和与多个虚拟声道的数量的逆本文档来自技高网...

【技术保护点】
1.一种用于生成输出音频信号的音频信号处理装置，所述音频信号处理装置包括处理器，所述处理器被配置成：/n获得包括第一立体混响信号和非剧情声道信号的输入音频信号；/n基于所述非剧情性声道信号生成仅包括与所述第一立体混响信号的立体混响格式中包括的多个信号分量当中的预定信号分量相对应的信号的第二立体混响信号；并且/n生成包括通过合成用于每个信号分量的所述第二立体混响信号和所述第一立体混响信号获得的第三立体混响信号的输出音频信号，/n其中，所述非剧情声道信号表示形成相对于听众固定的音频场景的音频信号，并且所述预定信号分量是表示在已经收集立体混响信号的点处的声场的声压的信号分量。/n

【技术特征摘要】
【国外来华专利技术】20170817 KR 10-2017-0103988;20180516 KR 10-2018-001.一种用于生成输出音频信号的音频信号处理装置，所述音频信号处理装置包括处理器，所述处理器被配置成：
获得包括第一立体混响信号和非剧情声道信号的输入音频信号；
基于所述非剧情性声道信号生成仅包括与所述第一立体混响信号的立体混响格式中包括的多个信号分量当中的预定信号分量相对应的信号的第二立体混响信号；并且
生成包括通过合成用于每个信号分量的所述第二立体混响信号和所述第一立体混响信号获得的第三立体混响信号的输出音频信号，
其中，所述非剧情声道信号表示形成相对于听众固定的音频场景的音频信号，并且所述预定信号分量是表示在已经收集立体混响信号的点处的声场的声压的信号分量。


2.根据权利要求1所述的音频信号处理装置，其中，所述处理器被配置成利用第一滤波器对所述非剧情声道信号进行滤波以生成所述第二立体混响信号，并且
其中，所述第一滤波器是第二滤波器的逆滤波器，所述第二滤波器用于将所述第三立体混响信号双耳渲染为在已经接收到所述第三立体混响信号的输出设备中的输出音频信号。


3.根据权利要求2所述的音频信号处理装置，其中，所述处理器被配置成获得关于在其中模拟所述输出音频信号的虚拟空间中布置的多个虚拟声道的信息，并且基于所述多个虚拟声道的信息来生成所述第一滤波器，并且
其中所述多个虚拟声道的信息用于渲染所述第三立体混响信号。


4.根据权利要求1所述的音频信号处理装置，其中，所述非剧情声道信号是由第一声道信号和第二声道信号组成的2声道信号，并且
其中所述处理器被配置成生成在所述第一声道信号和所述第二声道信号之间的差分信号，并且生成包括所述差分信号和所述第三立体混响信号的输出音频信号。


5.根据权利要求4所述的音频信号处理装置，其中，所述处理器被配置成对所述输出音频信号进行编码以生成比特流，并且将所述生成的比特流发送到输出设备，
其中，所述输出设备是用于渲染通过对所述比特流进行解码而生成的音频信号的设备，并且
其中，当用于生成所述比特流的编码流的数量为N时，所述输出音频信号包括由包含与N-1个编码流相对应的N-1个信号分量组成的所述第三立体混响信号和与一个编码流相对应的所述差分信号。


6.根据权利要求5所述的音频信号处理装置，其中，由用于生成所述比特流的编解码器支持的编码流的最大数量是五。


7.一种用于渲染输入音频信号的音频信号处理装置，所述音频信号处理装置包括处理器，所述处理器被配置成：
获得包括立体混响信号和非剧情声道差分信号的输入音频信号；
渲染所述立体混响信号以生成第一输出音频信号；
将所述第一输出音频信号和所述非剧情声道差分信号混合以生成第二输出音频信号；并且
输出所述第二输出音频信号；
其中，所述非剧情声道差分信号是表示组成2声道音频信号的第一声道信号和第二声道信号之间的差的差分信号，并且所述第一声道信号和所述第二声道信号都是形成相对于听众固定的音频场景的音频信号。


8.根据权利要求7所述的音频信号处理装置，其中，所述立体混响信号包括基于通过将所述第一声道信号和所述第二声道信号合成而获得的信号而生成的非剧情立体声响信号，
其中，所述非剧情立体混响信号仅包括与所述立体混响信号的立体混响格式中包括的多个信号分量当中的预定信号分量相对应的信号，并且
其中，所述预定信号分量是表示在已经收集立体混响信号的点处的声场的声压的信号分量。


9.根据权利要求8所述的音频信号处理装置，其中，所述非剧情声道信号是通过利用第一滤波器对通过合成所述第一声道信号和所述第二声道信号已经获得的信号进行滤波而获得的信号，并且
其中，所述第一滤波器是第二滤波...

【专利技术属性】
技术研发人员：徐正勋，田相培，
申请(专利权)人：高迪奥实验室公司，
类型：发明
国别省市：韩国;KR