信号处理装置、方法和程序制造方法及图纸

本技术涉及甚至使低成本装置能够执行高质量音频再现的信号处理装置、方法和程序。信号处理装置包括：获取单元，获取第一音频信号、用于第一音频信号的频带扩展的第一频带扩展信息和用于通过对第一音频信号执行预定信号处理获取的第二音频信号的频带扩展的第二频带扩展信息；选择单元，选择基于第一频带扩展信息和第二频带扩展信息中的哪一个执行频带扩展；以及频带扩展单元，基于选择的第一频带扩展信息或第二频带扩展信息，以及第一音频信号或第二音频信号，执行频带扩展，并生成第三音频信号。本技术可以应用于信号处理装置。本技术可以应用于信号处理装置。本技术可以应用于信号处理装置。

【技术实现步骤摘要】
【国外来华专利技术】信号处理装置、方法和程序


[0001]本技术涉及信号处理装置、方法和程序，并且具体地涉及甚至使低成本装置能够执行高质量音频再现的信号处理装置、方法和程序。

技术介绍

[0002]过去，在视频、游戏等中使用对象音频技术，并且还开发了可以处理对象音频的编码方法。具体地，例如，MPEG(运动图像专家组)
‑
H第3部分：3D音频标准(其是国际标准)是已知的(例如，参考非专利文献1)。
[0003]利用这种编码方法，可以与传统的双声道立体声方法或具有5.1声道的多声道立体声方法等一起，将运动的声源等作为独立的音频对象(在下文中，可以简单地称为对象)来处理，并且将对象的位置信息连同音频对象的信号数据一起编码为元数据。
[0004]因此，可以在具有不同扬声器数量和布置的各种观看/收听环境中执行再现。此外，可以容易地在再现时处理来自特定声源的声音，例如，对于来自特定声源的声音的音量调整，或者对来自特定声源的声音添加效果，这在传统的编码方法中是困难的。
[0005]利用这种编码方法，在解码侧上执行关于比特流的解码，并且获取元数据，所述元数据包括作为对象位置信息的音频信号的对象信号和指示对象在空间中的位置的对象位置信息。
[0006]基于对象位置信息，执行用于在虚拟布置在空间中的多个虚拟扬声器中的每处渲染对象信号的渲染处理。例如，在非专利文献1的标准中，在渲染处理中使用被称为三维VBAP(Vector Based Amplitude Panning)(以下简称为VBAP)的方法。
>[0007]此外，当通过渲染处理获取对应于各个虚拟扬声器的虚拟扬声器信号时，基于虚拟扬声器信号执行HRTF(头相关传输函数)处理。在该HRTF处理中，生成用于使声音从实际耳机或扬声器输出(好像声音从虚拟扬声器再现)的输出音频信号。
[0008]在实际再现这样的对象音频的情况下，当可以将许多实际扬声器布置在空间中时，执行基于虚拟扬声器信号的再现。此外，当不能布置许多扬声器并且使用少量的扬声器(诸如，使用耳机或者声吧)再现对象音频时，执行基于上述输出音频信号的再现。
[0009]相反，近年来，由于存储价格的下降或者宽带网络的变化，具有96kHz以上的采样频率的通常所谓的高分辨率声源(换言之，高分辨率声源)已经开始被欣赏。
[0010]在非专利文献1中记载的编码方法中，作为有效地对高分辨率声源进行编码的技术，可以使用SBR(Spectral Band Replication)等技术。
[0011]例如，在SBR的编码侧，不对频谱的高范围分量进行编码，并且仅对高范围子带信号的平均振幅信息进行编码并发送该高范围子带的数目。
[0012]在解码侧上，基于低范围子带信号和用于高范围的平均振幅信息生成包括低范围分量和高范围分量的最终输出信号。结果，可以实现更高质量的音频再现。
[0013]利用这种技术，在人对高范围信号分量的相位变化不敏感并且其频率包络的轮廓接近原始信号的情况下，利用不能感知其间的差异的听力特性。这种技术作为典型的频带
扩展技术而广为人知。
[0014][引用列表][0015][非专利文献][0016][非专利文献1][0017]国际标准ISO/IEC 23008
‑
3第二版2019
‑
02Information technology
‑
High efficiency coding and media delivery in heterogeneous environments
‑
Part 3:3D audio。

技术实现思路

[0018][技术问题][0019]顺便提及，在结合如上所述的对象音频的渲染处理或HRTF处理执行频带扩展的情况下，在对每个对象的对象信号执行频带扩展处理之后执行渲染处理或HRTF处理。
[0020]在这种情况下，由于对大量对象独立地执行频带扩展处理，因此处理负荷(换言之，计算量)变大。此外，在频带扩展处理之后，由于对通过频带扩展获取的具有较高采样频率的信号执行渲染处理或HRTF处理，因此处理负荷进一步增加。
[0021]因此，诸如具有低成本处理器或电池的装置的低成本装置(换言之，具有低运算处理能力的装置或具有低电池容量的装置)不能执行频带扩展，并且因此不能执行高质量音频再现。
[0022]鉴于这种情况做出本技术，并且甚至利用低成本设备能够执行高质量的音频再现。
[0023][问题的解决方案][0024]根据本技术的一个方面的信号处理装置包括：获取单元，获取第一音频信号、用于第一音频信号的频带扩展的第一频带扩展信息和用于通过对第一音频信号执行预定信号处理获取的第二音频信号的频带扩展的第二频带扩展信息；选择单元，基于第一频带扩展信息和第二频带扩展信息中的哪一个执行频带扩展；以及频带扩展单元，基于所选择的第一频带扩展信息或第二频带扩展信息以及第一音频信号或第二音频信号，执行频带扩展并且生成第三音频信号。
[0025]根据本技术的一个方面的信号处理方法或程序包括以下步骤：获取第一音频信号、用于第一音频信号的频带扩展的第一频带扩展信息以及用于通过对第一音频信号执行预定信号处理获取的第二音频信号的频带扩展的第二频带扩展信息；选择基于第一频带扩展信息和第二频带扩展信息中的哪一个执行频带扩展，基于所选择的第一频带扩展信息或第二频带扩展信息以及第一音频信号或第二音频信号，执行频带扩展并且生成第三音频信号。
[0026]在本技术的一个方面中，获取第一音频信号、用于第一音频信号的频带扩展的第一频带扩展信息、以及用于通过对第一音频信号执行预定信号处理而获取的第二音频信号的频带扩展的第二频带扩展信息，选择第一频带扩展信息和第二频带扩展信息中的哪一个来执行频带扩展，并且基于选择的第一频带扩展信息或第二频带扩展信息以及第一音频信号或第二音频信号，执行频带扩展并且生成第三音频信号。
附图说明
[0027]图1是用于描述输出音频信号的生成的示图。
[0028]图2是用于描述VBAP的示图。
[0029]图3是用于描述HRTF处理的示图。
[0030]图4是用于描述频带扩展处理的示图。
[0031]图5是用于描述频带扩展处理的示图。
[0032]图6是示出信号处理装置的配置的实例的示图。
[0033]图7是示出输入比特流的语法实例的示图。
[0034]图8是用于描述信号生成处理的流程图。
[0035]图9是示出信号处理装置的配置的实例的示图。
[0036]图10是示出编码器的配置的实例的示图。
[0037]图11是用于描述编码处理的流程图。
[0038]图12是示出信号处理装置的配置的实例的示图。
[0039]图13是用于描述信号生成处理的流程图。
[0040]图14是示出了信号处理装置的配置的实例的示图。
[0041]图本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种信号处理装置，包括：获取单元，获取第一音频信号、用于所述第一音频信号的频带扩展的第一频带扩展信息以及用于通过对所述第一音频信号执行预定信号处理而获取的第二音频信号的频带扩展的第二频带扩展信息；选择单元，选择基于所述第一频带扩展信息和所述第二频带扩展信息中的哪一个执行所述频带扩展；以及频带扩展单元，基于选择的所述第一频带扩展信息或所述第二频带扩展信息，以及所述第一音频信号或所述第二音频信号，执行所述频带扩展并生成第三音频信号。2.根据权利要求1所述的信号处理装置，其中所述选择单元基于所述信号处理装置的计算资源、所述信号处理装置的功耗量、所述信号处理装置的剩余电量以及基于所述第三音频信号的内容再现时间段中的至少任意一项，选择基于所述第一频带扩展信息和所述第二频带扩展信息中的哪一个执行所述频带扩展。3.根据权利要求1所述的信号处理装置，其中所述第一音频信号包括对象音频的对象信号，以及所述预定信号处理包括虚拟化处理和关于虚拟扬声器的渲染处理中的至少一项。4.根据权利要求3所述的信号处理装置，其中所述第二音频信号是通过所述渲染处理获取的所述虚拟扬声器的虚拟扬声器信号，或者通过所述虚拟化处理获取的再现装置的驱动信号。5.根据权利要求4所述的信号处理装置，其中所述再现装置包括扬声器或耳机。6.根据权利要求4所述的信号处理装置，其中所述第二频带扩展信息是与所述虚拟扬声器信号对应的、具有比所述虚拟扬声器信号更高的采样频率的虚拟扬声器信号的高范围信息，或者是与所述驱动信号对应的、具有比所述驱动信号更高的采样频率的驱动信号的高范围信息。7.根据权利要...

【专利技术属性】
技术研发人员：本间弘幸，知念彻，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：