用于生成输出降混表示的装置、方法或计算机程序制造方法及图纸

一种用于从输入降混表示生成输出降混表示的装置，其中，输入降混表示的至少一部分根据第一降混方案，所述装置包括：升混器(200)，用于使用与第一降混方案相对应的升混方案对输入降混表示的至少所述一部分进行升混，以获得至少一个升混部分；以及降混器(300)，用于根据不同于第一降混方案的第二降混方案对至少一个升混部分进行降混。一个升混部分进行降混。一个升混部分进行降混。

【技术实现步骤摘要】
【国外来华专利技术】用于生成输出降混表示的装置、方法或计算机程序


[0001]本专利技术涉及多声道处理，并且具体地，涉及提供单声道输出的可能性的多声道处理。

技术介绍

[0002]尽管通常将立体声编码的比特流解码以在立体声系统上回放，但是并非所有能够接收立体声比特流的设备将始终能够输出立体声信号。一种可能的场景会是在仅具有单声道扬声器的移动电话上回放立体声信号。随着新兴的3GPP IVAS标准支持的多声道移动通信场景的到来，因此需要立体声到单声道降混，该降混避免了附加延迟，并且在复杂度方面尽可能地有效，同时还提供最佳可能的感知质量，其超出了使用简单的被动降混所能达到的效果。
[0003]有多种将立体声信号转换为单声道信号的方式。最直接的方式是在时域中通过被动降混[1]，通过将左声道与右声道相加并缩放结果来生成中间信号：
[0004][0005]其他更复杂的(即主动的)基于时域的降混方法包括：致力于保持信号的整体能量的能量缩放[2]、[3]、避免相消效果的相位对齐[4]以及通过相干抑制防止梳状滤波器效果[5]。
[0006]另一种方法是通过计算多个频谱带的各自的加权因子，以频率相关的方式进行能量校正。例如，这是作为MPEG
‑
H格式转换器的一部分完成的，其中降混在信号的混合QMF子频带表示上执行，该信号具有声道的附加先前相位对齐。在[7]中，类似的按照频带的降混(包括相位与时间对齐二者)已经用于参数化的低比特率模式DFT立体声，其中在DFT域中应用加权和混合。
[0007]在对立体声信号进行解码之后，时域中被动的立体声到单声道降混的解决方案不够理想，因为众所周知，纯粹被动降混具有某些缺点，例如，相位相消效果或一般的能量损失，这会(取决于项目)严重降低质量。
[0008]纯粹基于时域的其他主动降混方法消除了被动降混的一些问题，但是由于缺少频率相关的加权，仍然是次优的。
[0009]就延迟与复杂度来说，诸如IVAS(沉浸式语音和音频服务)的移动通信编解码器存在隐式限制，具有如MPEG
‑
H格式转换器的专用后处理级来应用按照频带的降混也不是一种选项，因为到频域的必要变换和反变换将不可避免地引起复杂度和延迟二者的增加。
[0010]在如[8]描述的基于DFT的立体声系统中，解码器处可获得足够好的单声道信号，该系统在解码器处仅使用基于参数的残差预测来恢复立体声信号，并且其中中间信号由[7]中描述的主动降混生成。然而，如果信号的频谱部分依赖于由M/S变换生成的立体声恢复的编码残差信号，则在立体声升混之前可用的单声道信号将不再适合。在这种情况下，单声道信号将在频谱上由以下组成：来自M/S变换的中间信号的部分(残差编码部分)(其等效
于被动降混)以及主动降混的部分(残差预测部分)。这种两种不同的降混方法的混合导致了信号中的伪影和能量失衡。

技术实现思路

[0011]本专利技术的目的是提供一种用于生成多声道解码的输出降混表示的改进构思。
[0012]该目的通过以下实现：根据权利要求1的用于生成输出降混表示的装置、根据权利要求19的多声道解码器、根据权利要求24的生成输出降混表示的方法、根据权利要求27的多声道解码的方法或者根据权利要求28的相关计算机程序。
[0013]一种用于从输入降混表示生成输出降混表示的装置，其中输入降混表示的至少一部分根据第一降混方案，该装置包括：升混器，用于使用与第一降混方案相对应的升混方案对输入降混表示的至少该一部分进行升混，以获得至少一个升混部分。此外，该装置包括：降混器，用于根据不同于第一降混方案的第二降混方案对至少一个升混部分进行降混。
[0014]在另一实施例中，输入降混表示的该部分根据降混方案，并且附加地，输入降混表示的第二部分根据不同于第一降混方案的第二降混方案。在该实施例中，降混器被配置用于根据第二降混方案或者根据不同于该降混方案和第二降混方案的第三降混方案对升混部分进行降混，以获得第一降混部分。现在，关于降混部分的情况是使得第一降混部分与第二部分相关，即在相同的降混方案域中，使得第一降混部分和第二降混部分或者从第二降混部分中导出的降混部分可以由组合器组合，以获得输出降混表示，该输出降混表示包括第一部分的输出表示和第二部分的输出表示，其中第一部分的输出表示和第二部分的输出表示基于相同的降混方案，即位于一个相同的降混域中，因此彼此“协调”。
[0015]在另一实施例中，输入降混表示的整个带宽或仅一部分基于如下降混方案：依赖于参数和残差信号或者仅依赖于残差信号而无需参数的降混方案。在这种背景下，输入降混表示包括核心信号、残差信号、或者残差信号和参数。使用辅助信息，即使用参数和残差信号或者仅使用残差信号，对该信号进行升混。升混包括包含残差信号在内的所有可用信息，并且在不同于第一降混方案的第二降混方案中执行降混，即优选为主动降混，其具有用于解决能量计算的度量，或者换言之，为不生成残差信号(优选地，不生成残差信号和任何参数)的降混方案。这种降混提供了良好且令人愉悦的高质量音频单声道渲染可能性，然而如果在没有有利地考虑残差信号和参数的情况下进行渲染，则在没有升混和随后的降混的情况下，输入降混表示的核心信号在使用时无法提供任何令人愉悦的高质量音频重现。
[0016]根据该实施例，用于生成输出降混表示的装置执行将类似于残差的降混方案转换为类似于非残差的降混方案。该转换可以在全频带中执行或者也可以在部分频带中执行。通常，在优选实施例中，多声道编码信号的低频带包括核心信号、残差信号和优选的参数。然而，在高频带中，为了支持较低比特率而提供较低的精度，因此，在这样的高频带中，主动降混是足够的，而无需诸如残差数据或参数之类的任何附加的辅助信息。在这种背景下，将残差降混域中的低频带转换到非残差降混域，并将结果与已处于“正确的”非残差降混域中的高频带组合。
[0017]在另一实施例中，无需将第一部分从第一降混域转换到第二部分所在的相同的降混域。相反，在另一些实施例中，其中第一部分在第一降混域中且输入表示的第二部分在第二降混域中，根据与第一降混方案相对应的第一升混方案，通过对第一部分进行升混，来将
这两个部分转换到另一第三降混域中。另外，根据与第二降混方案相对应的第二升混方案对第二部分进行升混，并且优选地通过主动降混将两个升混降混到第三降混方案中，而无需任何残差或参数化数据，第三降混方案不同于第一降混方案和第二降混方案。
[0018]在另一些实施例中，可以获得不同降混表示下的两个部分，具体地，为频谱部分或频谱带。借助于本专利技术，其中升混和随后的降混优选地在频谱域中执行，各个频带的各个处理可以在从一个频谱带到另一频谱带发生干扰的情况下执行。在降混器的输出处，所有频带处于相同的“降混”域中，因此存在单声道输出降混表示的频谱，可以通过频谱时间转换器将该频谱转换为时域表示，例如合成组、逆离散傅里叶变换、逆MDCT域或任何其他这样的变换。可以借助于这种合成滤波器组来实现各个频带的组合以及到时域的转换。具体地，这与组合是否本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于从输入降混表示生成输出降混表示的装置，其中，所述输入降混表示的至少一部分根据第一降混方案，所述装置包括：升混器(200)，用于使用与所述第一降混方案相对应的升混方案对所述输入降混表示的至少所述一部分进行升混，以获得至少一个升混部分；以及降混器(300)，用于根据不同于所述第一降混方案的第二降混方案对所述至少一个升混部分进行降混，以获得第一降混部分，所述第一降混部分表示针对所述输入降混表示的至少所述一部分的输出降混表示。2.根据权利要求1所述的装置，其中，所述输入降混表示的仅所述一部分根据所述第一降混方案，并且所述输入降混表示的第二部分根据所述第二降混方案，其中，所述降混器(300)被配置用于根据所述第二降混方案对所述至少一个升混部分进行降混，以获得所述第一降混部分；以及所述装置还包括组合器(400)，用于组合所述第一降混部分和所述输入降混表示的第二部分，或者组合所述第一降混部分和从所述输入降混表示的第二部分中导出的降混部分，以获得所述输出降混表示，所述输出降混表示包括针对所述输入降混表示的仅所述一部分的第一输出表示和针对所述输入降混表示的第二部分的第二输出表示，其中，针对所述输入降混表示的仅所述一部分的第一输出表示和针对所述输入降混表示的第二部分的第二输出表示基于相同的降混方案。3.根据权利要求1或2所述的装置，其中，所述输入降混表示的至少所述一部分或者所述输入降混表示的仅所述一部分是第一频段，其中，所述第一降混方案是依赖于残差信号的降混方案，以及其中，所述升混器(200)被配置为使用所述残差信号来执行升混。4.根据权利要求1、2或3所述的装置，其中，所述第二降混方案是全参数化方案，并且其中，所述降混器(300)被配置为应用所述第二降混方案。5.根据权利要求2、3或4所述的装置，其中，所述输入降混表示的第二部分是第二频段，并且其中，所述组合器(400)被配置为组合所述第一降混部分和所述输入降混表示的第二部分，以获得所述输出降混表示。6.根据前述权利要求中任一项所述的装置，还包括音频解码器(10)，用于生成针对所述输入降混表示的至少所述一部分或者所述输入降混表示的仅所述一部分的解码核心信号，并且生成针对所述输入降混表示的至少所述一部分或者所述输入降混表示的仅所述一部分的解码残差信号，其中，所述升混器(200)被配置为在所述升混方案中使用针对所述所述输入降混表示的至少所述一部分或者所述输入降混表示的仅所述一部分的解码核心信号和针对所述输入降混表示的至少所述一部分或者所述输入降混表示的仅所述一部分的解码残差信号，其中，所述降混器(300)被配置用于接收所述至少一个升混部分，所述至少一个升混部分包括比所述输入降混表示更多的声道。7.根据权利要求6所述的装置，其中，所述输入降混表示的第二部分根据所述第二降混方案，其中，所述音频解码器(10)被配置用于生成针对所述输入降混表示的第二部分的解码核心信号，并且生成针对所述输入降混表示的至少所述一部分或者所述输入降混表示的仅所述一部分的解码残差信号，并且其中，所述组合器(400)被配置为组合所述第一降混部
分和针对所述输入降混表示的第二部分的解码核心信号。8.根据前述权利要求中的一项所述的装置，还包括：时间到频谱转换器(100)，用于将所述输入降混表示的至少所述一部分或者所述输入降混表示的仅所述一部分的时域输入降混表示转换到频谱域；以及频谱到时间转换器(400)，用于将输出信号转换到时域，以获得所述输出降混表示，其中，所述时间到频谱转换器(100)或者所述频谱到时间转换器(400)被配置为执行重叠和相加处理或者从较早时间块到稍后时间块执行交叉处理，或者还包括输出接口(500)，用于向渲染设备输出所述输出降混表示，或者还包括渲染设备，用于将所述输出降混表示渲染为单声道重播信号，或者其中，所述降混器(300)被配置为将以下降混方案应用为所述第二降混方案：主动降混方案、节能降混方案或其中降混信号的目标能量与从第一声道和第二声道中导出的中间声道的能量的比例在预定比例中的降混方案，其中，所述第一声道和所述第二声道中的至少一个在相加到一起以形成所述输入降混表示之前被相位旋转。9.根据权利要求8所述的装置，其中，所述输入降混表示的第二部分根据第二降混，其中，所述时间到频谱转换器(100)被配置用于将所述输入降混表示的第二部分的时域输入降混表示转换到频谱域，或者其中，所述预定比例指示相对于第一原始声道和第二原始声道的能量中较高的能量相等或具有3dB的偏差范围。10.根据前述权利要求中的一项所述的装置，其中，所述输入降混表示的至少所述一部分根据所述第一降混方案，所述第一降混方案依赖于残差信号或者依赖于残差信号和参数化信息，其中，所述升混器(200)被配置用于分别使用与所述第一降混方案相对应的升混方案并且使用所述残差信号或所述残差信号和所述参数化信息，来对所述输入降混表示的至少所述一部分的输入降混表示进行升混，以获得所述至少一个升混部分；以及其中，所述降混器(300)被配置用于根据不同于所述第一降混方案的所述第二降混方案，对所述至少一个升混部分进行降混，以获得包括至少一个降混部分的输出降混表示，其中，所述第二降混方案是主动降混方案或全参数化降混方案。11.根据权利要求10所述的装置，还包括输出接口(500)，用于向渲染设备输出所述输出降混表示，或者还包括渲染设备，用于将所述输出降混表示渲染为单声道重播信号。12.根据权利要求10或11所述的装置，其中，所述降混器(300)被配置为将以下降混方案应用为主动降混方案：节能降混方案或其中降混信号的目标能量相对于从第一声道和第二声道中导出的中间声道的能量的比例在预定比例中的降混方案，其中，所述第一声道和所述第二声道中的至少一个在相加到一起之前被相位旋转。13.根据权利要求10、11或12所述的装置，其中，所述输入降混表示的至少所述一部分包括所述输入降混表示的全部带宽。14.根据前述权利要求中的一项所述的装置，其中，所述降混器(300)被配置为执行所述第二降混方案，所述第二降混方案包括：针对所述至少一个升混部分的频谱带，计算(800)第一声道的第一权重和第二声道的第二权重，所述频谱带包括多条频谱线；以及
将所述第一权重应用于(820)所述第一声道的频谱带的频谱线，并且将所述第二权重应用于所述第二声道的频谱带的频谱线，并且将第一经加权线和第二经加权线相加，以获得频谱带中的降混频谱线，并且其中，所述装置被配置为将所述降混频谱线转换(840)到时域，以获得所述输出降混表示的时域样本。15.根据权利要求14所述的装置，其中，使用所述第一声道和所述第二声道的能量以及目标能量，按照频带来执行所述第一权重和所述第二权重的计算。16.根据权利要求15所述的装置，其中，所述目标能量等于经相位旋转的中间声道的能量，或者是从所述第一声道、所述第二声道的能量并且从所述第一声道与所述第二声道之间的相关值中导出的。17.根据权利要求14至16中的一项所述的装置，其中，针对频谱带计算所述第一权重和所述第二权重包括：计算(802)所述频谱带中的第一声道的幅度相关度量；计算(804)所述频谱带中的第二声道的幅度相关度量；计算(806)所述频谱带中的第一声道与第二声道的线性组合的幅度相关度量；计算(808)所述频谱带中的所述第一声道与所述第二声道之间的互相关度量；以及使用所述第一声道的幅度相关度量、所述第二声道的幅度相关度量、所述线性组合的幅度相关度量以及所述互相关度量来计算(810)所述第一权重和所述第二权重。18.根据前述权利要求中的一项所述的装置，其中，所述升混器(200)被配置为执行升混方案，所述升混方案包括：使用频谱带的预测参数和所述频谱带的残差信号线以及第一计算规则，根据所述输入降混表示的至少所述一部分或者所述输入降混表示的仅所述一部分的频谱带的频谱线，来针对所述输入降混表示的至少所述一部分或者所述输入降混表示的仅所述一部分的频谱带，计算第一声道频谱线，以及使用频谱带的预测参...

【专利技术属性】
技术研发人员：弗伦茨，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：