提供了一种视频解码器，具有：一个或多个解码器插件，其为一个或多个相应基础解码器提供包装器以实施基础解码层从而对经编码视频信号进行解码，每一包装器实施用于与对应基础解码器进行数据交换的接口；增强解码器，其用以实施增强解码层，所述增强解码器被配置成：接收经编码增强信号；且对所述经编码增强信号进行解码以获得残差数据的一个或多个层，残差数据的所述一个或多个层基于从经解码视频信号导出的数据与从原始输入视频信号导出的数据的比较来产生；以及解码器集成层，其用以控制所述一个或多个解码器插件和所述增强解码器的操作以使用来自所述增强编码层的残差数据的所述一个或多个层产生所述原始输入视频信号的经解码重构，其中所述解码器集成层为所述视频解码器提供控制接口。还提供了一种系统、方法和计算机可读介质。方法和计算机可读介质。方法和计算机可读介质。
【技术实现步骤摘要】
【国外来华专利技术】集成用于分层视频编码的解码器
[0001]本专利技术涉及用于使用分层编码格式以及解码器和解码系统对信号，例如视频信号进行解码的方法。本专利技术尤其涉及一种用于将分层解码器，优选地LCEVC解码器集成到应用程序或客户端中的视频解码器。
技术介绍
[0002]先前已经在例如WO 2014/170819和WO 2018/046940(其内容以引入的方式并入本文中)中提出了混合式后向兼容编码技术。基于层的编码格式的其它示例包含ISO/IEC MPEG
‑
5第2部分LCEVC(下文称为“LCEVC”)。LCEVC在WO 2020/188273A1和相关联标准规范文件中进行了描述，相关联标准规范文件包含在2020年1月13日星期一至2020年1月17日星期五在布鲁塞尔举行的MPEG 129会议上公布的ISO/IEC DIS 23094
‑
2低复杂度增强视频编码草案，两份文件都以引用的方式全文并入本文中。
[0003]在这些编码格式中，信号被分解成多个数据“梯队”(也称为“分级层”)，每个梯队对应于“质量层级”，从原始信号的采样率的最高梯队到最低梯队。最低梯队通常为原始信号的低质量再现且其它梯队含有关于应用于重构再现以便产生最终输出的校正的信息。
[0004]LCEVC采用此多层方法，其中可经由额外低位率流增强任何基础编解码器(例如，高级视频编码
‑
AVC，也称为H.264或高效视频编码
‑
HEVC，也称为H.265)。LCEVC由两个分量流定义：基础流，其通常可由硬件解码器解码；和增强流，其由适合于具有可持续功耗的软件处理实施方案的一个或多个增强层组成。所述增强为现有编解码器提供改进的压缩效率，并降低编码和解码复杂性。
[0005]由于LCEVC和类似编码格式充分利用现有解码器且本质上为后向兼容的，因此需要与现有视频编码实施方案进行高效且有效的集成而无需完全重新设计。已知视频编码实施方案的示例包含软件工具FFmpeg，其由简单媒体播放器FFplay使用。
[0006]此外，LCEVC不限于已知编解码器且理论上能够充分利用尚待开发的编解码器。因而，任何LCEVC实施方案应能够与以硬件或软件实施的任何迄今已知或尚待开发的编解码器集成，而不会引入编码复杂性。
技术实现思路
[0007]本专利技术的各方面和变化在所附权利要求中阐述。在下面的详细描述中进一步阐述了某些未要求保护的方面。
[0008]根据一个方面，提供有一种视频解码器，包括：一个或多个解码器插件，其为一个或多个相应基础解码器提供包装器以实施基础解码层从而对经编码视频信号进行解码，每一包装器实施用于与对应基础解码器进行数据交换的接口；增强解码器，其用以实施增强解码层，所述增强解码器被配置成：接收经编码增强信号；且对经编码增强信号进行解码以获得残差数据的一个或多个层，残差数据的所述一个或多个层基于从经解码视频信号导出的数据与从原始输入视频信号导出的数据的比较来产生；以及解码器集成层，其用以控制
一个或多个解码器插件和增强解码器的操作以使用来自基础编码层的经解码视频信号和来自增强编码层的残差数据的所述一个或多个层产生原始输入视频信号的经解码重构，其中解码器集成层为视频解码器提供控制接口。
[0009]优选地，增强解码器为LCEVC解码器，使得解码器集成层、一个或多个插件和增强解码器共同提供LCEVC解码软件解决方案。LECVC解码软件堆叠可实施于一个或多个LCEVC解码器库中且因此提供用于对MPEG
‑
5增强流进行解码的优化软件库。
[0010]LCEVC解码非常轻量级，与原生基础编解码器解码相比，常常释放资源并匹配或减少电池功耗。以上方面提供所有平台上的LCEVC的快速部署，包含支持不同基础编码和解码器实施方案。
[0011]解码器集成层还可包含控制用以向上按比例缩放来自基础编码层的经解码视频信号的向上按比例缩放操作的操作，使得残差数据的所述一个或多个层可应用于来自基础编码层的经解码视频信号。
[0012]解码器可易于实施于例如iOS(RTM)、安卓(RTM)和Windows(RTM)等平台上的流行媒体播放器上。
[0013]一个或多个解码器插件可被配置成通过库函数调用或操作系统函数调用来指示对应基础解码器。举例来说，取决于操作系统，函数调用可包含安卓(RTM)mediacodec、VTDecompressionSession和MFT。因此，可易于支持不同基础解码实施方案，包含操作系统内的原生实施方案和硬件加速解码。
[0014]解码器集成层可被配置成将来自增强编码层的残差数据的一个或多个层应用于来自基础编码层的经解码视频信号以产生原始输入视频信号的经解码重构。在某些情况下，解码器集成层可指示来自解码器插件集合的插件应用残差数据的一个或多个层；在其它情况下，解码器集成层可从基础编码层获得使用解码器插件指示的经解码输出且将此与增强解码器的输出组合。优选地，残差数据层可在回放期间应用。
[0015]在某些实施例中，解码器集成层被配置成接收：一个或多个输入缓冲器，其按编码次序包括经编码视频信号和经编码增强信号，其中一个或多个输入缓冲器还馈送到基础解码器；和按呈现次序来自基础编码层的经解码视频信号的一个或多个基础解码帧。以此方式，客户端需要最少处理，且集成负责客户端的操作。相同输入缓冲器可被传递到基础解码层和增强解码层以辅助简化。
[0016]在尤其优选实施例中，控制接口包括输出类型配置参数，其中解码器集成层被配置成基于输出类型配置参数的值改变原始输入视频信号的经解码重构如何输出。输出类型配置参数的值可存储于在初始化后由解码器集成层检索的配置数据结构中。
[0017]在经配置输出的一个示例中，解码器集成层被配置成输出原始输入视频信号的经解码重构作为一个或多个缓冲器。在另一示例中，解码器集成层被配置成输出原始输入视频信号的经解码重构作为一个或多个屏幕上表面。替代地，解码器集成层被配置成输出原始输入视频信号的经解码重构作为一个或多个屏幕外纹理。这三个示例输出中的每一个可由输出类型配置参数选择。
[0018]在输出被选择为一个或多个屏幕外纹理的情况下，控制接口可包括显现指令，并且当解码器集成层接收显现指令时，解码器集成层可被配置成显现屏幕外纹理。当客户端想要精细管理每一帧的显示时间且可能保持经解码帧的队列在正确时间准备好显示时，这
尤其有用。对于此使用，提供单独显现函数，即显现指令。
[0019]控制接口可包括管线模式参数，其中解码器集成层被配置成基于管线模式参数的值控制待执行于中央处理单元(CPU)或图形处理单元(GPU)上的增强层的阶段。举例来说，在一个管线模式下，所有LCEVC阶段可执行于CPU中，而GPU仅用于可能的颜色分量(例如，YUV/RGB)转换。类似地，在另一模式下，可使用图形库(GL)着色器在GPU中执行大多数LCEVC阶段，包含颜色分量(例如，YUV/RGB)转换，而C本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种视频解码器，其包括：一个或多个解码器插件，其为一个或多个相应基础解码器提供包装器以实施基础解码层从而对经编码视频信号进行解码，每一包装器实施用于与对应基础解码器进行数据交换的接口；增强解码器，其用以实施增强解码层，所述增强解码器被配置成：接收经编码增强信号；且对所述经编码增强信号进行解码以获得残差数据的一个或多个层，残差数据的所述一个或多个层基于从经解码视频信号导出的数据与从原始输入视频信号导出的数据的比较来产生，以及解码器集成层，其用以控制所述一个或多个解码器插件和所述增强解码器的操作以使用来自基础编码层的经解码视频信号和来自所述增强编码层的残差数据的所述一个或多个层产生所述原始输入视频信号的经解码重构，其中所述解码器集成层为所述视频解码器提供控制接口。2.根据权利要求1所述的视频解码器，其中所述一个或多个解码器插件被配置成通过库函数调用或操作系统函数调用指示所述对应基础解码器。3.根据权利要求1或2所述的视频解码器，其中所述解码器集成层被配置成将来自所述增强编码层的残差数据的所述一个或多个层应用于来自所述基础编码层的所述经解码视频信号以产生所述原始输入视频信号的所述经解码重构。4.根据前述权利要求中任一项所述的视频解码器，其中所述解码器集成层被配置成获得：来自一个或多个输入缓冲器的按编码次序包括所述经编码视频信号和所述经编码增强信号的数据，其中所述一个或多个输入缓冲器还馈送到所述基础解码器；和按呈现次序来自所述基础编码层的所述经解码视频信号的一个或多个基础解码帧。5.根据前述权利要求中任一项所述的视频解码器，其中所述控制接口包括输出类型配置参数，其中所述解码器集成层被配置成基于所述输出类型配置参数的值而改变所述原始输入视频信号的所述经解码重构如何输出。6.根据前述权利要求中任一项所述的视频解码器，其中所述解码器集成层被配置成输出所述原始输入视频信号的所述经解码重构作为一个或多个缓冲器。7.根据权利要求1至5中任一项所述的视频解码器，其中所述解码器集成层被配置成输出所述原始输入视频信号的所述经解码重构作为一个或多个屏幕上表面。8.根据权利要求1至5中任一项所述的视频解码器，其中所述解码器集成层被配置成输出所述原始输入视频信号的所述经解码重构作为一个或多个屏幕外纹理。9.根据权利要求8所述的视频解码器，其中所述控制接口包括显现指令，并且当所述解码器集成层接收所述显现指令时，所述解码器集成层被配置成显现所述一个或多个屏幕外纹理。10.根据前述权利要求中任一项所述的视频解码器，其中所述控制接口包括管线模式参数，其中所述解码器集成层被配置成基于所述管线模式参数的值控制待执行于CPU或GPU上的增强层的阶段。11.根据前述权利要求中任一项所述的视频解码器，其中所述解码器集成层被配置成
后退以传递所述基础解码层的输出作为所述原始输入视频信号的所述经解码重构，其中未接收到经编码增强信号。12.根据前述权利要求中任一项所述的视频解码器，其中所述控制接口包括跳帧指令且其中所述解码器集成层被配置成响应于接收到所述跳帧指令而控制所述操作以不对所述经编码增强信号...
【专利技术属性】
技术研发人员：F，
申请(专利权)人：威诺瓦国际有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。