自适应差域空间和时间参考重构及平滑制造技术

根据某些方面的用于对视频信息进行译码的设备包含存储器单元和与所述存储器单元通信的处理器。所述存储器单元存储与从所述视频信息的增强层与对应基础层之间的差导出的像素信息的差视频层相关联的差视频信息。所述处理器确定增强层权重和基础层权重，且确定基于所述差视频层的当前视频单元的值、以所述增强层权重加权的所述增强层中的视频单元的值，以及以所述基础层权重加权的所述基础层中的视频单元的值。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及视频译码。
技术介绍
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置，及其类似物。数字视频装置实施视频译码技术，例如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)、当前在开发的高效视频译码(HEVC)标准所定义的标准和这些标准的扩展中所描述的技术。视频装置可通过实施此类视频译码技术来更有效地发射、接收、编码、解码和/或存储数字视频信息。视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中固有的冗余。针对基于块的视频译码，视频切片(例如，视频帧或视频帧的一部分)可分割为若干视频块，所述视频块也可被称为树块、译码单元(CU)和/或译码节点。图片的经帧内译码(I)切片中的视频块是相对于同一图片中的相邻块中的参考样本使用空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可相对于同一图片中的相邻块中的参考样本使用空间预测，或相对于其它参考图片中的参考样本使用时间预测。图片可称为帧，且参考图片可称为参考帧。空间或时间预测针对待译码的块产生预测性块。残余数据表示在待译码的原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本的块的运动向量及指示在经译码块与预测性块之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式及残余数据来编码。为进行进一步压缩，可将残余数据从像素域变换到变换域，从而产生接着可被量化的残余变换系数。最初以二维阵列布置的经量化变换系数可经扫描，以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多的压缩。
技术实现思路
大体上，本专利技术描述涉及可缩放视频译码(SVC)的技术。更具体来说，本专利技术的技术涉及差域译码中的帧内和帧间预测。在一些实例中，所述技术可将不同权重指派于来自增强层的参考帧以及来自经重构基础层的参考帧，以便产生用于差域的参考帧。在一些实例中，所述技术可将不同权重指派于来自增强层的空间相邻像素以及来自经重构基础层的空间相邻像素，以便产生用于帧内预测的差域的相邻像素。通过将权重值指派于EL和经重构BL，所述技术可考虑同一层中的帧之间的弱的空间和时间相关和/或EL与BL之间的弱相关。举例来说，EL和BL在其呈现的图片方面可能极为不同。在此情况下，在产生差域参考帧时可对EL参考帧给出较大权重。或者，可对经重构BL参考而非EL参考帧给出较大权重。在一些实例中，所述技术也可将平滑滤波器或低通滤波器应用于差域中的参考帧以用于帧间预测，或将平滑滤波器或低通滤波器应用于差域中的空间相邻像素以便减少差域中可能存在的高频噪声。所述技术可应用简单的平滑滤波器，例如1∶2∶1滤波器，以便保持纹理而不增加计算复杂性。可应用任何平滑滤波器，只要应用滤波器的益处超过额外计算复杂性即可。根据某些方面的用于对视频信息进行译码的设备包含存储器单元和与所述存储器单元通信的处理器。所述存储器单元存储与从所述视频信息的增强层与对应基础层之间的差导出的像素信息的差视频层相关联的差视频信息。所述处理器确定增强层权重和基础层权重，且确定基于所述差视频层的当前视频单元的值、以所述增强层权重加权的所述增强层中的视频单元的值，以及以所述基础层权重加权的所述基础层中的视频单元的值。根据某些方面的用于对视频信息进行译码的设备包含存储器单元和与所述存储器单元通信的处理器。所述存储器单元存储与从所述视频信息的增强层与对应基础层之间的差导出的像素信息的差视频层相关联的差视频信息。所述处理器基于差视频层内的参考视频单元或空间相邻视频单元来确定视频单元的值，且将平滑滤波器应用于参考视频单元或空间相邻视频单元。在附图和以下描述中陈述一或多个实例的细节。从描述和附图以及从权利要求书将明了其它特征、目标和优点。附图说明图1是说明可利用根据本专利技术中描述的方面的技术的实例性视频编码和解码系统的框图。图2是说明可实施根据本专利技术中描述的方面的技术的实例性视频编码器的框图。图3是说明可实施根据本专利技术中描述的方面的技术的实例性视频解码器的框图。图4是说明根据本专利技术的方面的自适应加权差域参考重构的概念图。图4A是说明根据本专利技术的方面的自适应加权差域参考重构的概念图。图5是说明根据本专利技术的方面的差域参考的平滑的概念图。图5A是说明根据本专利技术的方面的差域参考的平滑的概念图。图6是说明根据本专利技术的方面的用于自适应地产生差域参考的实例性方法的流程图。图6A是说明根据本专利技术的方面的用于自适应地产生差域参考的实例性方法的流程图。图6B是说明根据本专利技术的方面的用于自适应地产生差域参考的另一实例性方法的流程图。图7是说明根据本专利技术的方面的用于平滑差域参考的实例性方法的流程图。图7A是说明根据本专利技术的方面的用于平滑差域参考的另一实例性方法的流程图。具体实施方式本专利技术中描述的技术大体上涉及可缩放视频译码(SVC)。举例来说，所述技术可涉及高效视频译码(HEVC)可缩放视频译码(SVC)扩展且与其一起使用或在其内使用。在SVC扩展中，可存在多个视频信息层。在极底部层级处的层可用作基础层(BL)，且在极顶部处的层可用作经增强层(EL)。“经增强层”有时称为“增强层”，且这些术语可以可互换方式使用。中间的所有层可用作EL或BL中的任一者或两者。举例来说，中间的层可为用于其下方的层(例如基础层或任何介入的增强层)的EL，且同时用作用于其上方的增强层的BL。仅为了说明目的，本专利技术中描述的技术是以包含仅两个层(例如，例如基础层的较低层级层，和例如经增强层的较高层级层)的实例来描述。应了解，本专利技术中描述的实例也可扩展到具有多个基础层和增强层的实例。视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IEC MPEG-2视觉、ITU-T H.263、ISO/IEC MPEG-4视觉和ITU-T H.264(也称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。另外，新的视频译码标准，即高效视频译码(本文档来自技高网...

【技术保护点】
一种经配置以对视频信息进行译码的设备，所述设备包括：存储器单元，其经配置以存储与从所述视频信息的增强层与对应基础层之间的差导出的像素信息的差视频层相关联的差视频信息；以及处理器，其与所述存储器单元通信，所述处理器经配置以：确定增强层权重和基础层权重；以及确定基于所述差视频层的当前视频单元的值、以所述增强层权重加权的所述增强层中的视频单元的值，以及以所述基础层权重加权的所述基础层中的视频单元的值。

【技术特征摘要】
【国外来华专利技术】2012.07.09 US 61/669,545;2012.09.27 US 61/706,739;1.一种经配置以对视频信息进行译码的设备，所述设备包括：
存储器单元，其经配置以存储与从所述视频信息的增强层与对应基础层之间的差
导出的像素信息的差视频层相关联的差视频信息；以及
处理器，其与所述存储器单元通信，所述处理器经配置以：
确定增强层权重和基础层权重；以及
确定基于所述差视频层的当前视频单元的值、以所述增强层权重加权的所述增
强层中的视频单元的值，以及以所述基础层权重加权的所述基础层中的视频单元
的值。
2.根据权利要求1所述的设备，其中所述确定增强层权重和基础层权重是基于所述增
强层与所述基础层之间的相似性。
3.根据权利要求1所述的设备，其中所述增强层中的所述视频单元是所述增强层中的
参考视频单元，且所述基础层中的所述视频单元是所述基础层中的参考视频单元。
4.根据权利要求3所述的设备，其中所述当前视频单元是与所述差视频层相关联的差
视频单元，且其中所述当前视频单元的所述值是基于与所述差视频层相关联的差参
考视频单元来确定，所述差参考视频单元是从所述经加权增强层视频单元和所述经
加权基础层视频单元的差导出。
5.根据权利要求1所述的设备，其中所述增强层中的所述视频单元是所述增强层中的
空间相邻视频单元，且所述基础层中的所述视频单元是所述基础层中的空间相邻视
频单元。
6.根据权利要求5所述的设备，其中所述当前视频单元是与所述差视频层相关联的差
视频单元，且其中所述当前视频单元的所述值是基于与所述差视频层相关联的差空
间相邻视频单元来确定，所述差空间相邻视频单元是从所述经加权增强层视频单元
和所述经加权基础层视频单元的差导出。
7.根据权利要求1所述的设备，其中所述处理器进一步经配置以通过产生所述当前视
频单元的预测单元来确定所述当前视频单元值。
8.根据权利要求1所述的设备，其中所述处理器进一步经配置以使用基于所述差视频
层中的参考帧的帧间预测来确定所述当前视频单元的所述值。
9.根据权利要求1所述的设备，其中所述处理器进一步经配置以使用基于所述差视频
层中的空间相邻像素的帧内预测来确定所述当前视频单元的所述值。
10.根据权利要求1所述的设备，其中所述增强层权重大于所述基础层权重，且所述增
强层权重为2的幂。
11.根据权利要求1所述的设备，其中所述当前视频单元的所述值经预测为W1*所述
增强层视频单元-W0*所述基础层视频单元+舍入值，其中W1为所述增强层权重且
W0为所述基础层权重。
12.根据权利要求11所述的设备，其中所述舍入值在位流中用信号表示或至少部分地
从位流中的信息导出。
13.根据权利要求12所述的设备，其中所述舍入值是在选自包括以下各项的群组的语
法层级处译码：帧、切片、最大译码单元LCU、译码单元CU、块、像素和子像素。
14.根据权利要求1所述的设备，其中所述增强层权重和所述基础层权重是在选自包括
以下各项的群组的语法层级处译码：帧、切片、最大译码单元LCU、译码单元CU、
预测单元PU、块、像素和子像素，且其中所述增强层权重和所述基础层权重是针
对选自包括以下各项的群组的信号分量来译码：仅亮度分量、仅色度分量，以及亮
度和色度分量的任一组合。
15.根据权利要求1所述的设备，其中所述当前视频单元选自包括以下各项的群组：帧、
切片、最大译码单元LCU、译码单元CU、块、像素和子像素。
16.根据权利要求1所述的设备，其中所述基础层是经重构基础层。
17.根据权利要求1所述的设备，其中所述处理器进一步经配置以对所述当前视频单元
进行编码且在位流中用信号表示所述增强层权重和所述基础层权重。
18.根据权利要求1所述的设备，其中所述处理器进一步经配置以对所述当前视频单元
进行解码且在位流中接收所述增强层权重和所述基础层权重或至少部分地从位流
中的信息导出所述增强层权重和所述基础层权重。
19.根据权利要求1所述的设备，其中所述设备选自由以下各项中的一或多者组成的群
组：桌上型计算机、笔记本计算机、膝上型计算机、平板计算机、机顶盒、电话手
持机、智能电话、智能板、电视机、相机、显示装置、数字媒体播放器、视频游戏
控制台以及视频流式传输装置。
20.一种对视频信息进行译码的方法，其包括：
存储与从所述视频信息的增强层与对应基础层之间的差导出的像素信息的差视
频层相关联的差视频信息；
确定增强层权重和基础层权重；以及
确定基于所述差视频层的当前视频单元的值、以所述增强层权重加权的所述增强
层中的视频单元的值，以及以所述基础层权重加权的所述基础层中的视频单元的
值。
21.根据权利要求20所述的方法，其中所述确定增强层权重和基础层权重是基于所述
增强层与所述基础层之间的相似性。
22.根据权利要求20所述的方法，其中所述增强层中的所述视频单元是所述增强层中
的参考视频单元，且所述基础层中的所述视频单元是所述基础层中的参考视频单
元。
23.根据权利要求22所述的方法，其中所述当前视频单元是与所述差视频层相关联的
差视频单元，且其中所述当前视频单元的所述值是基于与所述差视频层相关联的差
参考视频单元来确定，所述差参考视频单元是从所述经加权增强层视频单元和所述
经加权基础层视频单元的差导出。
24.根据权利要求20所述的方法，其中所述增强层中的所述视频单元是所述增强层中
的空间相邻视频单元，且所述基础层中的所述视频单元是所述基础层中的空间相邻
视频单元。
25.根据权利要求24所述的方法，其中所述当前视频单元是与所述差视频层相关联的
差视频单元，且其中所述当前视频单元的所述值是基于与所述差视频层相关联的差
空间相邻视频单元来确定，所述差空间相邻视频单元是从所述经加权增强层视频单
元和所述经加权基础层视频单元的差导出。
26.根据权利要求20所述的方法，其进一步包括通过产生所述当前视频单元的预测单
元来确定所述当...

【专利技术属性】
技术研发人员：K·拉帕卡，陈建乐，马尔塔·卡切维奇，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US