用于图像和视频编解码中的参考处理的方法和系统技术方案

提供了多层编码和解码系统和方法。处理模块处理第一基础层或增强层的输出，并且将经处理的输出发送到第二层、增强层。对处理模块的操作进行控制，使得第二层可根据情况接收第一层的经处理的或未处理的输出。对第一层的输出的处理可与视差补偿处理一起进行，或与视差补偿处理分离地进行。

【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及图像和视频编码和/解码系统。特别地，公开了用于图像和视频编解码中的参考处理的方法和系统。
技术介绍
立体(3D)用户体验的提供已成为内容提供商和显示器制造商两者的长期保持的目标。近来，随着许多流行3D电影和诸如体育赛事、音乐会和纪录片的其它3D材料的制 作和发布，向家庭用户提供立体体验的紧迫性已经增加了。已提出了使得能够向家庭用户传送立体3D内容的大量方法。已提出的一个技术是使用各种滤波、采样和布置方法将两个立体视图多路复用为单帧配置(帧兼容)。采样例如可以是水平、垂直或梅花形五点排列(quincunx)，同时还可以考虑两个视图之间的偏移，从而允许更好地利用两个视图之间可能存在的冗余。类似地，布置可以为并排、上下(over-under)、线交织和棋盘式包装(checkerboard packing)等。然而，以上方法需要将每个视图下采样为原始分辨率的一半。所以，已提出了使得能够传送全分辨率3D的大量方法。一个方法是利用两个分离和独立的比特流(同时联播，simulcast)，其中每个比特流表示不同的视图(例如左眼和右眼)。然而，由于没有利用两个视图之间存在的冗余，该方法在存储和带宽要求方面是复杂的。设法利用一些冗余的该方法的扩展被提出和采用为MPEG-4 AVC/H. 264视频编码标准的多视图视频编码(MVC)扩展。参考用于一般视听服务的高级视频编码，http://www. itu. int/rec/recommendation, asp type=folders&lang=e&parent=T-REC-H. 264,2009 年 3 月，其全部内容通过引用合并于此。该方法是可分级(scalable)系统，其将一个视图传送为基础层图像，而将其它视图传送为增强层。在这种情况下，仅使用基于平移运动补偿的方法就利用了视图之间的冗余，同时与MPEG-4AVC的原始设计相比，该系统基于用于执行预测的“智能”参考缓冲器管理。可惜，尽管编码效率有些提高(比同时联播高20-30%)，但是对只有平移运动补偿的依靠限制了该方案的性能。第6，144，701号美国专利中提出了另一方法，该方法使用仿射模型根据其它视图生成一个视图的预测，其全部内容通过引用合并于此。具有值得考虑的关注的其它应用包括可分级视频传送应用(例如2D可分级视频编码)，其中，期望的是，使用多个层对视频信号进行编码，每个层能够实现不同质量水平或分辨率(空间或时间)的视频信号。附图说明图I和图2示出帧兼容3D架构的示例；图3和图4示出图I和图2的架构的可能的编码器侧实现；图5示出图I和图2的架构的可能的解码器侧实现；图6示出根据本公开的实施例的解码器侧实现；图7和图8示出有关图6的解码器侧实现的流程图；图9示出计算两个相邻块的视差补偿值的参考处理样本；图10示出如下实施例的图其中，根据多数块需要处理参考的图像区域，对多数块不需要处理参考的分离的图像区域执行预分析；图11示出根据本公开的实施例的第一编码器侧实现； 图12示出根据本公开的实施例的第二编码器侧实现。具体实施例方式根据第一方面，提供了一种多层视频解码系统，包括第一层，包括第一层视频解码器；与第一层相关联的第二层，第二层包括第二层视频解码器；处理选择器，其选择是否处理第一层视频解码器的输出并且将经处理的输出输入到第二层视频解码器中；位于处理选择器的下游的处理模块，其根据处理选择器的指示处理第一层视频解码器的输出并且将经处理的输出输入到第二层视频解码器中。根据第二方面，提供了一种视频解码器，包括解码环路，其适合于接收编码信号并且输出解码信号；与解码环路连接的处理模块，该处理模块适合于接收解码的输入信号并且将经处理的解码的输入信号发送到解码环路；以及与处理模块连接的选择器，其适合于接收解码的输入信号并且选择是否将解码的视频信号发送到处理模块。根据第三方面，提供了一种选择性地处理解码的视频信息的方法，包括提供第一层视频解码器和第二层视频解码器；选择是(a)处理第一层视频解码器的输出还是(b)不处理第一层视频解码器的输出；以及在(a)的情况下，处理第一层视频解码器的输出并且将经处理的输出输入到第二层视频解码器中。根据第四方面，提供了一种在视频解码系统中选择性地执行视差补偿的方法，包括提供解码的视频信号；选择是(a)使用与解码的视频信号有关的信息还是(b)不使用与解码的视频信号有关的信息；在(&)的情况下，处理解码的视频信号，以及根据经处理的解码的视频信号执行视差补偿；在6)的情况下，独立于解码的视频信号执行视差补偿。根据第五方面，提供了一种在视频解码系统中选择性地执行视差补偿的方法，包括提供解码的视频信号；选择是(a)使用与解码的视频信号有关的信息还是(b)不使用与解码的视频信号有关的信息；在(3)的情况下，执行第一视差补偿，第一视差补偿基于解码的视频信号的处理并且与其同时执行；在6)的情况下，执行不同于第一视差补偿的第二视差补偿。根据第六方面，提供了一种多层编码系统，包括第一层，包括第一层视频编码器；与第一层相关联的第二层，第二层包括第二层视频编码器，第二层视频编码器包括视差估计模块和视差补偿模块；处理模块，其处理第一层视频编码器的输出并且将经处理的输出输入到视差估计模块和视差补偿模块中。根据第七方面，提供了一种多层编码系统，包括第一层，包括第一层视频编码器；与第一层相关联的第二层，第二层包括第二层视频编码器，第二层视频编码器包括视差估计模块、视差补偿模块和处理模块，其中，处理模块与视差补偿模块相组合；以及视差估计模块和视差补偿模块接收第一层视频编码器的输出。根据第八方面，提供了一种多层编码系统，包括第一层，包括第一层视频编码器；与第一层相关联的第二层，第二层包括第二层视频编码器；处理选择器，其选择是否处理第一层视频编码器的输出；以及处理模块，其根据处理选择器的指示处理第一层视频编码器的输出，其中，将第一层视频编码器的经处理的输出和第一层视频编码器的未处理的输出发送到第二层视频编码器。根据第九方面，提供了一种对包括第一块和第二块的图像帧或分片进行解码的方法，包括利用多层解码系统的第一层解码器对图像帧或分片的样本进行解码；对解码样本进行处理；将经处理的解码样本发送到多层视频系统的第二层译码器；通过视差补偿处理，根据经处理的解码样本生成图像帧的第一块；以及通过视差补偿处理，根据经处理的解码样本生成图像帧的第二块，其中，用来生成第二块的经处理的解码样本的一部分取自于存储的或预分析的已用来生成第一块的经处理的解码样本。 本申请的说明书、附图和权利要求书中提供了本公开的其它实施例。在2009年7月4日提交的第61/223，027号美国临时申请和2009年4月提交的第61/170，995号美国临时申请中(两者的全部内容均通过引用合并于此)，公开了如下架构该架构可用来增强类似于MVC (兼容2D)的方案的性能，也可一般地用作可分级帧兼容全分辨率3D传送方案或可分级多层方案(即可分级多层2D方案)的一部分。假设支持两层基础层和增强层，第61/223，027号美国临时申请的架构增加参考处理单元(RPU)部件，该参考处理单元部件可在将来自基础层的解码画面用作增强层的参考画面之本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.01.27 US 61/298,9071.一种多层视频解码系统，包括 第一层，其包括第一层视频解码器； 与所述第一层相关联的第二层，所述第二层包括第二层视频解码器； 处理选择器，其选择是否处理所述第一层视频解码器的输出并且将经处理的输出输入到所述第二层视频解码器中； 位于所述处理选择器的下游的处理模块，其根据所述处理选择器的指示处理所述第一层视频解码器的输出并且将经处理的输出输入到所述第二层视频解码器中。2.如权利要求I所述的多层视频解码系统，其中 所述第二层视频解码器包括视差补偿模块；以及 所述视差补偿模块是所述处理模块的一部分。3.如权利要求I所述的多层视频解码系统，其中，所述处理模块包括位于所述处理滤波器的下游的处理滤波器和视差补偿滤波器。4.如权利要求I所述的多层视频解码系统，其中，所述处理模块包括与第一视差补偿滤波器相组合的处理滤波器，以及所述视频解码器还包括第二视差补偿滤波器，其中，当所述第一层视频解码器的输出被处理时，所述第一视差补偿滤波器执行视差补偿，以及当所述第一层视频解码器的输出未被处理时，所述第二视差补偿滤波器执行视差补偿。5.如权利要求I所述的多层视频解码系统，其中，所述处理选择器包括区域分析模块，其分析图像的区域并且根据对所述区域执行的所述分析来选择分离的处理。6.如权利要求5所述的多层视频解码系统，其中，所述区域分析模块分析所述图像的区域，以在大部分分量需要处理的区域与大部分分量不需要处理的区域之间分离所述图像。7.如权利要求6所述的多层视频解码系统，其中，所述第二层视频解码器包括视差补偿模块。8.如权利要求7所述的多层视频解码系统，其中，所述处理模块适合于与所述视差补偿模块分离地处理所述图像的区域，或者以与所述视差补偿模块相组合的方式处理所述图像的区域。9.如权利要求8所述的多层视频解码系统，其中，大部分分量需要处理的图像区域由所述处理模块与所述视差补偿模块分离地处理，而大部分分量不需要处理的图像区域由所述处理模块以与所述视差补偿模块相组合的方式处理。10.如权利要求I所述的多层视频解码系统，其中，所述处理选择器包括区域分析模块，其定义大部分分量需要处理的所述图像的区域和大部分分量不需要处理的所述图像的区域。11.如权利要求10所述的多层视频解码系统，其中，所述区域分析模块接收第二层比特流输入，并且根据所述第二层比特流输入中提供的参考画面信息来定义所述区域。12.如权利要求11所述的多层视频解码系统，其中，所述区域分析模块根据参考画面信息、以及运动和/或视差向量信息的组合来定义所述区域。13.如权利要求11所述的多层视频解码系统，其中，所述区域分析模块根据所述图像的所述第二层比特流输入、所述图像的分片的所述第二层比特流输入、或所述图像的分片的一部分的所述第二层比特流输入来定义所述区域。14.如权利要求I所述的多层视频解码系统，其中，所述处理选择器在图像内选择要处理或不要处理的所述图像的区域。15.如权利要求15所述的多层视频解码系统，其中，由所述第二层视频解码器进行的未处理区域的确定基于之前解码的画面或分片、或第二层比特流信息。16.如权利要求1-15中任一项所述的多层视频解码系统，其中，所述第一层是基础层，所述第二层是增强层，并且所述多层视频解码系统是包括基础层和一个或更多个增强层的系统。17.如权利要求1-15中任一项所述的多层视频解码系统，其中，所述第一层是第一增强层，所述第二层是第二增强层，并且所述多层视频解码系统是包括基础层和多个增强层的系统。18.如权利要求1-17中任一项所述的多层视频解码系统，其中，所述系统选自于帧兼容三维(3D)视频系统、二维(2D)兼容的3D视频系统、2D可分级视频系统、以及2D或3D多·视图系统。·19.一种视频解码器，包括 解码环路，其适合于接收编码信号并且输出解码信号； 与所述解码环路连接的处理模块，所述处理模块适合于接收解码的输入信号并且将经处理的解码的输入信号发送到所述解码环路；以及 与所述处理模块连接的选择器，其适合于接收解码的输入信号并且选择是否将解码的视频信号发送到所述处理模块。20.如权利要求19所述的视频解码器，其中，所述视频解码器是解码系统的增强层视频解码器，所述解码系统包括基础层、和一个或更多个增强层。21.一种选择性地处理解码的视频信息的方法，包括 提供第一层视频解码器和第二层视频解码器； 选择是(a)处理所述第一层视频解码器的输出还是(b)不处理所述第一层视频解码器的输出；以及 在(a)的情况下，处理所述第一层视频解码器的输出并且将经处理的输出输入到所述第二层视频解码器中。22.如权利要求21所述的方法，还包括 与处理一起执行视差补偿。23.一种在视频解码系统中选择性地执行视差补偿的方法，包括 提供解码的视频信号； 选择是(a)使用与解码的视频信号有关的信息还是(b)不使用与解码的视频信号有关的信息； 在(a)的情况下，处理解码的视频信号并且根据经处理的解码的视频信号执行视差补偿； ...

【专利技术属性】
技术研发人员：佩沙拉·V·帕哈拉瓦达，亚历山德罗斯·图拉皮斯，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：