一种用于对多个视频流进行联合编码的方法和装置制造方法及图纸

一种用于对多个视频流（IV1，IV2，IV3）进行联合编码的方法，包括步骤：接收所述多个视频流（IV1，IV2，IV3）；构造预测像素块（PPB1，PPB2，PPB3）的多个序列；结合所述多个视频流（IV1，IV2，IV3）的相应块，对预测像素块的所述多个序列的所述预测像素块（PPB1，PPB2，PPB3）进行处理和熵编码，以生成经编码的剩余像素数据（ERPD1，ERPD2，ERPD3）的多个序列；其中从生成自所述多个视频流（IV1，IV2，IV3）的编码结构数据（ESD，ESD1，JESD）构造所述预测像素块（PPB1，PPB2，PPB3）的多个序列，并且其中，所述编码的剩余像素数据（ERPD1，ERPD2，ERPD3）的多个序列连同包括所述编码结构数据（ESD，ESD1，JESD）参考数据（IREF）一起被提供作为所述多个视频流的编码数据。还公开了一种用于解码的方法、编码器和解码器。

【技术实现步骤摘要】
【国外来华专利技术】一种用于对多个视频流进行联合编码的方法和装置
本专利技术涉及一种用于对多个输入视频流进行联合编码的方法。
技术介绍
在一些应用中，多个视频流在传输和存储之前需要被同时压缩。一个明显的方案是对每个流独立进行编码。通常来说，这是一种很大的处理资源消耗，比如说大多数已有编码器或多或少都遵循着相似的参考架构，其中整套的处理操作包括对与编码相关的语法（syntax）元素进行计算。进一步地，大多数传统编码器从所接收的输入视频数据以及从那些经过计算的编码相关的语法元素，来构造预测的像素块（pixelblock）的序列。然后处理这些预测的像素块，通常包括从输入视频流的相应块中减去这些预测的像素块的步骤，或者是相反的步骤，从而获得剩余的像素块的序列。该处理进一步包括利用随后的量化和结合了与编码相关的语法元素的熵编码，对该剩余的像素块的序列进行变换，以获得传统的编码视频流。尽管该编码方法现在已广为使用，但其仍然需要大量的处理能力，这是因为编码器需要为每一个输入流计算编码相关的语法元素。这需要进行大量的处理工作。尤其是当若干个输入流被联合编码时，这种处理的工作与要被编码的输入流的数目呈倍数增长。另一方面，已经被开发出可选择的编码机制，例如对所有的输入流进行联合编码，其目标是使整个输入流的集合的压缩效率最大化。举例来说，“多视图视频编码（MultiviewVideoCoding）”，此后简称为MVC，扩展最近被标准化为H.264/AVC视频编码标准的附录X部分。MVC的目标是通过利用输入视频流之间的相似性来为输入视频流的集合的联合编码提供较好的压缩性能。正如其名称所示的那样，一种潜在的应用是对通过多个摄像机获取的给定场景的多个视图进行编码。这些摄像机之间的距离越短，使用MVC进行多视图的联合压缩将获得的压缩越好。但是，MVC方法的缺点在于，它使得编码流之间产生很强的编码相互依存（interdependent）。这些缺点特别地表现在当解码器一侧为了对多个编码流中的一个视频流进行解码时，来自视图间（inter-view）的预测步骤所需的所有其它视图的数据也都要进行解码。类似地，根据该MVC编码方法，如果要想显示给定的视频流，解码器要解码该所要显示的流所依赖的所有编码流。
技术实现思路
因此，本专利技术的一个目标是描述一种用于编码多个视频流的可选择的编码和解码方法，在编码器侧和解码器侧只需要较少的处理功率。根据本专利技术，通过提供用于编码多个视频流的方法来实现该目标，所述方法包括以下步骤：接收所述多个视频流；构造预测的像素块的多个序列；将所述多个视频流的相应块连同预测的像素块的所述多个序列的所述预测像素块进行处理和熵编码，以生成经过编码的剩余像素数据的多个序列；其中所述预测的像素块的多个序列是由所述多个视频流生成的编码结构数据构造而成的；并且其中提供了所述编码的剩余像素数据的多个序列与参考数据，该参考数据包括作为所述多个视频流的编码数据的所述编码结构数据。按这种方式，经过编码的剩余像素数据流的多个序列将与包括编码结构数据的参考数据一起被生成。由于编码结构数据只需要被确定一次而不再需要对多个流中的每一独立流进行确定，这样使得联合编码处理自身更为容易。在一个实施例中，所述处理和熵编码包括从预测的像素块的所述多个序列的预测像素块和所述多个视频流的相应块之间的差别生成剩余像素块的多个序列，从而对所述各自的序列的所述剩余像素块进行变换、量化和熵编码以由此获得所述经过编码的剩余像素数据的多个序列。在另一个实施例中，所述编码结构数据进一步进行熵编码以提供经过编码的编码结构数据来作为所述参考数据。所述编码结构数据可以从中间流中生成，该中间流是从所述多个视频流中的至少一个视频流导出的。该中间流可以通过例如对所述多个视频流中至少两个视频流进行平均来获得，但其还可以是对多个视频流中的一个是频率的选择。通过分析所述至少两个视频流的编码决策以及选择被包括在所述编码结构数据中的单个预测选择，所述编码结构数据还可以从所述多个视频流中至少两个视频流来生成。在一个实施例中，所述分析基于预定优化标准与所述编码决策的比较。本专利技术还涉及一种用于解码至少一个编码视频流的方法，该编码视频流包括经过编码的剩余像素数据的至少一个序列和包括输入编码结构数据的参考数据；所述方法包括：接收经过编码的剩余像素块的多个序列和包括所述输入编码结构数据的多个参考数据的步骤；选择与所述至少一个编码视频流相关的经过编码的剩余像素数据中的至少一个序列以及包括所述编码结构数据的所述参考数据，从而将所述编码结构数据和与所述至少一个编码视频流相关的经过编码的剩余像素数据中的所述至少一个序列进行熵编码和处理，以提供解码像素块的至少一个序列来作为至少一个解码视频流的步骤。按这种方式，接收到该多个经过编码的剩余像素块以及包含编码结构数据的参考流的解码器，只需要选取该参考流和与要被解码的视频相关的经过编码的剩余像素数据的合适序列。通过执行熵解码和处理（涉及例如预测构造）以最终得到解码的像素块的步骤，能够非常容易地完成解码或重建。在多个视频流需要进行解码的情况中，该方法的实施例甚至变得更加吸引人，这是因为对于所有要被解码的流来说，编码结构是相同的，并且涉及诸如预测构造的处理可暗示可以对每个流的经过编码的剩余像素块部分应用同样的操作。由于这些处理步骤对于将被解码的所有流都是相同的，利用例如单指令多数据方法（简称为SIMD），他们可以有效地完成并行实现。由于所有的流共享相同的编码结构并且该预测构造能够以联合并行处理方式被有效地执行，因此可以获得用于联合解码多个编码流的更加简易的解码器。在一个实施例中，将与所述至少一个编码视频流相关的经过编码的剩余像素数据中的所述至少一个序列提交给反量化和逆变换，从而获取经过解码的剩余像素块的至少一个序列，其中从所述编码结构数据以及从用于和所述至少一个经过解码的剩余像素块进行结合的缓冲的像素块，构建像素块的至少一个预测，从而获取经过解码的像素块的所述至少一个序列。在另一个变型中，通过对从所述参数输入数据提取的经过编码的编码结构数据进行熵解码，从所述参考数据导出所述编码结构数据。本专利技术还涉及用于执行该主题方法的编码器和解码器。在从属权利要求中陈述进一步的实施例。应当注意到，当在权利要求中使用时，术语“耦接”不应当被解释成仅仅限制于直接连接。因此，“与设备B耦接的设备A”表述的范围不应当限制于设备A的输出直接连接到设备B的输入这样的设备或系统。它指的是在A的输出和B的输入之间存在路径，该路径可以是包括其它设备或部件的路径。还应当注意到，当在权利要求中使用时，术语“包括”不应当被解释成对其后列出的部件的限制。因此，“设备，包括部件A和B’”的表述的范围不应当限制为仅由组件A和B组成的设备。意味着就本专利技术而言，所述设备的唯一相关组件是A和B。附图说明通过参考以下的实施例的描述及附图，本专利技术的上述以及其它的目标和特征将更加明确且专利技术自身也将得到最佳的理解，其中：图1a示出了现有技术编码器的一个实施例的基础方案；图1b示出了现有技术MVC编码器的基础实施例；图2a示出了包括联合编码器、中间节点以及独立的或联合的解码器的端到端编码和传输方案；图2b示出了使用经典的AVC和MVC现有技术方法获得的编码相本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2009.12.21 EP 09290986.01.一种用于对多个视频流(IV1，IV2，IV3)进行联合编码的方法，所述方法包括步骤：接收所述多个视频流(IV1，IV2，IV3)；构造预测像素块(PPB1，PPB2，PPB3)的多个序列；将所述多个视频流(IV1，IV2，IV3)的相应块和预测像素块的所述多个序列的所述预测像素块(PPB1，PPB2，PPB3)进行处理和熵编码，以生成编码的剩余像素数据(ERPD1，ERPD2，ERPD3)的多个序列；其中从在宏块级别上生成自所述多个视频流(IV1，IV2，IV3)的编码结构数据(ESD，ESD1，JESD)构造所述预测像素块(PPB1，PPB2，PPB3)的多个序列，并且其中，所述编码的剩余像素数据(ERPD1，ERPD2，ERPD3)的多个序列连同包括所述编码结构数据(ESD，ESD1，JESD)的参考数据(IREF)一起被提供作为所述多个视频流的编码数据。2.根据权利要求1所述的方法，其中将所述编码结构数据(ESD，JESD，ESD1)进行进一步熵编码以提供经编码的编码结构数据(EESD，EJESD，EESD1)来作为所述参考数据(IREF)。3.根据权利要求1或2所述的方法，其中，从中间流生成所述编码结构数据(ESD，ESD1)，该中间流来自所述多个视频流中的至少一个视频流。4.根据权利要求3所述的方法，其中通过对所述多个视频流中的至少二个取平均值来获得所述中间流，或者通过选择所述多个视频流中的一个流(IV1)来作为所述中间流。5.根据权利要求1所述的方法，其中通过分析所述多个视频流中的至少两个视频流的编码决策以及选取在所述编码结构数据中包括的单个预测选择，从所述多个视频流中的至少两个视频流生成所述编码结构数据(JESD)。6.根据权利要求5所述的方法，其中所述分析基于所述编码决策与预定优化标准的比较。7.用于解码至少一个编码视频流(EV1，EV2)的方法，该编码视频流包括经编码的剩余像素数据(ERPD1，ERPD2)的至少一个序列和包括在宏块级别上的输入编码结构数据(ESD)的参考数据(IREF)，所述方法包括：接收经编码的剩余像素块(ERPD1，ERPD2，ERPD3)的多个序列和包括输入编码结构数据(ESD)的所述参考数据(IREF)的步骤；选择与所述至少一个编码视频流(EV1，EV2)相关的经编码的剩余像素数据(ERPD1，ERPD2)的至少一个序列以及包括所述编码结构数据(ESD)的所述参考数据的步骤，连同所述编码结构数据对与所述至少一个编码视频流(EV1，EV2)相关的经编码的剩余像素数据(ERPD1，ERPD2)的所述至少一个序列进行熵解码和处理，从而提供解码像素块(DPB1，DPB2)的至少一个序列来作为至少一个解码视频流(DV1，DV2)。8.根据权利要求7所述的方法，将与所述至少一个编码视频流相关的经编码的剩余像素数据的所述至少一个序列提交给反量化和逆变换，从而获取经解码的剩余像素块(DRPB1，DRPB2)的至少一个序列，其中像素块的至少一个预测(EPPB1，EPPB2)构建自所述编码结构数据(ESD)以及缓冲的像素块，以用于和所述至少一个经解码的剩余像素块(DRPB1，DRPB2)进行结合，从而获取经解码的像素块(DPB1，DPB2)的所述至少一个序列。9.用于对多个视频流(IV1，IV2，IV3)进行编码的编码器(JE，JE1，JE2，JE3，JE4)，所述编码器包括：第一输入端，适于接收所述视频流(IV1，IV2，IV3)；构造单元，适于生成预测像素块(PPB1，PPB2，PPB3)的多个序列；熵编码器，适于对预测像素块的所述多个序列和所述视频流(IV1，IV2，IV3)的相应块进行处理和熵编码，以生成编码的剩余...

【专利技术属性】
技术研发人员：JF·麦克，
申请(专利权)人：阿尔卡特朗讯公司，
类型：发明
国别省市：