3D视频编码中的视图间子分割预测的方法和装置制造方法及图纸

本发明专利技术揭示一种用于基于子块的视图间预测的三维视频编码或解码的装置和方法。方法将材质块分割为材质子块，并确定材质子块的差异向量。视图间参考数据是基于不同视图中的材质子块和参考材质帧的差异向量来派生的。于编码或解码时，视图间参考数据然后用作当前块的预测。本发明专利技术的一个方面提出分割当前材质块。本发明专利技术的另一方面提出用于当前材质子块的差异向量的派生。

【技术实现步骤摘要】
【国外来华专利技术】3D视频编码中的视图间子分割预测的方法和装置相关申请的交叉应用本专利技术要求2012年7月9日提交的序列号为61/669,364名称为“3D视频编码中具有子分割的视图间预测”(Inter-viewpredictionwithsub-partitionschemein3Dvideocoding)的美国临时专利申请，以及2012年10月12日提交的序列号为61/712,926名称为“在3D视频编码中与运动补偿模块整合的视图间子分割预测”(Inter-viewsub-partitionpredictionintegratedwiththemotioncompensationmodulein3Dvideocoding)的美国临时专利申请的优先权。美国临时专利申请通过参考并入与此。
本专利技术涉及三维(Three-dimensional，3D)视频编码。特别地，本专利技术涉及3D视频编码中的视图间子分割预测。
技术介绍
3D电视近年来已经是一种技术趋势，其想要带给观看者非常好的观赏体验。已经开发了各种技术以使能3D观看。其中，多视图视频是3D电视应用的关键技术。现有的视频是二维(Two-dimensional，2D)介质，其仅仅为观看者提供来自相机视角的场景的单个视图。然而，多视图视频能够提供动态场景的任意视图以及为观看者提供真实的感觉。多视图视频一般通过同时使用多个相机俘获场景来创建，其中多个相机合适地定位，以便每个相机从一个视角俘获场景。因此，多个相机将俘获对应于多个视图的多个视频序列。为了提供更多的视图，已经使用更多的相机，以生成具有与视图关联的大量视频序列的多视图视频。因此，多视图视频将要求用于储存的较大存储空间和/或用于传送的高带宽。因此，多视图视频编码技术已经在领域中发展以减少所要求的存储空间或传送带宽。一种简单明确的方法可以是简单地将现有的视频编码技术独立地应用到每个单视图视频序列，并忽略不同视图中的任何相关。这样的编码系统将会是非常低效率的。为了改进多视图视频编码的效率，典型的多视图视频编码利用视图间冗余。因此，大多数3D视频编码(3DVC)系统考虑与多个视图和深度图关联的视频数据的相关。标准发展实体，ITU-T的视频编码专家组的联合视频组(JointViedoTeamoftheITU-TVideoCodingExpertsGroup，VCEG)和ISO/IEC运动图像专家组(ISO/IECMovingPictureExpertsGroup，MPEG)将H.264/MPEG-4AVC扩展到多视图视频编码(Multi-viewcoding，MVC)用于立体和多视图视频。MVC采用时间和空间预测以改进压缩效率。在MVC的发展过程中，提出一些宏模块级的编码工具，包含照度补偿(illuminationcompensation)、自适应参考滤波、运动跳跃模式以及视图合成预测。提出这些编码工具以利用多个视图之间的冗余。照度补偿意在补偿不同视图之间的照度变化。自适应参考滤波意在减少由于相机之间的聚焦不匹配导致的变化。运动跳跃模式允许当前视图中的运动向量从其他视图推断。应用视图合成预测以从其他视图预测当前视图。然而，在MVC中，深度图和相机参数不会被编码。在新一代3D视频编码(3DVC)的近来标准化发展中，材质数据、深度数据和相机参数均被编码。例如，图1图示了用于3D视频编码的一般预测结构，其中符合标准的视频编码器用于基本视图视频。进来的3D视频数据包含对应于多个视图的图像(110-0、110-1、110-2，…)。聚集用于每个视图的图像形成用于对应视图的图像序列。通常，对应于基础视图(也称为独立视图)的图像序列110-0由符合视频编码标准(例如，H.264/AVC或高效视频编码(HighEfficiencyVideoCoding，HEVC))的视频编码器130-0独立地编码。用于与从属视图(即，视图1、2…)关联的图像序列的视频编码器(130-1、130-2，…)除时间预测以外还利用视图间预测。视图间预测由图1中的短虚线指示。为了支持交互式应用，在相应视图与场景关联的深度图(120-0、120-1、120-2，…)也包含于视频比特流中。如图1所示，为了减少与深度图关联的数据，深度图使用深度图编码器(140-0、140-1、140-2，…)压缩，压缩后的深度图数据包含于比特流中。复用器150用于将来自图像编码器和深度图编码器的压缩后的数据结合。深度信息可用于在所选择的中间视角合成虚拟视图。对应于所选视图的图像可以使用基于对应于另一视图的图像的视图间预测来编码。在此情况下，用于所选视图的图像称为从属视图。由于深度数据和相机参数在新一代3DVC中也编码，材质图像和深度图之间的关系可以用于进一步改进压缩效率。深度图和材质图像具有较高相关，因为他们对应于相同物理场景的不同方面。可以利用相关以改进压缩效率或减少要求的计算负担。此外，深度图可用于表示两个材质图像之间的对应。因此，深度图可以用于视图间预测方法。
技术实现思路
揭示一种用于基于子块的视图间预测的三维视频编码或解码的装置和方法。根据本专利技术的实施例的基于子块的视图间预测的方法包含接收与当前视图中的当前帧的当前块关联的第一数据；将当前块分割为当前子块；确定当前子块的视差向量；派生视图间参考数据并基于视图间参考数据将视图间预测编码或解码应用于第一数据。视图间参考数据是基于当前子块的视差向量从参考帧派生的，其中参考帧和当前帧具有相同的时间戳并对应于不同视图。对于编码，第一数据对应于与当前块关联的像素数据或深度数据。对于解码，第一数据对应于材质块的剩余数据或当前块的深度。如果省略运动信息和剩余数据，视图间跳跃模式为当前块提示，以及如果省略运动信息且剩余数据已经传送，则视图间直接模式为当前材质块提示。本专利技术的一个方面提出分割当前块。当前块可以分割为相等大小的矩形或方形子块，或任意的形状的子块。当前块可以分割为对应于4×4子块或8×8子块的相等大小的方形子块，且4×4子块或8×8子块的指示可以在比特流中的序列参数组(SPS)提示。相等大小的方形子块可对应于n×n子块，且在比特流的序列级、切片级或编码单元(CU)级中提示。本专利技术的另一方面提出用于当前子块的视差向量的派生。在一个实施例中，当前块的视图间参考数据是从参考帧的对应子块获得，且对应子块是基于当前子块的视差向量来确定的。当前子块的视差向量可以基于对应于当前块的深度图中的并列子块的深度值来确定。当前子块的视差向量还可以从与在视图间模式中编码的当前块的相邻子块关联的相邻视差向量获得。附图说明图1图示用于三维视频编码系统的预测结构的示例。图2图示三维(3D)视频编码中的基于空间相邻块、时间并列块以及视图间并列块的预测的示例。图3图示了根据本专利技术的实施例的基于子块的视图间预测的示例，其中当前材质块分割为4×4方形子块。图4图示了根据本专利技术的实施例的基于子块的视图间预测的另一示例，其中当前材质块分割为4×4方形子块。图5图示了根据本专利技术的实施例的基于子块的视图间预测的示例，其中当前材质块根据关联的深度图分割为任意的形状的子块。图6图示了基于相邻块的相邻视差向量的用于当前材质子块的视差向量的派生的示例。图7图示了根据本专利技术的实施例的并本文档来自技高网...

【技术保护点】
一种三维视频编码或解码的方法，其特征在于，所述方法包含：接收与对应于当前视图的当前帧的当前块关联的第一数据；将所述当前块分割为当前子块；确定所述当前子块的差异向量；基于所述当前子块的所述差异向量，从参考帧派生视图间参考数据，其中所述参考帧和所述当前帧对应于不同视图，以及所述参考帧和所述当前帧具有相同图片时间戳；以及基于所述视图间参考数据将视图间预测编码或解码应用于所述第一数据。

【技术特征摘要】
【国外来华专利技术】2012.07.09 US 61/669,364;2012.10.12 US 61/712,9261.一种三维视频编码或解码的方法，其特征在于，所述方法包含：接收与对应于当前视图的当前帧的当前块关联的第一数据；将所述当前块分割为当前子块；确定所述当前子块的视差向量；基于所述当前子块的所述视差向量，从参考帧派生视图间参考数据，其中所述参考帧和所述当前帧对应于不同视图，以及所述参考帧和所述当前帧具有相同图片时间戳；以及基于所述视图间参考数据将视图间预测编码或解码应用于所述第一数据。2.如权利要求1所述的三维视频编码或解码的方法，其特征在于，所述第一数据对应于与用于三维视频解码的当前块关联的剩余数据或旗标，且所述第一数据对应于用于三维视频编码的当前块的像素数据或深度数据。3.如权利要求2所述的三维视频编码或解码的方法，其特征在于，所述应用视图间预测解码包含重建来自所述视图间参考数据的当前块，以及所述应用视图间预测编码包含生成所述剩余数据或与所述当前块关联的所述旗标。4.如权利要求3所述的三维视频编码或解码的方法，其特征在于，如果省略运动信息和所述剩余数据，则视图间跳跃模式为所述当前块提示。5.如权利要求3所述的三维视频编码或解码的方法，其特征在于，如果省略运动信息并传送所述剩余数据，则视图间直接模式为所述当前块提示。6.如权利要求1所述的三维视频编码或解码的方法，其特征在于，所述分割所述当前块将所述当前块分割为具有相同的第一大小的矩形的子块、具有相同的第二大小的方形的子块或任意形状的子块。7.如权利要求6所述的三维视频编码或解码的方法，其特征在于，所述方形的子块对应于4×4子块或8×8子块，以及所述4×4子块或所述8×8子块的指示在与所述三维视频编码或解码关联的比特流的序列参数组中提示。8.如权利要求6所述的三维视频编码或解码的方法，其特征在于，所述方形的子块对应于n×n子块，且n在与所述三维视频编码或解码关联的比特流的序列级、切片级或编码单元级中提示，其中n是整数。9.如权利要求6所述的三维视频编码或解码的方法，其特征在于，子块大小等于运动补偿块规定的最小大小。10.如权利要求1所述的三维视频编码或解码的方法，其特征在于，所述分割所述当前块是基于与所述当前帧关联的深度图中的边缘沿着目标边界来分割。11.如权利要求10所述的三维视频编码或解码的方法，其特征在于，所述分割所述当前块是基于对应于所述当前块的所述深度图中的并列块的目标边界来分割。12.如权利要求1所述的三维视频编码或解码的方法，其特征在于，用于所述当前块的所述视图间参考数据是从所述参考帧的对应子块获得，且所述对应子块是基于所述当前子块的所述视差向量来确定的。13.如权利要求12所述的三维视频编码或解码的方法，其特征在于，所述当前子块的所述视差向量是基于对应于所述当前块的深度值中的并列子块的深度值来确定的。14.如权利要求13所述的三维视频编码或解码的方法，其特征在于，所述视差向量从在编码器侧编码的、在解码器侧解码的或在所述编码器和所述解码器侧估计的所述深度图所获得。15.如权利要求13所述的三维视频编码或解码的方法，其特征在于，所述当前子块的所述视差向量是分别基于所述深度图中的所述并列子块中的所有深度值或局部深度值的平均、最大、最小或中值来确定。16.如权利要求12所述的三维视频编码或解码的方法，其特征在于，所述当前子块的所述视差向量是从与在视图间模式中编码的所述当前块的相邻子块关联的相邻视差向量获得。17.如权利要求16所述的三维视频编码或解码的方法，其特征在于，邻近于在所述视图间模式中编码的至少一个相邻块的第一当前子块的第一视差向量从所述至少一个相邻子块的视差向量派生。18.如权利要求17所述的三维视频编码或解码的方法，其特征在于，所述第一当前子块的所述第一视差向量从所述至少一个相邻子块的所述相邻视差向量的最大、最小、平均或中值派生。19.如权利要求16所述...

【专利技术属性】
技术研发人员：吴其玲，张毓麟，蔡玉宝，雷少民，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71