视频编码或解码的方法及装置制造方法及图纸

本发明专利技术提供一种深度区块的帧内编码方法，适用于三维编码系统，包括：接收当前深度区块的输入数据；判断上述当前深度区块的当前帧内预测模式；根据上述当前帧内预测模式基于重建的邻近多个深度采样推导上述当前深度区块的多个预测采样；以及使用推导的上述当前深度区块的上述多个预测采样对上述当前深度区块运用简化深度编码。本发明专利技术提供的深度区块的帧内编码方法可显著改善简化深度编码的编码效率。

【技术实现步骤摘要】
视频编码或解码的方法及装置
本专利技术主要关于三维(three-dimentional，3D)视频编码以及多视角视频编码(Multi-viewVideoCoding，MVC)技术，特别有关于利用具有延伸预测模式的简化深度编码(SimplifiedDepthCoding，SDC)的深度编码。
技术介绍
三维(3D)电视在近年已经逐渐成为一种趋势，其目标是为了带给观赏者更佳的视觉体验。多视角视频编码(MVC)是一种用于撷取以及显示3D影像的技术。传统上来说，多视角视频是通过同时使用多台像机撷取景象而产生，通过正确地放置多台相机使得每一台相机都能在一个视角(viewpoint)撷取到景象。具有对应每一视角的大量视频序列的多视角视频会显示大量的数据。因此，多视角视频将需要巨大的储存空间来储存以及/或巨大的频宽来传输。因此，多视角视频编码技术将会朝向降低所需储存空间以及传输频宽的方向来发展。在3D和多视角视频编码系统中，会编码纹理数据(texturedata)及深度数据(depthdata)。对于深度图(depthmap)而言，SDC(又称为区段型深度编码(Segment-wiseDepthCoding))是一种帧内编码模式(intracodingmode)的替代方案。是否使用简化深度编码是由在编码单元级别(codingunitlevel)的标志SDC标志(flag)来决定的。对于简化深度编码而言，深度区块是由传统帧内模式(conventionalintramode)或深度模型模式1(depthmodelingmode1)来进行帧内预测。使用SDC编码的编码单元的分段尺寸为2Nx2N，因此不需要在比特流中使用SDC编码的区块尺寸来进行信号传输。此外，根据深度区块是否分成一或两区段，以一或二个常数残差值(residualvalue)来表示使用SDC编码的残差，以取代使用量化传输系数(quantizedtransformcoefficients)进行编码。根据基于高效率视频编码(HighEfficiencyVideoCoding，HEVC)的现有三维视频编码，传输特定信息以用于使用SDC编码的区块。传输的这些信息包括：1.当前区块的区段/预测的类型。可能的数值有i.深度模型模式(DepthModelingMode，DMM)模式1-明确楔形波(ExplicitWedgelets)(两个区段)ii.平面(Planar)(一个区段)2.对于DMM，对额外的预测信息(例如：分段信息)进行编码。3.对于每个产生的区段，在比特流中传输残差值(位于像素域中)。在深度编码程序中，首先会将深度采样映射到有限的深度值。有限的深度值以深度查找表(DepthLookupTable，DLT)来显示，且在将深度采样映射到有限的深度值后，这些有限的深度值用于作为对应深度查找表的项目的索引。因此，残差值可通过预测因子(predictor)的深度查找表索引和原始深度采样相减来产生，然后将对应索引的残差值编码且传送到解码器。在深度图中显示的深度值通常会限制在小于深度捕捉装置可显示的总数量的一个数量。因此，深度查找表可减少残差幅度(residualmagnitude)所需求的位元深度(bitdepth)。此映射表会传送至解码器，使得在解码器中可执行从索引至有效深度值的反向查找(inverselookup)。在编码器端，将残差索引iresi编码至比特流中，残差值索引iresi定义是根据：iresi＝I(dorig)-I(dpred)(1)其中dorig表示深度区块所定义的原始深度值(例如原始深度区块的平均值(meanvalue))，dpred表示预测深度值(例如深度区块的预测采样的平均值)，且I(.)表示索引查找表。计算出的残差值索引iresi会再与重要性标志(significanceflag)、符号标志(signflag)以及[log2dvalid]位元进行编码以求得残差值索引的幅度，其中dvalid表示有效深度值的数量，且[x]是上限函数(ceilingfunction)，用于表示不小于x的最小整数。深度查找表利用了深度图的稀疏特性(sparseproperty)，传统上仅有少数超过全部有效深度范围(fullavailabledepthrange)(28)的深度值会显示在深度图上。在编码器中，动态深度查找表是根据分析输入序列的帧(例如一个帧内周期)的数量而建立的。在编码期间会使用此深度查找表以减少残差信号的有效信号位元深度。为了建立查找表，编码器会从输入视频序列读取预定义数量的帧来进行编码，且扫描所有采样以获知存在的深度值。在这过程中，会产生映射表，此映射表中会根据原始未压缩的深度图，将深度值映射至现有的深度值。深度查找表D(.)、索引查找表I(.)、深度映射表M(.)以及有效深度值的数量dvalid，会通过分析深度图Dt的以下过程进行推导：1.初始设定●对于全部深度值d，布尔向量B(d)＝False。●索引计数器i＝0。2.对于多个时间t将每个像素位置p带入Dt中：●设定B(Dt(p))＝TRUE，以标记有效深度值。3.计算在B(d)中TRUE值的数量，且将此结果设定为dvalid的值。4.对于B(d)＝TRUE的每个深度值d：●设定D(i)＝d，●设定M(d)＝d，●设定I(d)＝i，且●i＝i+15.对于B(d)＝False的每个深度值d：●找出且●设定6.设定如上所述，在现有的SDC中有区段(segmentation)和预测(prediction)的两种类型。区段和预测两种类型所对应的程序将在底下做介绍。深度模型模式(DMM)：-边界信息是通过起始/结束端以及对应的索引来定义的。-如图1所示，对于每个区段的深度编码(DC)预测值(即预测深度值dpred)是由邻近(neighboring)深度值(亦可视为邻近深度采样或邻近采样)来预测。如图1所示的两个深度区块(100和120)的范例，每个深度区块被分成两个区段(如虚线所示)。在图1中，用于产生区块110的预测采样的重建的邻近深度采样是以标号112和114来表示，且用于产生区块120的预测采样的重建的邻近深度采样以标号122和124来表示。平面(Planar)模式：-如图2所示的产生的平面模式的预测因子(即预测采样)。如图2A所示，会使用线性内插(linearinterpolation)以产生最右列以及最后一行的预测因子。对于最右列而言，线性内插是根据A到Z的深度值来进行。对于最后一行而言，线性内插是根据B到Z的深度值来进行。如图2B所示，在最右列以及最后一行进行内插运算完成后，剩余的深度位置的预测因子会从四边使用四对应的深度采样进行双线性内插(bilinearinterpolated)。-深度编码(DC)预测值(即区块中的信号预测深度值dpred)是表示平面模式的预测因子的平均值。根据上述衍生过程，预测采样是通过帧内编码模式(现有的3D-HEVC的DMM模式1或平面模式)产生的预测值。在解码器端的平面模式的重建过程将在图3做说明。在当前深度区块(310)的深度编码(DC)预测值(PredDC)是根据当前深度区块的预测深度采样的平均值来决定。当前深度区块的预测深度值是由邻近重建深度本文档来自技高网...

【技术保护点】
深度区块的帧内编码方法，适用于三维编码系统，包括：接收当前深度区块的输入数据；判断上述当前深度区块的当前帧内预测模式，其中上述当前帧内预测模式属于包含水平模式和垂直模式的模式集合；根据上述当前帧内预测模式基于重建的邻近多个深度采样推导上述当前深度区块的多个预测采样，其中，若选取上述水平模式，上述推导多个预测采样使用邻近上述当前深度区块的左区块边界的重建的邻近的深度列，以通过从上述重建的邻近的深度列产生上述多个预测采样的多个列而执行水平预测，以及其中，若选取上述垂直模式，上述推导多个预测采样使用邻近上述当前深度区块的顶端区块边界的重建的邻近的深度行，以通过从上述重建的邻近的深度行产生上述多个预测采样的多个行而执行垂直预测；以及使用推导用于上述当前深度区块的上述多个预测采样对上述当前深度区块运用简化深度编码。

【技术特征摘要】
2013.10.17 US 61/892,240;2014.09.09 US 14/480,7881.深度区块的帧内编码方法，适用于三维编码系统，包括：接收当前深度区块的输入数据；判断上述当前深度区块的当前帧内预测模式，其中上述当前帧内预测模式属于包含水平模式和垂直模式的模式集合；根据上述当前帧内预测模式基于重建的邻近多个深度采样推导上述当前深度区块的多个预测采样，其中，若选取上述水平模式，上述推导多个预测采样使用邻近上述当前深度区块的左区块边界的重建的邻近的深度列，以通过从上述重建的邻近的深度列产生上述多个预测采样的多个列而执行水平预测，以及其中，若选取上述垂直模式，上述推导多个预测采样使用邻近上述当前深度区块的顶端区块边界的重建的邻近的深度行，以通过从上述重建的邻近的深度行产生上述多个预测采样的多个行而执行垂直预测；以及使用推导用于上述当前深度区块的上述多个预测采样对上述当前深度区块运用简化深度编码。2.如权利要求1所述的深度区块的帧内编码方法，其特征在于，上述模式集合更包括平面模式和深度模型模式。3.如权利要求1所述的深度区块的帧内编码方法，其特征在于，上述模式集合中的上述多个帧内预测模式是用截头一元码来进行编码。4.如权利要求1所述的深度区块的帧内编码方法，其特征在于，若选取上述水平模式，用于上述当前区块的以单一预测值表示的预测深度值是根据上述当前区块的最左列的两角落预测采样而决定的。5.如权利要求1所述的深度区块的帧内编码方法，其特征在于，若选取上述水平模式，用于上述当前区块的以单一预测值表示的预测深度值是根据所有重建的采样、一个重建的采样、部分重建的采样，或邻近上述当前深度区块的上述左区块边界的上述重建的邻近的深度列的两角落的重建的采样而决定的。6.如权利要求1所述的深度区块的帧内编码方法，其特征在于，若选取上述垂直模式，用于上述当前区块的以单一预测值表示的预测深度值是根据上述当前区块的顶端行的两角落预测采样而决定的。7.如权利要求1所述的深度区块的帧内编码方法，其特征在于，若选取上述垂直模式，用于上述当前区块的以单一预测值表示的预测深度值是根据所有重建的采样、一个重建的采样、部分重建的采样，或邻近上述当前深度区块的上述顶端区块边界的上述重建的邻近的深度行的两角落的重建的采样而决定的。8.如权利要求1所述的深度区块的帧内编码方法，其特征在于，用于上述当前区块的以单一预测值表示的预测深度值是根据上述当前区块的四角落预测采样而决定的。9.如权利要求1所述的深度区块的帧内编码方法，其特征在于，用于上述当...

【专利技术属性】
技术研发人员：林建良，陈渏纹，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71