三维视频编码中降低复杂性的视图间残差预测的方法技术

本发明专利技术揭露了用于高级残差预测中具有相同运动的快速双向预测的3D编码的方法以及装置。本发明专利技术的实施例使用一个或多个已校准操作包括在残差预测因子产生期间，与运动向量导出相关联的数据修剪以及参考图片选择。当ARP模式被启用，用于单向预测以及双向预测的残差预测处理器有效地执行相同的数据修剪过程以及相同的参考图片选择过程。单个修剪操作或两个修剪操作可以被执行以用于单向预测以及双向预测。

【技术实现步骤摘要】
【国外来华专利技术】三维或多视图编码系统中残差预测的方法及其装置【相关申请的交叉引用】本专利技术主张申请于2013年6月11日，序列号为61/833,747，标题为“ASchemeforInter-viewResidualPredictionSupportingIdenticalMotionCheckingfor3DVideoCoding”的美国临时专利申请，以及申请于2013年12月27日，序列号为61/921,147，标题为“ASchemeforInter-viewResidualPredictionfor3DVideoCoding”的美国临时专利申请的优先权。将以上美国临时专利申请以参考的方式并入本文中。
本专利技术涉及三维以及多维视频编码。特别地，本专利技术涉及使用高级残差预测的视频编码。
技术介绍
三维电视技术是近年来的技术发展趋势，其试图给观看者带来轰动的观看体验(viewingexperience)。各种技术都被开发出来以使三维观看成为可能。其中，多视图视频(multi-viewvideo)是三维电视应用中的一个关键技术。现有的视频是二维(two-dimensional)介质，二维介质只能给观看者提供来自照相机视角的一个场景的单个视图。然而，多视图视频可以提供动态场景的任意视角，并为观看者提供真实的感觉。三维视频格式还可包括与对应纹理(texture)图片相关的深度图(depthmap)。深度图也必须被编码以呈现出三维视图或多维视图。在本领域中，已经揭露了各种用于提高三维视频编码的编码效率的技术。也有一些开发活动对编码技术进行标准化。例如，国际标准化组织(InternationalOrganizationforStandardization，ISO)中的ISO/IECJTC1/SC29/WG11工作组开发了基于三维视频编码标准的高效视频编码(HighEfficiencyVideoCoding，HEVC)(命名为3D-HEVC)。于3D编码中，因为所有相机是从不同的视角来捕捉相同的场景，所以多视图视频包含了大量的视图间冗余。为了共享邻近视图的先前已编码残差信息，视图间图片中的当前块(PU)的残差信号可以通过对应块的残差信号来预测，其中，对应块是由视差向量(disparityvector，DV)来定位的。图1所示为根据3D-HEVC(HTM-9.0)的当前设计的高级残差预测(advancedresidualprediction，ARP)的示例，其中，使用时间预测的当前视图中的残差信号是通过参考视图中的残差预测信号来预测。ARP的主要过程如下所述，用于当前预测单元(predictionunit，PU)使用时间预测(即，参考图片为时间参考图片)的情形：1.当前视图Vc的参考图片140的时间参考块CurrRef142是通过使用运动向量(被称为mvLX，X＝0或1)的当前块Curr112的位置以及当前视图Vc的当前图片110中当前块的参考索引来定位。2.对应于当前块Curr112的参考视图的参考图片120中的对应块Base122是通过使用当前块Curr112的已推导DV的当前块Curr112的位置来定位。3.用于参考视图Vr中对应块Base122的时间参考块BaseRef152是通过重使用(re-using)当前块Curr112的时间运动信息(即，mvLX以及参考索引)来定位。4.为了减少存储器存取的带宽，根据当前3D-HEVC(HTM-9.0)标准，当权重因子(weightingfactor)不为0时，于执行运动补偿之前，来自当前块的运动向量mvLX朝(toward)固定参考图片缩放。具体地，固定参考图片被定义为每个参考图片列表的第一时间参考图片。5.当前PU/块的时间残差信号的残差预测因子可被计算以作为参考视图中这两个块之间的差值(即，Base–BaseRef)。换句话说，当前残差(Curr–CurrRef)是通过残差预测因子(Base–BaseRef)来预测。图2所示为用于使用时间预测的PU/块编码的ARP推导的示例。1.当前时间预测残差(图中标示为：当前残差)210形成于当前块Curr112以及对应时间参考块CurrRef142之间。2.残差预测信号(图中标示为：基础残差)220形成于参考视图的对应信号Base122以及对应时间参考块BaseRef152之间。3.最终残差(finalresidual)是从当前残差与残差预测信号之间的差值来推导。在当前PU使用视图间预测(即，参考图片为视图间参考图片)，而不是使用时间预测时，ARP的主要过程可如图3所示来描述。1.参考视图Vr中参考视图图片320的视图间参考块Base322是由当前视图Vc中当前图片310的当前块Curr312的视差运动向量330来定位。2.参考视图中视图间参考块Base322的时间参考块BaseRef352是使用时间运动向量mvLX以及参考索引来定位，其中，L0运动信息首先被使用；如果L0运动信息不可用，则使用L1运动信息。3.当前视图中的对应参考块CurrRef342通过重新使用当前块312的视差运动向量330从参考视图中视图间参考块Base322的时间参考块BaseRef352的位置来定位。4.为了减小存储器存取的带宽，于当前3D-HEVC(HTM-9.0)中，当权重因子不为0时，于执行运动补偿之前，来自视图间参考块Base322的运动向量mvL0(或mvL1)朝固定参考图片缩放。固定图片被定义为每个参考图片列表的第一时间参考图片。然而，当来自Base的mvL0是无效的，则来自Base的mvL1将被使用。如果来自Base的的mvL0以及mvL1都是无效的，零向量将被使用，且参考图片将被设置为当前块的预测方向的第一时间参考图片(列表0(L0)或列表1(L1))。如果视图间参考块Base322没有L0MV，或用于视图间参考块Base322的列表0预测是视图间视差补偿预测，来自视图间参考块Base322的运动向量可能是无效的。5.当前PU/块的视图间残差信号的残差预测因子可以计算为参考时间内，即，另一存取单元，这两个块之间的差值(CurrRef–BaseRef)。图4所示为使用视图间预测用于PU/块的ARP推导的示例。1.当前视图间预测残差(图中标示为：当前残差)410形成于当前块Curr312以及视图间参考块Base322之间。2.残差预测信号(图中标示为：残差预测)420形成于当前视图的对应参考块CurrRef342以及参考视图中视图间参考块Base322的时间参考块BaseRef352之间。3.最终残差是从当前残差以及残差预测信号之间的差值来推导。图5示出了使用时间预测的用于PU/块ARP推导的图示示例。块510表示当前视图(即，视图1)的当前块，块520以及块530分别指于时间Tj的参考视图(视图0)中当前块510的表示，以及时间Ti的来自相同视图(视图1)的当前块510的时间预测。运动向量550是指相同视图中时间Ti时从当前块510到块530的运动。因为视图1的当前块510以及视图0的对应块520表示两个不同视图中相同对象的投影，这两个块会共享相同运动信息。因此，通过应用运动向量550(即，MV560＝MV550)的运动信息本文档来自技高网...

【技术保护点】
一种三维或多视图编码系统中残差预测的方法，所述方法包含：接收与当前从属视图中当前图片的当前块相关联的输入数据；当残差预测模式被启用以及所述当前块使用单向预测被编码时，仅根据列表0的参考数据或列表1的参考数据来产生用于所述当前块的残差信号；以及根据第一残差产生过程，仅使用所述列表0的参考数据或所述列表1的参考数据产生残差预测因子；以及当所述残差预测模式被启用以及所述当前块使用双向预测被编码时，根据所述列表0的参考数据以及列表1的参考数据产生用于所述当前块的所述残差信号；以及从列表0的残差预测因子以及列表1的残差预测因子产生所述残差预测因子，其中，所述列表0的残差预测因子是根据第二残差产生过程，使用所述当前块的所述列表0的参考数据来产生，以及所述列表1的残差预测因子是根据第三残差产生过程，使用所述当前块的所述列表1的参考数据来产生；通过将使用所述残差预测因子的所述残差预测应用到所述当前块的所述残差信号来编码或解码所述当前块；以及其中，所述第一残差产生过程、所述第二残差产生过程以及所述第三残差产生过程都包括相同数据修剪过程以及相同参考图片选择过程中的至少一个。

【技术特征摘要】
【国外来华专利技术】2013.06.11 US 61/833,747;2013.12.27 US 61/921,1471.一种三维或多视图编码系统中残差预测的方法，所述方法包含：接收与当前从属视图中当前图片的当前块相关联的输入数据；当残差预测模式被启用以及所述当前块使用单向预测被编码时，仅根据列表0的参考数据或列表1的参考数据来产生用于所述当前块的残差信号；以及根据第一残差产生过程，仅使用所述列表0的参考数据或所述列表1的参考数据产生残差预测因子；以及当所述残差预测模式被启用以及所述当前块使用双向预测被编码时，根据所述列表0的参考数据以及列表1的参考数据产生用于所述当前块的所述残差信号；以及从列表0的残差预测因子以及列表1的残差预测因子产生所述残差预测因子，其中，所述列表0的残差预测因子是根据第二残差产生过程，使用所述当前块的所述列表0的参考数据来产生，以及所述列表1的残差预测因子是根据第三残差产生过程，使用所述当前块的所述列表1的参考数据来产生；通过将使用所述残差预测因子的所述残差预测应用到所述当前块的所述残差信号来编码或解码所述当前块；以及其中，所述第一残差产生过程、所述第二残差产生过程以及所述第三残差产生过程都包括相同数据修剪过程以及相同参考图片选择过程中的至少一个。2.如权利要求1所述的三维或多视图编码系统中残差预测的方法，其特征在于：所述第一残差产生过程、所述第二残差产生过程以及所述第三残差产生过程都使用一个数据修剪操作或两个数据修剪操作。3.如权利要求1所述的三维或多视图编码系统中残差预测的方法，其特征在于：当所述当前块的列表0运动信息以及列表1运动信息相同时，所述第二残差产生过程以及所述第三残差产生过程选择相同参考图片以产生所述残差信号。4.如权利要求1所述的三维或多视图编码系统中残差预测的方法，其特征在于：用于所述当前块的所述残差信号对应于所述当前块与所述当前块的当前时间参考块之间的时间残差信号，其中，所述当前时间参考块是根据当前块位置并使用所述当前块的运动向量来定位；或用于所述当前块的所述残差信号对应于所述当前块与所述当前块的当前视图间参考块之间的视图间残差信号，其中，所述当前视图间参考块是根据所述当前块位置以及所述当前块的视差向量来定位。5.如权利要求4所述的三维或多视图编码系统中残差预测的方法，其特征在于：用于所述时间残差信号的所述残差预测因子是根据所述参考视图中的对应块以及所述参考视图中所述对应块的所述时间参考块来产生；以及所述视图间残差信号的所述残差预测因子是根据所述参考视图中所述当前视图间参考块的所述时间参考块以及所述当前视图间参考块的所述时间参考块的对应参考块来产生。6.如权利要求5所述的三维或多视图编码系统中残差预测的方法，其特征在于，所述参考视图中的所述对应块是根据所述当前块位置以及已推导视差向量来定位，所述对应块的所述时间参考块是使用由所述当前块的所述运动向量导出的第一已缩放运动向量根据对应块位置来定位；以及其中，所述当前视图间参考块的所述时间参考块是使用从所述当前视图间参考块的所述运动向量导出的第二已缩放运动向量根据当前视图间参考块位置来定位，以及所述当前视图间参考块的所述时间参考块的所述对应参考块是使用所述当前块的所述视差向量根据所述当前视图间块的所述时间参考块的第一位置来定位。7.如权利要求6所述的三维或多视图编码系统中残差预测的方法，其特征在于，由从所述当前块的所述运动向量中导出的所述第一已缩放运动向量或从所述当前视图间参考块中导出的所述第二已缩放运动向量来指向的目标参考图片是由以下群组中进行选择，所述当前从属视图中所述当前图片的列表0参考图片列表中的第一参考图片；所述当前从属视图中所述当前图片的列表1参考图片列表中的所述第一参考图片；所述参考视图中所述当前图片的所述列表0参考图片列表中的所述第一参考图片；所述参考视图中所述当前图片的所述列表1参考图片列表中的所述第一参考图片；以及所述当前从属视图或所述参考视图中所述列表0参考图片列表或所述列表1参考图片列表中的任何其它参考图片。8.如权利要求5所述的三维或多视图编码系统中残差预测的方法，其特征在于，于导出所述时间残差信号的所述残差预测因子期间，所述列表0的残差预测因子或所述列表1的残差预测因子是通过将所述当前块的列表0运动向量或列表1运动向量分别缩放至一组时间参考图片中已选择的参考图片来导出以用于推导所述残差预测，其中，所述已选择的参考图片分别与所述当前块的列表0或列表1参考图片相比具有最小图片顺序计数距离，以及其中，如果多于一个已选择的参考图片具有所述最小图片顺序计数距离，则列表0或所述当前块相同列表中的所述已选择的参考图片被首先使用。9.如权利要求8所述的三维或多视图编码系统中残差预测的方法，其特征在于，所述列表0以及列表1的一组时间参考图片仅分别包含所述列表0或所述列表1中第一张时间参考图片，或仅分别包含所述列表0或所述列表1中具有最小量化参数的时间参考图片。10.如权利要求8所述的三维或多视图编码系统中残差预测的方法，其特征在于，当多于一个已选择的参考图片具有所述最小图片顺序计数距离，于所述列表0、所述列表1或所述当前块的相同列表中的所述已选择的参考图片首先被使用，以及其中，旗标于序列、视图、图片、条带、编码树单元、编码单元、或预测单元等级被传送以指示列表选择。11.如权利要求8所述的三维或多视图编码系统中残差预测的方法，其特征在于，当所述列表0或所述列表1中第一张时间参考图片不可用时，则另一列表中所述第一张时间参考图片被使用。12.如权利要求5所述的三维或多视图编码系统中残差预测的方法，其特征在于，于导出所述视图间残差信号的所述残差预测因子期间，所述列表0的残差预测因子或所述列表1的残差预测因子是通过将所述当前视图间参考的列表0运动向量缩放至所述参考视图中所述当前图片的列表0参考图片列表中的第一时间参考图片来导出，其中，如果所述当前视图间参考的所述列表0运动向量是无效的，则所述列表0的残差预测因子或所述列表1的残差预测因子是通过将所述当前视图间参考的列表1运动向量缩放至所述参考视图中所述当前图片的列表1参考图片列表中的第一时间参考图片来导出，其中，如果所述列表0运动向量以及所述列表1运动向量都是无效的，则零运动向量被使用，所述参考视图中所述当前图片的列表0参考图片列表中所述第一时间参考图片被选...

【专利技术属性】
技术研发人员：陈渏纹，林建良，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71