本发明专利技术提供一种用于包括视点合成预测的具有降低的计算复杂性及/或存储存取带宽的三维编码或解码系统的方法及装置。系统仅对纹理数据应用视点合成预测处理，以及对深度数据应用非视点合成预测处理。因此，当根据视点合成预测通过利用相关的深度区块后向扭曲当前纹理区块至参考图像来编码依赖视点中的当前纹理区块、以及运动参数继承模式被选择以用于依赖视点中对应的深度区块时，基于自当前纹理区块继承的运动信息利用非视点合成预测视点间预测来编码或解码依赖视点中对应的深度区块。
【技术实现步骤摘要】
【国外来华专利技术】【专利说明】 交叉引用 本专利技术主张在2013年4月9日提出的申请号为PCT/CN2013/073977、标题为 "Refinement of View Synthesis Prediction (VSP) for 3_D Video Coding"的PCT专利申 请的优先权。因此在全文中合并参考该PCT专利申请案。
本专利技术是有关于三维视频编码，特别是有关于在三维视频编码中用于纹理和深度 数据的视点合成预测。
技术介绍
三维（Three-dimensional, 3D)电视为近年来的技术发展趋势，并且三维电视给 观众带来震撼的视觉体验。已开发各种技术来应用三维显示方式。其中，相对于其他技术 而言，多视点（multi-view)视频为三维电视的关键技术。现有的视频为二维媒体，其仅自 摄像机的视角提供一个单一的场景给观众。然而，多视点视频能够提供动态场景的任意视 点并给观众真实的感官体验。 多视点视频通常通过使用多个摄影机同时捕获场景来产生，其中适当放置多个摄 影机的位置，以使得每一个摄影机自一个视点捕获场景。相应地，多个相机将捕获对应于多 个视点的多视频序列。为提供更多视点（view)，更多的摄影机用于产生多视点视频和与视 点相关的大量视频序列。相应地，多视点视频需要大量的存储空间来存储及/或较高的带 宽来传输。因此，开发多视点视频编码技术降低需要的存储空间或传输带宽。 -种直接的方法是对每一个单一视点视频序列简单地应用现有的视频编码技术， 而不顾不同视点之间的任何关联。这样的编码系统的效率十分低。为改善多视点视频编码 的效率，通常对多视点视频编码技术利用视点间冗余。因此，大多数三维视频编码系统会考 虑与多视点和深度图相关的视频数据的关联。标准制定机构，ITU-T VCEG和IS0/IEC MPEG 的联合视频工作组，将H. 264/MPEG-4 AVC标准扩展到用于立体声和多视点视频的多视点视 频编码（multi-view video coding,以下简称为 MVC) 〇 MVC采用时间和空间预测来提高压缩效率。在MVC的发展过程中，提出了一些宏块 级的编码工具，包括亮度补偿（Illumination compensation)、自适应参考滤波、运动跳过 模式（motion skip mode)、视点合成预测（view synthesis prediction)。这些编码工具 利用多个视点之间的冗余。亮度补偿是为了补偿不同视点之间的亮度变化。自适应参考滤 波是为了降低摄影机之间聚焦失配的变化。运动跳过模式允许自其它视点推导当前视点中 的运动向量。视点合成预测用于自其他视点预测当前视点的图片。 在基于三维视频编码HEVC(3D-HTM)的参考软件中，为了重新使用先前编码的相 邻视点的运动信息，加入视点间候选作为用于帧间（Inter)、合并和跳过模式的运动向量或 视差向量候选。在3D-HTM中，用于压缩的基本单元称为编码单元，该编码单元是一个2Nx2N 的方块。每一个编码单元可以递归地分割为四个更小的编码单元，直到达到预定的最小尺 寸。每一个编码单元包括一个或多个预测单元。 为共享相邻视点的先前编码纹理信息，将称之为视差补偿预测 (Disparity-Compensated Prediction,以下简称为DCP)的技术列入3D-HTM中作为运动补 偿预测（motion-compensated prediction,以下简称为MCP)的替代编码工具。MCP为使 用相同视点的先前编码图片的图片间（inter-picture)预测，而DCP为使用在同一存取单 元中其他视点的先前编码图片的图片间预测。图1为包括MCP和DCP的3D视频编码系统 的示意图。用于视差补偿预测的向量110称为视差向量（disparity vector,以下简称为 DV)，它类似于运动补偿预测中使用的运动向量。图1描述了与运动补偿预测相关的三个运 动向量（运动向量120、运动向量130、运动向量140)。此外，自同样使用视点间参考图片的 相邻区块或时间上同一位置的区块得到视差向量预测候选，并通过该视差向量预测候选来 预测视差补偿预测区块的视差向量。在3D-HTM中，当得到用于合并/跳过模式的视点间合 并候选时，若对应的区块的运动信息不可用或无效，则用视差向量代替视点间合并候选。 视点间残差预测（inter-view residual prediction)为用于 3D-HTM 的另一个编 码工具。如图2所示，为共享相邻视点的先前编码残差信息，通过在视点间图片中对应的区 块的残差信息来预测当前预测区块（即，预测区块）的残差信号。通过各个视差向量来确 定对应区块的位置。通过视点标识符（即，图2中的视点V0、视点VI、和视点V2)指示对应 于特定摄影机位置的视频图片和深度图。属于相同摄影机位置的所有的视频图片和深度图 均与相同的视点ID(即，视点标识符）相关。视点标识符用于指定在存取单元中的编码顺 序和检测易于出错环境中失踪的视点。存取单元包括对应于同一时刻的所有视频图片和深 度图。在存取单元中，当具有视点ID为0的视频图片和相关的深度图存在时，首先编码具 有视点ID为0的视频图片和相关的深度图，然后编码具有视点ID为1的视频图片和相关 的深度图。以此类推。视点ID为0的视点（即，图2中的视点V0)也称为基本视点或独立 视点。基本视点视频图片可以使用现有的HEVC视频编码器来编码而不需要依赖其他视点。 由图2所示，对于当前区块，可以自视点间图片中的视点间区块得到运动向 量预测子（motion vector predictor, MVP) / 视差向量预测子（disparity vector predictor，DVP)。接下来，视点间图片中的视点间区块可以简称为视点间区块。得到的候 选称为视点间候选，它们可以为视点间运动向量预测子或视差向量预测子。基于其他视点 中的先前编码运动信息来编码当前区块（例如，当前预测单元）的运动信息的编码工具， 称为视点间运动参数预测（inter-view motion parameter prediction)。此外，相邻视点 中对应的区块称为视点间区块，并且使用自当前图片中的当前区块的深度信息得到视差向 量，使用该视差向量确定视点间区块的位置。 图2所示的示例对应于视点VO ( 即，基本视点）、视点Vl和视点V2的视点编码顺 序。在当前图片中要编码的当前区块在视点V2中。根据HTM3. 1，即使视点间图片不在当前 图片的参考图片清单中，在先前编码的视点中的参考区块的所有运动向量被认为是视点间 候选。在图2中，帧210、帧220、帧230分别对应于来自视点V0、视点VI、视点V2的时刻tl 的视频图片或深度图。区块232为在当前视点中的当前区块，以及区块212和区块222分 别为视点VO和视点Vl中的当前区块。对于视点VO中的当前区块212,视差向量216用于 确定视点间对应位置（collocated)的区块214的位置。相似地，对于视点Vl中的当前区 块222,视差向量226用于确定视点间对应位置的区块224的位置。根据HTM3. 1，与自任意 编码的视点的视点间对应位置区块相关的运动本文档来自技高网...
【技术保护点】
一种用于三维或多视点视频编码或解码的方法，其特征在于，该方法包括：接收参考视点中的参考图像；接收与依赖视点中的当前纹理区块相关的输入数据；通过利用相关的深度区块，来后向扭曲该当前纹理区块至该参考图像，来产生用于该当前纹理区块的视点合成预测数据；利用该视点合成预测数据来编码或解码该当前纹理区块；以及基于继承自该当前纹理区块的运动信息，利用非视点合成预测视点间预测来编码或解码该依赖视点中对应的深度区块，其中该对应的深度区块与该当前纹理区块在同一位置上。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：陈渏纹，安基程，林建良，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。