图像编码装置及方法、图像解码装置及方法、以及它们的程序制造方法及图纸

在多视点图像编码中，使用与编码对象图像不同的视点的参照视点图像和针对该参照视点图像的深度图来生成针对编码对象区域的第一视点合成图像。使用该第一视点合成图像来生成针对在对所述编码对象区域进行帧内预测时参照的已经编码完毕的像素组即参照像素的第二视点合成图像。使用针对所述参照像素的解码图像和所述第二视点合成图像来生成针对所述编码对象区域的帧内预测图像。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及对多视点图像进行编码和解码的图像编码装置、图像解码装置、图像编码方法、图像解码方法、图像编码程序、以及图像解码程序。本申请基于在2014年3月20日申请的特愿2014-058902号要求优先权，并将其内容引用于此。
技术介绍
以往，已知由使用多个摄像机拍摄了相同的被摄物和背景的多个图像构成的多视点图像（Multiview images：多视点图像）。将该使用多个摄像机拍摄的活动图像称为多视点活动图像（或多视点视频）。在以下的说明中，将使用1个摄像机拍摄的图像（活动图像）称为“二维图像（活动图像）”，将使用位置、方向（以下，称为视点）不同的多个摄像机拍摄了相同的被摄物和背景的二维图像（二维活动图像）组称为“多视点图像（多视点活动图像）”。二维活动图像关于时间方向具有强的相关性，通过利用该相关性，从而能够提高编码效率。另一方面，在多视点图像或多视点活动图像中，在各摄像机被同步的情况下，各摄像机的视频的相同的时刻所对应的帧（图像）是从不同的位置拍摄了完全相同的状态的被摄物和背景的帧（图像），因此，在摄像机间（相同的时刻的不同的二维图像间）具有强的相关性。在多视点图像或多视点活动图像的编码中，通过利用该相关性，从而能够提高编码效率。在此，对与二维活动图像的编码技术相关的现有技术进行说明。在以作为国际编码标准的H. 264、H. 265、MPEG-2、MPEG-4为首的以往的许多二维活动图像编码方式中，利用运动补偿预测、正交变换、量化、熵编码这样的技术来进行高效率的编码。例如，在H. 265中，能够进行利用了过去或未来的多个帧与编码对象帧的时间相关性的编码。关于在H. 265中使用的运动补偿预测技术的细节，例如被记载在非专利文献1中。对在H. 265中使用的运动补偿预测技术的概要进行说明。在H. 265的运动补偿预测中，将编码对象帧分割为各种尺寸的块，在各块中允许具有不同的运动矢量和不同的参照帧。通过使用在各块中不同的运动矢量，从而实现对按照每个被摄物而不同的运动进行补偿后的精度高的预测。另一方面，通过使用在各块中不同的参照帧，从而实现考虑了由于时间变化而产生的遮挡（occlusion）的精度高的预测。接着，对以往的多视点图像或多视点活动图像的编码方式进行说明。多视点图像的编码方法与多视点活动图像的编码方法的不同在于，在多视点活动图像中除了摄像机间的相关性之外还同时存在时间方向的相关性。可是，在哪一种情况下均能使用相同的方法来利用摄像机间的相关性。因此，在此，对在多视点活动图像的编码中使用的方法进行说明。关于多视点活动图像的编码，以往存在为了利用摄像机间的相关性而利用将运动补偿预测应用于相同的时刻的被不同的摄像机拍摄的图像的“视差补偿预测”来对多视点活动图像高效率地进行编码的方式。在此，视差是指在配置于不同的位置的摄像机的图像平面上被摄物上的相同的部分所存在的位置的差。图7是示出在摄像机间产生的视差的概念图。在图7所示的概念图中，垂直地俯视光轴平行的摄像机的图像平面。像这样，在不同的摄像机的图像平面上投影被摄物上的相同的部分的位置通常被称为对应点。在视差补偿预测中，基于其对应关系，根据参照帧来预测编码对象帧的各像素值，对其预测残差和示出对应关系的视差信息进行编码。视差按照作为对象的摄像机对、位置的每一个发生变化，因此，需要按照进行视差补偿预测的每个区域对视差信息进行编码。实际上，在H. 265的多视点活动图像编码方式中，按照使用视差补偿预测的每个块对表示视差信息的矢量进行编码。关于根据视差信息提供的对应关系，通过使用摄像机参数，从而能够基于对极几何约束使用示出被摄物的三维位置的一维量而不是二维矢量来表示。作为示出被摄物的三维位置的信息，存在各种表现，但是，使用从成为基准的摄像机到被摄物的距离或者与摄像机的图像平面不平行的轴上的坐标值的情况较多。再有，也存在不使用距离而使用距离的倒数的情况。此外，由于距离的倒数为与视差成比例的信息，所以，也存在设定2个成为基准的摄像机而表现为在由这些摄像机拍摄的图像间的视差量的情况。无论使用了怎样的表现，都没有本质的不同，因此，在以下，不进行根据表现的区别，将示出这些三维位置的信息表现为深度。图8是对极几何约束的概念图。根据对极几何约束，与某个摄像机的图像上的点对应的另外的摄像机的图像上的点被约束在极线这样的直线上。此时，在得到了针对该点的像素的深度的情况下，对应点被唯一地确定在极线上。例如，如图8所示那样，针对在第一摄像机图像中被投影到m的位置的被摄物的在第二摄像机图像中的对应点在实空间中的被摄物的位置为M’的情况下被投影到极线上的位置m’，在实空间中的被摄物的位置为M’’的情况下被投影到极线上的位置m’’。在非专利文献2中，利用该性质，按照由针对参照帧的深度图（距离图像）提供的各被摄物的三维信息，根据参照帧生成针对编码对象帧的合成图像来作为每个区域的预测图像的候补，由此，实现精度高的预测，实现高效率的多视点活动图像的编码。再有，基于该深度而生成的合成图像被称为视点合成图像、视点内插图像或视差补偿图像。进而，在非专利文献3中，在深度图的精度的情况下或在即使在实空间上为相同的点而在视点间图像信号也微妙地不同的情况下等，即使为不能生成充分的品质的视点合成图像的状况，也在空间上或时间上对将视点合成图像作为预测图像时的预测残差进行预测编码，由此，削减编码的预测残差的量，实现高效率的多视点活动图像的编码。根据非专利文献3所记载的方法，在空间上或时间上对将使用根据深度图得到的被摄物的三维信息而生成的视点合成图像作为预测图像时的预测残差进行预测编码，由此，即使在视点合成图像的品质不高的情况下也能够强健地实现高效率的编码。现有技术文献非专利文献非专利文献1：ITU-T Recommendation H. 265（04/2013）,“High efficiency video coding”, April, 2013；非专利文献2：S. Shimizu, H. Kimata, and Y. Ohtani, “Adaptive appearance compensated view synthesis prediction for Multiview Video Coding”, Image Processing（ICIP）, 2009 16th IEEE International Conference, pp. 2949-2952, 7-10 Nov. 2009；非专利文献3：S. Shimizu and H. Kimata, “MVC view synthesis residual prediction”, JVT Input Contribution, JVT-X084, June, 2007。
技术实现思路
专利技术要解决的课题但是，在非专利文献2或非专利文献3所记载的方法中，不管是否利用视点合成图像，必须针对图像整体来生成并蓄积视点合成图像，因此，存在处理负荷或存储器消耗量增加这样的问题。估计针对需要视点合成图像的区域的深度图，由此，也能够针对图像的一部分来生成视点合成图像。可是，在进行残差预测的情况下，除了预测对象的区域之外针对残差预测中的参照像素组也需要生成视点本文档来自技高网...

【技术保护点】
一种图像编码装置，在对由多个不同的视点的图像构成的多视点图像进行编码时，使用针对与编码对象图像不同的视点的编码完毕的参照视点图像和针对所述参照视点图像中的被摄物的参照深度图，一边在不同的视点间对图像进行预测一边按照作为对所述编码对象图像进行分割后的区域的编码对象区域的每一个进行编码，所述图像编码装置的特征在于，具有：编码对象区域视点合成图像生成单元，使用所述参照视点图像和所述参照深度图，生成针对所述编码对象区域的第一视点合成图像；参照像素设定单元，将在对所述编码对象区域进行帧内预测时参照的已经编码完毕的像素组设定为参照像素；参照像素视点合成图像生成单元，使用所述第一视点合成图像来生成针对所述参照像素的第二视点合成图像；以及帧内预测图像生成单元，使用针对所述参照像素的解码图像和所述第二视点合成图像，生成针对所述编码对象区域的帧内预测图像。

【技术特征摘要】
【国外来华专利技术】2014.03.20 JP 2014-0589021.一种图像编码装置，在对由多个不同的视点的图像构成的多视点图像进行编码时，使用针对与编码对象图像不同的视点的编码完毕的参照视点图像和针对所述参照视点图像中的被摄物的参照深度图，一边在不同的视点间对图像进行预测一边按照作为对所述编码对象图像进行分割后的区域的编码对象区域的每一个进行编码，所述图像编码装置的特征在于，具有：编码对象区域视点合成图像生成单元，使用所述参照视点图像和所述参照深度图，生成针对所述编码对象区域的第一视点合成图像；参照像素设定单元，将在对所述编码对象区域进行帧内预测时参照的已经编码完毕的像素组设定为参照像素；参照像素视点合成图像生成单元，使用所述第一视点合成图像来生成针对所述参照像素的第二视点合成图像；以及帧内预测图像生成单元，使用针对所述参照像素的解码图像和所述第二视点合成图像，生成针对所述编码对象区域的帧内预测图像。2.根据权利要求1所述的图像编码装置，其特征在于，所述帧内预测图像生成单元生成针对所述编码对象区域的针对所述编码对象图像与所述第一视点合成图像的差分图像的帧内预测图像即差分帧内预测图像，使用该差分帧内预测图像和所述第一视点合成图像来生成所述帧内预测图像。3.根据权利要求1所述的图像编码装置，其特征在于，还具有：帧内预测方法设定单元，所述帧内预测方法设定单元针对所述编码对象区域设定帧内预测方法，所述参照像素设定单元将在使用所述帧内预测方法时参照的已经编码完毕的像素组作为参照像素，所述帧内预测图像生成单元基于所述帧内预测方法来生成所述帧内预测图像。4.根据权利要求3所述的图像编码装置，其特征在于，所述参照像素视点合成图像生成单元基于所述帧内预测方法来生成所述第二视点合成图像。5.根据权利要求1所述的图像编码装置，其特征在于，所述参照像素视点合成图像生成单元根据所述第一视点合成图像进行外插，由此，生成所述第二视点合成图像。6.根据权利要求5所述的图像编码装置，其特征在于，所述参照像素视点合成图像生成单元使用在所述编码对象区域内与该编码对象区域外的像素相接的像素组所对应的所述第一视点合成图像的像素组来生成所述第二视点合成图像。7.一种图像解码装置，在根据由多个不同的视点的图像构成的多视点图像的码数据对解码对象图像进行解码时，使用针对与解码对象图像不同的视点的解码完毕的参照视点图像和针对所述参照视点图像中的被摄物的参照深度图，一边在不同的视点间对图像进行预测一边按照作为对所述解码对象图像进行分割后的区域的解码对象区域的每一个进行解码，所述图像解码装置的特征在于，具有：解码对象区域视点合成图像生成单元，使用所述参照视点图像和所述参照深度图，生成针对所述解码对象区域的第一视点合成图像；参照像素设定单元，将在对所述解码对象区域进行帧内预测时参照的已经解码完毕的像素组设定为参照像素；参照像素视点合成图像生成单元，使用所述第一视点合成图像来生成针对所述参照像素的第二视点合成图像；以及帧内预测图像生成单元，使用针对所述参照像素的解码图像和所述第二视点合成图像，生成针对所述解码对象区域的帧内预测图像。8.根据权利要求7所述的图像解码装置，...

【专利技术属性】
技术研发人员：志水信哉，杉本志织，
申请(专利权)人：日本电信电话株式会社，
类型：发明
国别省市：日本;JP