对多视点视频数据的深度图进行编码的方法和装置以及对编码的深度图进行解码的方法和装置制造方法及图纸

一种用于对多视点视频数据的深度图进行编码的方法和设备以及对多视点视频数据的深度图进行解码的方法和设备。所述对多视点视频数据的深度图进行编码的方法包括：基于被预测编码并恢复的多视点彩色视频帧的块的像素值，将恢复的多视点彩色视频帧的块划分为至少一个分区；针对恢复的多视点彩色视频帧的块分区中的每个，通过使用多视点彩色视频帧的块分区的外围像素值和与多视点彩色视频帧的块分区相应的深度图帧的块分区的外围像素值，获得指示多视点彩色视频帧的块分区中的每个与深度图帧的块分区中的每个之间的相关性的参数；通过使用获得的参数，从恢复的多视点彩色视频帧的块分区获得深度图帧的相应块分区的预测值。

【技术实现步骤摘要】
【国外来华专利技术】对多视点视频数据的深度图进行编码的方法和装置以及对编码的深度图进行解码的方法和装置
本专利技术涉及对包括深度图像的多视点视频数据进行编码和解码。
技术介绍
近来，随着数字图像处理和计算机图形技术的发展，已积极地对三维(3D)视频技术和多视点视频技术进行了研究，其中，所述三维(3D)视频技术和多视点视频技术使真实世界能够被再现并使用户能够真实地体验被再现的真实世界。使用多视点视频的3D电视(TV)能够通过显示由再现真实世界而获得的内容来向用户提供真实的感受，并因此作为下一代广播技术而备受关注。3D视频编码系统具有支持多视点图像的功能，经由此功能，用户可自由地改变视点或使得3D视频编码系统可应用于各种类型的3D再现设备。然而，由于多视点视频的数据量高，因此需要开发一种有效降低多视点视频的数据量的编码方法。
技术实现思路
技术问题本专利技术提供一种对用于将3D视频提供给多视点视频数据的深度图图像进行有效编码的方法和设备，以及对深度图进行有效解码的方法和设备。技术方案根据本专利技术，获得彩色图像的外围像素与深度图像的外围像素之间的相关性，并使用相应彩色图像的块通过帧内预测来对当前深度图像的块进行编码。有益效果根据本专利技术，可通过从多视点彩色视频帧预测相应深度图帧，来对具有大量数据的多视点视频数据进行有效压缩。此外，根据本专利技术，从先前编码的外围像素值来确定指示相关性的参数，因此不必发送额外的参数。【附图说明】图1是根据本专利技术的实施例的多视点视频系统的框图。图2示出经由图1的多视点相机获得的多视点视频帧和经由图1的深度相机获得的深度图帧。图3是根据本专利技术的实施例的多视点视频数据编码设备的框图。图4是图3的深度图帧编码单元的框图。图5A和图5B是用于解释由图4的划分单元420执行的将多视点彩色视频帧的块划分为分区(partition)的方法的示图。图6是用于解释由图4的相关性参数获得单元430执行的参数获得处理和由深度图帧预测单元440执行的帧内预测处理的示图。图7示出根据本专利技术的实施例的用于预测深度图帧块的多视点彩色视频帧块。图8是示出根据本专利技术的实施例的对多视点视频数据的深度图进行编码的方法的流程图。图9是根据本专利技术的实施例的多视点视频数据解码设备的框图。图10是根据本专利技术的实施例的图9的深度图帧解码单元930的框图。图11是示出根据本专利技术的实施例的对多视点视频数据的深度图进行解码的方法的流程图。图12示出根据本专利技术的实施例的基于对多视点视频进行编码的方法而编码并基于对多视点视频进行解码的方法而解码的多视点彩色视频帧。图13是根据本专利技术的实施例的能够基于具有树结构的编码单元执行视频预测的视频编码设备的框图。图14是根据本专利技术的实施例的能够基于具有树结构的编码单元执行视频预测的视频解码设备的框图。图15示出根据本专利技术的实施例的编码单元的概念。图16是根据本专利技术的实施例的基于编码单元的图像编码器的框图。图17是根据本专利技术的实施例的基于编码单元的图像解码器的框图。图18是示出根据本专利技术的实施例的与深度相应的编码单元以及分区的示图。图19是示出根据本专利技术的实施例的编码单元与变换单元之间的相关性的示图。图20是示出根据本专利技术的实施例的与深度相应的编码信息的示图。图21是示出根据本专利技术的实施例的与深度相应的编码单元的示图。图22、图23和图24是示出根据本专利技术的实施例的编码单元、预测单元和变换单元之间的相关性的示图。图25是示出根据表I的编码模式信息的编码单元、预测单元和变换单元之间的相关性的示图。图26A示出根据本专利技术的实施例的存储程序的盘的物理结构。图26B示出通过使用盘来记录和读取程序的盘驱动器。图27示出提供内容分配服务的内容供应系统的整体结构。图28和图29示出根据本专利技术的实施例的应用了视频编码方法和视频解码方法的移动电话的内部结构和外部结构。图30示出根据本专利技术的实施例的采用通信系统的数字广播系统。图31示出根据本专利技术的实施例的使用视频编码设备和视频解码设备的云计算系统的网络结构。最佳实施方式根据本专利技术的一方面，提供了一种对多视点视频数据的深度图进行编码的方法，所述方法包括:获得多视点彩色视频帧和与多视点彩色视频帧相应的深度图帧；对获得的多视点彩色视频帧进行预测编码和恢复；基于恢复的多视点彩色视频帧的块的像素值，将恢复的多视点彩色视频帧的块划分为至少一个分区；针对恢复的多视点彩色视频帧的块分区中的每个，通过使用多视点彩色视频帧的块分区的外围像素值和与多视点彩色视频帧的块分区相应的深度图帧的块分区的外围像素值，获得指示多视点彩色视频帧的块分区中的每个与深度图帧的块分区中的每个之间的相关性的参数；通过使用获得的参数，从恢复的多视点彩色视频帧的块分区获得深度图帧的相应块分区的预测值。根据本专利技术的另一方面，提供了一种用于对多视点视频数据的深度图进行编码的设备，所述设备包括:图像获得单元，获得多视点彩色视频帧和与多视点彩色视频帧相应的深度图帧；彩色视频帧编码单元，对获得的多视点彩色视频帧进行预测编码；恢复单元，恢复编码的彩色视频帧；划分单元，基于恢复的多视点彩色视频帧的块的像素值，将恢复的多视点彩色视频帧的块划分为至少一个分区；相关性参数获得单元，针对恢复的多视点彩色视频帧的块分区中的每个，通过使用多视点彩色视频帧的块分区的外围像素值和与多视点彩色视频帧的块分区相应的深度图帧的块分区的外围像素值，获得指示多视点彩色视频帧的块分区中的每个与深度图帧的块分区中的每个之间的相关性的参数；深度图帧预测单元，通过使用获得的参数，从恢复的多视点彩色视频帧的块分区获得深度图帧的相应块分区的预测值。根据本专利技术的另一方面，提供了一种对多视点视频数据的深度图进行解码的方法，所述方法包括:接收通过对多视点彩色视频帧和与多视点彩色视频帧相应的深度图帧进行编码而获得的比特流；对多视点彩色视频帧进行解码；基于解码的多视点彩色视频帧的块的像素值，将解码的多视点彩色视频帧的块划分为至少一个分区；针对解码的多视点彩色视频帧的块分区中的每个，通过使用多视点彩色视频帧的块分区的外围像素值和与多视点彩色视频帧的块分区相应的深度图帧的块分区的外围像素值，获得指示多视点彩色视频帧的块分区中的每个与深度图帧的块分区中的每个之间的相关性的参数；通过使用获得的参数，从解码的多视点彩色视频帧的块分区获得深度图帧的相应块分区的预测值。根据本专利技术的另一方面，提供了一种用于多视点视频数据的深度图进行解码的设备，所述设备包括:接收单元，接收通过对多视点彩色视频帧和与多视点彩色视频帧相应的深度图帧进行编码而获得的比特流；彩色视频帧解码单元，对从比特流获得的编码的多视点彩色视频帧进行解码；划分单元，基于恢复的多视点彩色视频帧的块的像素值，将恢复的多视点彩色视频帧的块划分为至少一个分区；相关性参数获得单元，针对恢复的多视点彩色视频帧的块分区中的每个，通过使用多视点彩色视频帧的块分区的外围像素值和与多视点彩色视频帧的块分区相应的深度图帧的块分区的外围像素值，获得指示多视点彩色视频帧的块分区中的每个与深度图帧的块分区中的每个之间的相关性的参数；深度图解码单元，通过使用获得的参数，从恢复的多视点彩色视频帧的块分区获得深度图帧的相应块分区的预测值。【具体实施方式】以下，将参照附图详细描本文档来自技高网...

【技术保护点】
一种对多视点视频数据的深度图进行编码的方法，所述方法包括：获得多视点彩色视频帧和与多视点彩色视频帧相应的深度图帧；对获得的多视点彩色视频帧进行预测编码和恢复；基于恢复的多视点彩色视频帧的块的像素值，将恢复的多视点彩色视频帧的块划分为至少一个分区；针对恢复的多视点彩色视频帧的块分区中的每个，通过使用多视点彩色视频帧的块分区的外围像素值和与多视点彩色视频帧的块分区相应的深度图帧的块分区的外围像素值，获得指示多视点彩色视频帧的块分区中的每个与深度图帧的块分区中的每个之间的相关性的参数；通过使用获得的参数，从恢复的多视点彩色视频帧的块分区获得深度图帧的相应块分区的预测值。

【技术特征摘要】
【国外来华专利技术】2011.08.09 US 61/521,5291.一种对多视点视频数据的深度图进行编码的方法，所述方法包括: 获得多视点彩色视频帧和与多视点彩色视频帧相应的深度图帧； 对获得的多视点彩色视频帧进行预测编码和恢复； 基于恢复的多视点彩色视频帧的块的像素值，将恢复的多视点彩色视频帧的块划分为至少一个分区； 针对恢复的多视点彩色视频帧的块分区中的每个，通过使用多视点彩色视频帧的块分区的外围像素值和与多视点彩色视频帧的块分区相应的深度图帧的块分区的外围像素值，获得指示多视点彩色视频帧的块分区中的每个与深度图帧的块分区中的每个之间的相关性的参数； 通过使用获得的参数，从恢复的多视点彩色视频帧的块分区获得深度图帧的相应块分区的预测值。2.如权利要求1所述的方法，其中，对多视点彩色视频帧进行预测编码的步骤包括:针对从多视点彩色视频帧划分的至少一个最大编码单元中的每个，确定与深度相应的分层编码单元之中的包括编码深度的编码单元的具有树结构的编码单元；确定用于对与编码深度相应的编码单元中的每个进行预测编码的分区；通过基于分层变换单元执行变换来确定具有树结构的变换单元，其中，每个深度表示所述至少一个最大编码单元被空间划分的次数。3.如权利要求1所述的方法，其中，获得参数的步骤包括:通过使用所述相关性确定所述参数，使得从多视点彩色视频帧的块分区的外围像素值获得的深度图帧的块分区的外围像素值与深度图帧的块分区的原始外围像素值之间的差最小化。4.如权利要求3所述的方法，其中，所述相关性是线性关系，所述参数包括定义多视点彩色视频帧的块分区的外围像素值与深度图帧的块分区的相应外围像素值之间的线性关系的权重和偏移值。5.如权利要求4所述的方法，其中，如果多视点彩色视频帧的块分区的外围像素值是Rec_Y’，深度图帧的块分区的相应外围像素值的预测值是Pred_D，权重是a，偏移值是b，则所述相关性被定义为等式Pred_D=aXReC_Y’ +b。6.如权利要求1所述的方法，其中，获得深度图帧的相应块分区的预测值的步骤包括: 通过使用具有不同颜色分量的恢复的多视点彩色视频帧的块分区，获得深度图帧的相应块分区的预测值； 对从具有不同颜色分量的恢复的多视点彩色视频帧的块分区获得的预测值的代价进行比较，并确定将被用于预测深度图帧的块分区的多视点彩色视频帧的块分区。7.一种用于对多视点视频数据的深度图进行编码的设备，所述设备包括: 图像获得单元，获得多视点彩色视频帧和与多视点彩色视频帧相应的深度图帧； 彩色视频帧编码单元，对获得的多视点彩色视频帧进行预测编码； 恢复单元，恢复编码的彩色视频帧； 划分单元，基于恢复的多视点彩色视频帧的块的像素值，将恢复的多视点彩色视频帧的块划分为至少一个分区； 相关性参数获得单元，针对恢复的多视点彩色视频帧的块分区中的每个，通过使用多视点彩色视频帧的块分区的外围像素值和与多视点彩色视频帧的块分区相应的深度图帧的块分区的外围像素值，获得指示多视点彩色视频帧的块分区中的每个与深度图帧的块分区中的每个之间的相关性的参数； 深度图帧预测单元，通过使用获得的参数，从恢复的多视点彩色视频帧的块分区获得深度图帧的相应块分区的预测值。8.一种对多视点视频数据的深度图进行解码的方法，所述方法包括: 接收通过对多视点彩色视频帧和与多视点彩色视频帧相应的深度图帧进行编码而获得的比特流； 对多视点彩色视频帧进行解码； 基于解码的多视点彩色视频帧的块的像素值，将解码的多视点彩色视频帧的块划分为至少一个分区； 针对解码的多视点彩色视频帧的块分区中的每个，通过使用多视点彩色视频帧的块分区的外围像素值和与多视点彩色视频帧...

【专利技术属性】
技术研发人员：郑承洙，崔秉斗，朴正辉，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR