用于生成、存储、传送、接收和再现深度图的方法和设备技术

本公开内容涉及用于生成、存储、传送、接收和再现深度图的方法和设备。描述了一种用于通过从至少一个深度或差异图(DM1、DM2)开始而生成由多个分量(Y、U、V)构成的颜色图像的方法，其中，所述至少一个深度或差异图(DM1、DM2)的第一组像素输入到所述颜色图像的亮度分量(Y)中，并且其中，所述至少一个深度或差异图(DM1、DM2)的第二组和第三组像素输入到所述颜色图像的两个色度分量(U、V)中。

【技术实现步骤摘要】
用于生成、存储、传送、接收和再现深度图的方法和设备
本专利技术涉及用于通过使用属于三维视频流的图像的颜色分量生成、存储、传送、接收和再现深度图(depthmap)的方法和设备。
技术介绍
立体视频应用的发展在很大程度上依赖于用于表示和压缩三维视频信号的高效格式的可用性。而且，在电视广播应用(3D-TV)中，有必要保持与现有2D系统的最大可能程度的向后兼容性。对于分布(或传送)来说，当前最广泛的技术方案基于所谓的“帧兼容步置”，其中，与同一时间点有关的两个立体视图被重新扩缩并构造以形成与现有格式兼容的单个图像。在这些方案中，顶底(top-and-bottom)格式、并排(side-by-side)格式和平铺(tile)格式是已知的。这些方案允许使用整个现有视频信号分布构架(陆地、卫星或电缆广播、或者IP网络上的流处理)，并且不需要用于压缩视频流的新标准。另外，当前的AVC/H.264编码标准(先进视频编码)和将来的HEVC标准(高效率视频编码)已包括用信号通知这种类型的组织以允许通过接收器的适当的重构和可视化的可能性。对于显示来说，两个当前最广泛的技术方案基于“帧交替”原理(即在屏幕上在时间上接连呈现两个视图)或“线交替”原理，即两个视图以交替的行(即它们是“交错”的)布置在屏幕上。在两种情况下，对于接收对应视图的每只眼睛，观众需要使用一副眼镜，眼镜可以是帧交替情况下的“主动式”眼镜(即快门式眼镜)，或者可以是线交替情况下的“被动式”眼镜(即具有以不同方式偏光的透镜)。三维可视化的未来将由不需要用户配戴任何眼镜(不管是主动式还是被动式眼镜)的新的自立体屏幕的扩散而确定。这些当前仍处于原型阶段的3D显示设备基于视差透镜或屏障的使用，视差透镜或屏障可导致对于用户在围绕屏幕有角度地移动时可处于的各视点，观察者察觉到两个不同的立体视图。因此，这些设备可改善3D视觉体验，但它们需要生成大量的视图(几十倍)。关于3D视频表示，管理大量视图的产生和分布是非常费力的任务。近年来，科学团体已经评估通过使用利用所谓的场景深度图的已知的基于深度图像的绘制(DIBR)技术创建任意大量的中间视图的可能性。这些格式也称为“视频+深度”(V+D)，其中，各视图由稠密深度图伴随。稠密深度图是其中平面坐标(x，y)(即列行)中的各像素表示深度值(z)的图像，深度值(z)与相应视图的具有相同坐标的像素相对应。通过从由立体视频摄像机获得的两个视图开始可计算深度图的值，或者由适当的传感器可对它们进行测量。一般通过使用具有通过使用标准技术压缩的256个灰度级的图像表示这样的值。基于深度图像的绘制技术利用这样的事实，即，给定坐标(x，y，z)--即深度平面中的位置加上与各像素相关联的深度，可以将像素重新投影到与新的视点有关的另一图像平面(imageplane)上。最广泛的应用上下文是立体视频摄像机的系统，其中，两个视频摄像机以它们两个光学中心之间的距离b而水平放置，具有平行的光轴和共平面的图像平面。在这样的配置中，在与一个像素相关联的深度z与所谓的视差(disparity)d——即为了获得在左(或右)视频摄像机的图像平面中的对应位置必须施加于右(或左)视频摄像机的图像的像素的水平平移——之间存在简单的关系。根据所考虑的视频摄像机，视差可以为正或负(向左或右的平移)。用f指示两个视频摄像机的焦距，在深度z与视差d之间存在以下的关系：d＝fb/z。要得到更多的细节，参见文章：Paradiso，V.；Lucenteforte，M.；Grangetto，M.，“Anovelinterpolationmethodfor3Dviewsynthesis”，3DTV-Conference：TheTrueVision-Capture，TransmissionandDisplayof3DVideo(3DTV-CON)，2012，vol.no.PP.1，4，15-17，2012年10月。由于根据上述的假设，视差是深度的简单函数，因此，深度图和视差图携带相同的信息并因此可互换。另外，必须指出，MPEG上下文中的称为深度图的图像表示1/z的值，与映射在0-255间隔中的z相反。以下，术语“深度图”将只用于指示深度或视差的任何表示。应当注意，MPEG标准委员会也已选择由一对(左和右)图像和相应的深度图组成的视频信号作为使用情况，用于评估将在未来的3D编码标准中引入的技术。这导致对高效地管理包括深度图的电视信号的存储、传送、接收和再现的需求。
技术实现思路
因此，本专利技术的目的是提供用于通过使用图像的颜色分量生成、存储、传送、接收和再现深度图的方法和设备，其可克服本领域中已知的方案中的固有限制。如上面所提及的，深度图适于表示为灰度图像，即由每位置(x，y)的单个值构成。以下将使用术语“像素”以指示图像的单个要素(或点)；各像素由其位置(x，y)以及由诸如颜色或强度的值表征，这些值随使用的表示系统而变。在电视领域中，一般采用称为亮度(Y)和色度(U，V)的像素表示系统。一般地，深度图通过只使用Y分量被表示为数字视频。本专利技术的基本思想是还利用U和V色度分量以表示深度图的值，因此创建所谓的“伪颜色”图像，这允许更好的图像精简。在本上下文中，伪颜色图像(为了简洁，以下称为“颜色图像”)是其中色度分量也携带有用信息的图像，但该信息不是颜色信息，在该情况下，而是与已从Y分量去除的像素有关的亮度信息。对深度矩阵的要输入到W×H尺寸的颜色图像的U和V分量中的像素的选择以这样的方式做出，使得获得Y、U、V分量之间(即在真实的亮度与这些附加的假想分量之间)的空间相关性，空间相关性用于确保与假定在各种像素的Y、U、V三个分量之间存在相关的标准编码算法(例如MPEG)的运算兼容。这也允许使用针对真实的颜色图像所采用的压缩技术的标准编码器和解码器。空间相关性意味着布置在Y、U、V分量上的值属于深度图中的在空间上接近的像素。优选的方案使用用于输入两个深度图的W×H矩形，每个深度图涉及立体对的相应视频图像，因此获得单个颜色图像。其它的优选方案针对深度图采用用于电视图像的格式，这些格式称为4∶2∶0或4∶2∶2YUV。在通常用于分布的前一种格式中，在偶数行(0、2、4等)中，只有偶数列(0、2、4等)中的像素包含色度信息，而奇数行中的所有像素包含仅亮度信息：由此得出结论，总体上，在四个像素中只有一个像素包含色度信息。在通常用于制作链中的后一种格式中，在所有行中，只有偶数列中的像素包含色度信息：由此得出结论，总体上，在两个像素中由一个像素包含这样的信息。通常，参照具有在256个级(即每像素8比特)上表示的值的深度图。在将在下面描述的优选方案的第一系列的例子中，将参照4∶2∶0YUV格式，而第二系列的例子将参照4∶2∶2YUV格式。在各种帧填装系统之中，平铺格式(在WO2011/077343-A1中描述)允许在不从与两个视图有关的图像扣减空间的情况下输入深度图。参照图1，在平铺格式中，一对立体图像L和R输入到较大的视频帧(C)中，两个图像中的一个(例如L)在保持不变的状态下被重新复制，并且另一图像(例如R)分成三个区域(R1、R2和R3)。在复合帧C中，这些区域布置在由第一图像留下的可用区域中；未使用的区域本文档来自技高网...

【技术保护点】
一种用于从至少一个深度或差异图(DM1、DM2)开始、生成由多个分量(Y、U、V)构成的颜色图像的方法，其中，所述至少一个深度或差异图(DM1、DM2)的第一组像素输入到所述颜色图像的亮度分量(Y)中，并且其中，所述至少一个深度或差异图(DM1、DM2)的第二组和第三组像素输入到所述颜色图像的两个色度分量(U、V)中。

【技术特征摘要】
2013.06.18 IT TO2013A0005031.一种用于从深度或视差图(DM1、DM2)开始、生成由包括亮度分量(Y)和两个色度分量(U、V)的多个分量(Y、U、V)构成的颜色图像的方法，其中，所述深度或视差图(DM1、DM2)的第一组像素输入到所述颜色图像的亮度分量(Y)中，并且其中，所述深度或视差图(DM1、DM2)的第二组像素输入到所述颜色图像的两个色度分量(U、V)中的一个分量(U)中，并且所述深度或视差图(DM1、DM2)的第三组像素输入到所述颜色图像的两个色度分量(U、V)中的另一个分量(V)中，并且其中，以为了确保所述颜色图像的亮度分量(Y)和色度分量(U、V)之间的空间相关性的方式，做出对所述第一组、第二组和第三组像素将被输入到所述亮度分量(Y)和色度分量(U、V)中的位置的选择，其中，空间相关性意味着布置在所述多个分量(Y、U、V)上的值属于所述深度或视差图(DM1、DM2)中的在空间上接近的像素。2.根据权利要求1的方法，其中，所述第一组、第二组和第三组的联合包括所述深度或视差图(DM1、DM2)的所有像素。3.根据权利要求1的方法，其中，所述第一组、第二组和第三组仅包括所述深度或视差图(DM1、DM2)的所有像素的一部分。4.根据权利要求1的方法，其中，通过使用并排技术或顶底技术，W×H尺寸的两个深度或视差图(DM1、DM2)输入到相同尺寸的颜色图像中。5.根据权利要求1的方法，其中，所述第二组和第三组的属于一个像素分组的像素用相对于预测值或内插值的差值被替换，所述预测值或内插值从属于所述第一组的像素的值获得。6.根据权利要求1的方法，包括以下的步骤：用所述深度或视差图(DM1、DM2)的属于一组相连像素(a、b、c、d)的像素的值的和或差替换所述深度或视差图(DM1、DM2)的属于一组相连像素(a、b、c、d)的像素的值，这通过将所述和放置到亮度分量(Y)中并仅选择所述差之一(wd)以放置到两个色度分量(U、V)中的一个中来完成。7.根据权利要求1的方法，包括以下的步骤：用所述深度或视差图(DM1、DM2)的属于一组相连像素(a、b、c、d)的像素的值的和或差替换所述深度或视差图(DM1、DM2)的属于一组相连像素(a、b、c、d)的像素的值，这通过将所述和放置到亮度分量(Y)中、将所述差中的两个差中的第一个差放置到色度分量(U)中并将所述两个差中的第二个差放置到另一色度分量(V)中来完成。8.根据权利要求1的方法，包括以下的步骤：在将所述第一组、第二组和第三组像素输入到颜色图像的所述分量(Y、U、V)中之前使所述深度或视差图(DM1、DM2)经受域变换。9.一种用于生成视频流的方法，所述视频流包括通过使用根据前面的权利要求1-8中的一项的方法获得的颜色图像的序列。10.一种用于使用包括没有与两个立体视图有关的图像的像素的帧部分的帧填装格式生成立体视频流的方法，其中，根据权利要求1生成的颜色图像被输入到所述帧部分中。11.一种包括图像处理部...

【专利技术属性】
技术研发人员：M·格兰齐托，M·卢森特福特，P·达马托，
申请(专利权)人：西斯维尔科技有限公司，
类型：发明
国别省市：意大利;IT