用于产生、传送和接收立体图像的方法及有关设备技术

本发明专利技术涉及一种用于产生包含合成图像(C)的立体视频流(101)的方法，所述合成图像(C)包含关于右图像(R)和左图像(L)以及至少一个深度图的信息。根据该方法，从右图像(R)和左图像(L)选择像素，然后将所选择的像素加入到立体视频流的合成图像(C)中。该方法还通过使所述两个图像之一不变并且将另一个分解成包含多个像素的区域(R1、R2、R3)，为将右图像(R)的所有像素和左图像(L)的所有像素加入到合成图像(C)中作好准备。然后，将深度图的像素加入到未被右图像和左图像的像素占据的合成图像的区域中。本发明专利技术还涉及一种用于从合成图像开始重构左图像和右图像的方法以及一种允许实现所述方法的设备。

【技术实现步骤摘要】
【国外来华专利技术】用于产生、传送和接收立体图像的方法及有关设备
本专利技术涉及立体视频流(亦即，当在可视化设备中被适当地处理时生成被观看者感知为是三维的图像序列的视频流)的产生、存储、传送、接收和再现。
技术介绍
众所周知，可以通过再现两个图像(一个针对观看者的右眼，并且另一个针对观看者的左眼)来获得对三维的感知。因此，立体视频流传输关于与对象或场景的右透视和左透视对应的两个图像序列的信息。这样的流还可以传输补充信息。于2011年6月30日作为WO2011/077343A1公布的国际专利申请PCT/IB2010/055918描述了一种左/右图像复用方法及解复用方法(以及有关设备)，该方法允许保留水平分辨率和垂直分辨率之间的平衡，从而相对于诸如“并排(sidebyside)”和“上下(topandbottom)”的已知技术提供了优点。根据所述复用方法，将第一图像(例如左图像)的像素不变地加入到合成图像中，而将第二图像划分成区域，其像素被布置在合成图像的空闲区中，如图1所示，其示出将两个所谓的720p图像加入到容器帧1080p中的情况。在接收时，重构被划分成区域的图像，然后发送给显示器。例如，已知根据所谓的“帧交替”原理进行操作(亦即，在时间上相继地示出两个图像L和R)的显示器。为了立体视觉，需要佩戴所谓的“主动式(active)”眼镜，亦即如下眼镜：该眼镜与图像L和R的相继同步地遮蔽一个透镜并且保持另一个眼睛的透镜打开、使得每个眼睛只能够看见想要给它的图像。已知对于某些观看者而言，通过这样的显示器得到的立体视觉可以被证实是令人讨厌的，期望对他们提供变化(减小)图像的深度的可能性，以便使其适合于他们的主观偏好和屏幕的大小。为此，需要在显示器内在正在被传送的那些图像之间提供中间图像的合成，其然后将被显示在实际传送的图像的地方。如果可以得到与所传送的图像关联的一个或多个深度图，则可以通过使用已知的技术完成这样的重构。另外，所谓的自立体(self-stereoscopic)显示器最近开始出现在市场上，其不需要使用眼镜。这样的显示器还执行未传送图像的合成，因此需要提供这样的合成所需的信息的至少一个深度图。从而，已经需要引入一种用于产生、传输和重构立体流的新格式，该格式可以用于传统的2D接收和再现设备、当前的双视图(two-view)立体3D接收和再现设备(具有或不具有深度调节)以及使用多于两个视图的未来的自立体设备，同时保留与当前使用的视频流生成和分发基础设施及设备的格式的最大兼容性。
技术实现思路
因此，本专利技术的目的是针对满足上述需求，提出一种用于产生、传送和接收立体图像的方法以及有关设备。本专利技术涉及一种用于在单个合成帧内复用与右透视和左透视有关的两个图像(以下称为右图像和左图像)以及一个或多个深度图的方法和设备。本专利技术还涉及一种用于解复用所述合成图像(亦即，用于从中提取通过复用设备加入的右图像和左图像以及深度图)的方法和设备。在图1a中可见，关于上述国际专利申请(所谓的“瓦片格式”)，在合成图像中存在尺寸在水平和垂直方向上均为两个图像L和R的尺寸的一半的未用区域(C5)。根据本专利技术的一个可能的实施例，如图1b所示，可以将至少一个深度图(DM)加入到所述未用区域中。将与图像x有关的深度图理解为灰度图像，其中每个像素具有与像素本身的深度(亦即，坐标“z”)成比例的亮度值，其中按照惯例假设值z＝0与屏幕上的位置对应，z的正值与位于屏幕后面的像素对应，而负值与位于屏幕的前面的像素对应。因为合成图像的未用区域具有水平和垂直尺寸(其是图像L和R的尺寸的一半)，所以在本专利技术的一个实施例中，可以将具有等于对应的图像的一半的水平和垂直分辨率的深度图(与两个图像L和R之一有关)加入到这样的区域中。已经观察到分辨率的这种损失不是有害的，因为通常可以在不精确的情况下计算或测量深度图，优选对全分辨率图通过在像素值之间进行插值来进行欠采样操作，因为这样的操作可以减少噪声分量，从而得到更高质量的重构图像。根据本专利技术的其他实施例，可以将两个深度图加入到所述未用区域(C5)中。上述国际专利申请还描述了立体图像L和R的复用和解复用的其他形式，虽然因为可用于加入深度图的剩下的空间更小而不那么有效，但是也可以对其应用本专利技术的方法。因此，将存在所述图的分辨率的进一步的降低。虽然仍然落入本专利技术的一般原理之内，但是在本文中将不描述这样的替代的实施方式。本专利技术的具体目标是提供一种如作为本描述的组成部分的所附权利要求中所述的用于产生、传送和接收立体图像的方法以及有关设备。附图说明本专利技术的进一步的目的和优点将根据下面的对其若干实施例的描述变得明显，参考附图通过非限制性的示例提供该描述，其中：图1a示出现有技术格式(瓦片格式)中的合成帧；图1b示出根据本专利技术的合成帧的一个示例；图2示出用于将右图像、左图像和深度图复用到合成图像中的设备的框图；图3是由图2的设备执行的方法的流程图；图4示出要加入到合成图像中的图像的拆卸的一种可能形式；图5示出用于从合成帧中提取左图像、右图像和深度图的设备的框图；图6是由图5的设备执行的方法的流程图。具体实施方式图2示出根据本专利技术的变型的用于产生具有至少一个深度图的立体视频流101的设备100的框图。在图2中，设备100接收两个图像序列102和103(例如，分别用于左眼(L)和右眼(R)的两个视频流)以及与和立体视频流关联的三维内容有关的深度图序列106。序列106的深度图可以与分别属于序列102和103的两个右图像和左图像之一关联，或者可以被创建为右图像和左图像的深度图之间的插值，亦即，与场景的中间视点有关。在将在下面描述的这个第一实施例中，通过现有技术中已知的算法中的任何一个来产生深度图，例如，基于右图像和左图像之间的比较，并且返回大小等于两个比较图像之一的像素并且元素具有与所述图像的每个像素的深度成比例的值的矩阵(亦即，深度图)。另一种深度图产生技术基于测量场景中的对象与拍摄场景的摄像机对的距离：可以通过激光容易地测量该距离。在利用电子计算机的帮助产生伪视频流的情况下，摄像机是虚拟摄像机，因为它们由计算机仿造的某个场景的两个视点组成。在这样的情况下，深度图由计算机产生，并且非常精确。作为图2的示例的替代，可以在设备100内产生序列106的深度图。在该情况下，设备100包含被输入序列102和103的图像L和R、然后计算对应的深度图的适当的模块(未在图中示出)，而不是从外部接收深度图序列。设备100允许实现用于复用两个序列102和103的两个图像以及序列106的深度图的方法。为了实现用于复用右图像和左图像以及深度图的方法，设备100包含：拆卸器模块104，用于将输入图像(图1b的示例中的右图像)分解成多个子图像，每个子图像与所接收的图像的一个区域对应；欠采样和滤波模块107，用于处理深度图；以及组装器模块105，能够将所接收的图像(包括深度图)的像素加入到单个合成图像中以在其输出处提供。如果不需要对序列106进行处理，则可以省略模块107。例如，这可以是当深度图是激光产生的并且从一开始就具有比图像L和R的分辨率低的分辨率时的情况。现在将参考图3来描述由设备100实现的复用方法的一个示例。该方法开始于步骤200。随后(步骤201)，如图4所示，本文档来自技高网...

【技术保护点】
一种用于产生包含合成图像(C)的立体视频流(101)的方法，所述合成图像(C)包含关于三维视频内容的右图像(R)和左图像(L)的信息，其中，选择所述右图像(R)的像素和所述左图像(L)的像素，并且将所选择的像素加入到所述立体视频流的合成图像(C)中，所述方法的特征在于：通过使得所述两个图像之一不变，将另一个图像分解成总面积等于所述另一个图像(R)的面积的多个区域(R1、R2、R3)，并且将所述区域加入到所述合成图像(C)中，来将所述右图像(R)的所有像素以及所述左图像(L)的所有像素加入到所述合成图像(C)中，其中，所述合成图像(C)具有比加入所述左图像(L)和右图像(R)的所有像素所需的尺寸更大的尺寸，并且其中，在所述加入之后剩余的合成图像(C)的像素中，加入与所述三维视频内容的像素的深度或视差有关的至少一个深度或视差图(DM)，所述图针对在接收时重构未在所述立体流中传送的图像。

【技术特征摘要】
【国外来华专利技术】2012.09.06 RU 20121381741.一种用于产生包含合成图像(C)的立体视频流(101)的方法，所述合成图像(C)包含关于三维视频内容的右图像(R)和左图像(L)的信息，其中，选择所述右图像(R)的像素和所述左图像(L)的像素，并且将所选择的像素加入到所述立体视频流的合成图像(C)中，所述方法的特征在于：通过使得所述两个图像之一不变，将另一个图像分解成总面积等于所述另一个图像(R)的面积的多个区域(R1、R2、R3)，并且将所述区域加入到所述合成图像(C)中，来将所述右图像(R)的所有像素以及所述左图像(L)的所有像素加入到所述合成图像(C)中，其中，所述合成图像(C)具有比加入所述左图像(L)和右图像(R)的所有像素所需的尺寸更大的尺寸，并且其中，在所述加入之后剩余的合成图像(C)的像素中，加入与所述三维视频内容的像素的深度或视差有关的至少一个深度或视差图(DM)，并且其中，所述加入之后剩余的合成图像(C)的所述像素定义所述合成图像的未使用区域，该未使用区域的水平和垂直尺寸是所述右图像和左图像的尺寸的一半，所述至少一个深度或视差图的水平和垂直分辨率等于所述右图像和左图像的分辨率的一半，并且其中，所述至少一个深度或视差图是与所述右图像和左图像之间的中间视点关联的深度或视差图，并且所述至少一个深度或视差图适于在接收时重构所述右图像和左图像之间的中间图像。2.根据权利要求1所述的方法，其中，将所述至少一个深度或视差图(DM)编码为灰度图像。3.根据权利要求2所述的方法，其中，由单个亮度信号而不使用色度信号来传输所述至少一个深度或视差图的视频信息内容。4.根据前述权利要求中的任一项所述的方法，其中，所述至少一个深度或视差图(DM)具有比其原始版本低的分辨率，后者的分辨率等于所述左图像(L)和右图像(R)的分辨率。5.根据权利要求4所述的方法，其中，通过对所述原始深度图进行4到1的欠采样来获得所述至少一个深度或视差图(DM)。6.根据权利要求1-3中的任一项所述的方法，其中，所述至少一个深度或视差图(DM)包含与右图像(R)关联的深度或视差图以及与左图像(L)关联的深度或视差图。7.根据权利要求6所述的方法，其中，通过帧封装技术将与右图像(R)和左图像(L)关联的所述深度或视差图加入到所述合成图像(C)的剩余像素中。8.根据权利要求1-3中的任一项所述的方法，其中，如果所述区域的数量为3，则通过以下步骤获得所述区域：将所述另一个图像(R)划分为具有相同水平尺寸的两个部分(R1、R2R3)；将所述两个部分之一(R2R3)划分为具有相同垂直尺寸的两个部分(R2、R3)。9.根据权利要求1-3中的任一项所述的方法，其中，将标识所产生的视频流的类型的信令信息作为元数据加入到所述合成图像(C)或所述立体视频流中。10.根据权利要求9所述的方法，其中，调整所述信令信息使得允许在合成帧的以下类型中的至少两个之间进行区分：不带有深度图的瓦片格式类型的合成帧；带有一个深度图的瓦片格式类型的合成帧；带有并排配置的两个深度图的瓦片格式类型的合成帧；带有上下配置的两个深度图的瓦片格式类型的合成帧；带有以瓦片格式配置的两个深度图的瓦片格式类型的合成帧。11.一种用于产生包含合成图像(C)的立体视频流(101)的设备，所述合成图像(C)包含关于右图像(R)和左图像(L)的信息，其特征在于：所述设备包含用于实现根据前述权利要求中的任一项所述的方法的步骤的装置。12.一种用于从合成图像(C)开始重构立体视频流的至少一对图像的方法，所述合成图像(C)包含关于右图像(R)、左图像(L)和另外的区域的信息，所述方法包含以下步骤：通过从所述合成图像的第一区域(C1)复制单组连续像素来根据所述右图像(R)和左图像(L)产生第一图像；通过从所述合成图像的多个不同区域(C2、C3、C4)复制其他组连续像素来根据所述右图像(R)和左图像(L)产生第二图像，所述多个不同区域不同于所述第一区域(C1)；通过从所述合成图像的不同于所述第一区域和所述多个不同区域的另外的区域(C5)复制至少一组连续像素来产生至少一个深度或视差图(DM)，所述另外的区域的水平和垂直尺寸是所述右图像和左图像的尺寸的一半，所述至少一个深度或视差图的水平和垂直分辨率等于所述右图像和左图像的分辨率的一半，所述至少一个深度或视差图是与所述右图像和左图像之间的中间视点关联的深度或视差图，并且所述至少一个深度或视差图适于重构所述右图像和左图像之间的中间图像。13.根据权利要求12所述的方法，其中，如果所述区域的数量为3，则：所述合成图像(C)的区域之一(C2)具有与所述第一区域(C1)相同的垂直尺寸以及所述第一区域的水平尺寸的一半；所述合成图像(C)的区域中的剩余的两个(C3、C4)具有相等...

【专利技术属性】
技术研发人员：P·达马托，G·巴洛卡，F·布时拉诺维，A·波利阿克维，
申请(专利权)人：意大利希思卫电子发展股份公司，
类型：发明
国别省市：意大利;IT