用于图像处理的方法和设备技术

本发明专利技术提供了一种用于图像处理的方法和设备。用于图像处理的方法包括：基于多视点彩色图像和与所述多视点彩色图像对应的深度图像产生基础图像；基于基础图像(即，包括将基于彩色图像和深度图像产生的至少一个LF图像的闭塞区域的图像)产生光场(LF)图像(例如，输出图像)。

【技术实现步骤摘要】
用于图像处理的方法和设备本申请要求于2013年11月5日提交到韩国知识产权局的第10-2013-0133629号韩国专利申请的优先权权益，所述申请的公开通过引用合并于此。
示例实施例涉及用于图像处理的方法和设备，更具体地讲，涉及用于对光场(LF)图像进行处理的方法和设备。
技术介绍
为了在多视点图像被输入时产生光场(LF)显示，可通过对多视点图像进行转换来产生包括视点的LF图像。基于图像的渲染(IBR)方法可用于从多视点图像产生LF图像。为了应用IBR方法，采用多个多视点图像或基于多视点图像和与该多视点图像对应的深度图图像产生的多个图像。可能存在LF图像的闭塞区域(occlusionregion)，闭塞区域是LF图像的输入的多视点图像不提供信息的区域。因此，闭塞区域中的数据可能需要被恢复。此外，需要大量的存储器来产生LF图像。具体地讲，为了产生自然的LF图像，可能需要对闭塞区域的适当的处理。当省略闭塞区域的处理时，在LF图像内可能会发生失真。
技术实现思路
通过提供用于图像处理的方法实现前述和/或其他方面，所述方法包括：基于多视点彩色图像和与所述多视点彩色图像对应的深度图像产生基础图像，其中，基础图像包括闭塞区域；对基础图像中的闭塞区域中的一个或更多个进行恢复；基于闭塞区域被恢复后的基础图像产生输出图像。闭塞区域可与至少一个图像的所有闭塞区域对应。可基于闭塞区域的包含关系确定基础图像。基础图像可以是这样的图像，在该图像中，除了包括基础图像的闭塞区域的单个图像之外，在将基于多视点彩色图像和深度图像产生的至少一个图像中不存在包括闭塞区域的其他LF图像。产生基础图像的步骤包括产生多个基础图像。多个基础图像与基于多视点彩色图像和与所述多视点彩色图像对应的深度图像产生的至少一个图像中的最左边的图像和最右边的图像中的至少一个对应。可基于输出图像的光线的方向选择基础图像。基础图像可以是至少一个图像中的光线的方向偏离最多的图像。产生基础图像的步骤可包括：基于闭塞区域确定基础图像的位置，基于多视点彩色图像和深度图像产生确定的位置的基础图像。产生基础图像的步骤包括：从将基于多视点彩色图像和深度图像产生的图像中确定具有最大量的关于闭塞区域的信息的图像的位置，并基于多视点彩色图像和深度图像产生确定的位置的基础图像。产生基础图像的步骤可包括：通过将多视点彩色图像和深度图像转换为确定的位置处的视点的图像来产生转换后的图像，并通过将转换后的图像合并来产生确定的位置的基础图像。所述方法还可包括：从转换后的图像的像素中选择基于深度值的像素，其中，产生基础像素的步骤使用来自选择的像素的数据作为多个像素的数据来产生基础图像。与基础图像的多个像素对应的、多个视点被转换的图像的像素中的具有最大深度值的像素的数据用于所述多个像素。对基础图像中的闭塞区域进行恢复的步骤可包括：检测基础图像中的闭塞区域；基于基础深度图像针对基础图像产生至少一个深度层，基础深度图像表示基础图像的深度；基于至少一个深度层中的与闭塞区域相邻的一个深度层恢复闭塞区域。可产生与闭塞区域相邻的多个深度层。恢复的步骤可基于多个相邻深度层中的至少一个深度层之一恢复闭塞区域。可针对包括闭塞区域的深度层通过纹理合成来恢复闭塞区域。产生基础图像的步骤可包括产生多个基础图像。多个基础图像可包括用于产生输出图像的主要基础图像。主要基础图像可以是基于闭塞区域的尺寸从多个基础图像中选择的基础图像。主要基础图像可以是多个基础图像中的包括最大闭塞区域的基础图像。主要基础图像可以是基于离光源的距离从多个基础图像中选择的基础图像。主要基础图像可以是多个基础图像中的离光源最近的基础图像。主要基础图像可以是基于第二角度和第一角度从多个基础图像中选择的基础图像。主要基础图像可以是多个基础图像中的第一角度最接近第二角度的基础图像。第一角度可以是基础图像的倾斜的角度。第二角度可以是对输出图像进行输出的显示器的法向量与光线之间的角度。产生输出图像的步骤可包括：确定主要基础图像；基于确定的主要基础图像产生输出图像；基于所述多个图像中的除主要基础图像之外的基础图像对输出图像中的闭塞区域进行渲染。输出图像可以是LF图像。可通过将视点插值应用于主要基础图像来产生输出图像。可通过提供图像处理设备来实现前述和/或其他方面，所述图像处理设备包括：基础图像产生器，被配置为基于多视点彩色图像和与所述多视点彩色图像对应的深度图像产生基础图像，其中，基础图像包括闭塞区域；闭塞区域恢复器，被配置为对基础图像中的闭塞区域进行恢复；输出图像产生器，被配置为基于闭塞区域被恢复后的基础图像产生输出图像。闭塞区域可以是至少一个图像的所有闭塞区域。至少一个示例实施例涉及产生光场(LF)图像的方法，其中，LF图像是四维图像。在至少一个实施例中，所述方法包括：基于深度图像将多个输入图像合并为光场(LF)基础图像，LF基础图像具有缺少像素值的至少一个闭塞区域；检测与LF基础图像关联的至少一个闭塞区域；通过基于LF基础图像的闭塞区域的深度对所述闭塞区域中的像素值进行恢复来形成恢复的LF基础图像；对恢复的LF基础图像中的像素进行移位来产生LF图像。在至少一个实施例中，至少一个闭塞区域缺少的像素值包括闭塞区域中的像素的彩色值和深度值中的至少一个，恢复闭塞区域中的像素值的步骤包括：通过执行纹理合成来估计闭塞区域中的像素值，以扩展与闭塞区域相邻且处于相同深度的像素的像素值。在至少一个实施例中，所述方法还包括经由图像传感器捕捉多个输入图像，并经由深度传感器捕捉深度图像。在至少一个实施例总，四维LF图像包括关于四维LF图像中的图像数据的色彩、强度和方向的信息。在至少一个实施例中，合并步骤将多个输入图像合并为多个LF基础图像，并基于所述多个LF基础图像确定闭塞区域的深度。在至少一个实施例中，形成恢复的LF基础图像的步骤包括：选择多个LF基础图像中的具有闭塞区域中的相对最大量的像素值的一个LF基础图像。示例实施例的另外方面将在下面的描述中部分地阐明，并且从描述中部分是清楚的，或者通过本公开的实施可以被学习。附图说明从结合附图的示例实施例的以下描述，这些和/或其他方面将变得清楚并更容易理解，其中：图1示出根据一些示例实施例的用于图像处理的设备；图2示出根据一些示例实施例的图像处理的方法；图3示出根据一些示例实施例的基础图像产生器；图4示出根据一些示例实施例的产生基础图像的方法；图5示出根据一些示例实施例的图像合并器；图6示出根据一些示例实施例的对图像进行合并的方法；图7示出根据一些示例实施例的产生针对透视(perspective)光场(LF)的基础图像的方法；图8示出根据一些示例实施例的产生针对正交LF的基础图像的方法；图9示出根据一些示例实施例的计算LF像素的方法；图10A示出根据一些示例实施例的到相机坐标的转换；图10B示出根据一些示例实施例的到世界坐标的转换；图10C示出根据一些示例实施例的到LF坐标的转换；图10D示出根据一些示例实施例的基于正交投影的像素映射；图10E示出根据一些示例实施例的基于透视投影的像素映射；图11A至图11F示出根据一些示例实施例的三个输入彩色图像和三个深度图像；图11A示出根据一些示例实施例的第一输入彩色图像；图11B示出根据一些本文档来自技高网...

【技术保护点】
一种用于图像处理的方法，所述方法包括：基于多视点彩色图像和与所述多视点彩色图像对应的深度图像产生基础图像，其中，基础图像包括闭塞区域；对基础图像中的闭塞区域中的一个或更多个闭塞区域进行恢复；基于闭塞区域被恢复后的基础图像产生输出图像。

【技术特征摘要】
2013.11.05 KR 10-2013-01336291.一种用于图像处理的方法，所述方法包括：基于多视点彩色图像和与所述多视点彩色图像对应的深度图像产生基础图像，其中，基础图像包括将被产生的光场LF图像中的最大数量的闭塞区域；对基础图像中的闭塞区域中的一个或更多个闭塞区域进行恢复；基于闭塞区域被恢复后的基础图像产生LF图像，其中，产生基础图像的步骤包括产生多个基础图像，并且，所述多个基础图像包括用于产生LF图像的主要基础图像，其中，主要基础图像是基于闭塞区域的尺寸从所述多个基础图像中选择的基础图像，或者，主要基础图像是基于离光源的距离从所述多个基础图像中选择的基础图像，或者，主要基础图像是基于第二角度和第一角度从所述多个基础图像中选择的基础图像，其中，主要基础图像具有最小的第一角度和第二角度之间的差，第一角度是基础图像相对于水平平面的倾斜的角度，第二角度是对LF图像进行输出的显示器的法向量与光线之间的角度。2.如权利要求1所述的方法，其中，基础图像基于将被产生的LF图像的闭塞区域的包含关系来确定。3.如权利要求1所述的方法，其中，所述多个基础图像与基于多视点彩色图像和与所述多视点彩色图像对应的深度图像产生的至少一个图像中的最左边的图像和最右边的图像中的至少一个对应。4.如权利要求1所述的方法，其中，基础图像基于LF图像的光线的方向来选择。5.如权利要求1所述的方法，其中，产生基础图像的步骤包括：基于闭塞区域确定基础图像的位置；基于多视点彩色图像和深度图像产生确定的位置的基础图像。6.如权利要求5所述的方法，其中，产生基础图像的步骤包括：通过将多视点彩色图像和深度图像转换为确定的位置处的视点的图像来产生转换后的图像；通过将转换后的图像合并来产生确定的位置的基础图像。7.如权利要求6所述的方法，还包括：从转换后的图像的像素中选择基于深度值的像素，其中，产生基础图像的步骤使用来自选择的像素的数据作为多个像素的数据来产生基础图像。8.如权利要求1所述的方法，其中，对基础图像中的闭塞区域进行恢复的步骤包括：检测基础图像中的闭塞区域；基于基础深度图像针对基础图像产生至少一个深度层，其中，基础深度图像表示基础图像的深度；基于所述至少一个深度层中的与闭塞区域相邻的一个深度层来恢复闭塞区域。9.如权利要求1所述的方法，其中，对基础图像中的闭塞区域进行恢复的步骤包括：检测基础图像中的闭塞区域；产生与闭塞区域相邻的多个深度层；基于来自所述多个相邻深度层中的至少一...

【专利技术属性】
技术研发人员：郑英珠，南东暻，朴柱容，赵良镐，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR