从聚焦堆图像进行场景分割的方法和设备技术

本发明专利技术涉及从聚焦堆图像进行场景分割的方法和设备。提供了方法、设备和计算机程序产品以便于从聚焦堆图像进行场景分割。方法可以包括接收一组聚焦堆图像，针对这组聚焦堆图像的多个像素中的每个像素计算聚焦测量，以及将已计算聚焦测量的多个像素中的每个像素分组为多个超像素。方法也可以包括针对多个超像素中的每个超像素计算聚焦测量，基于多个超像素中的每个超像素的聚焦测量分割相应的聚焦堆图像，针对多个超像素中的每个超像素计算颜色概率，和基于多个超像素中的每个超像素的颜色概率分割每个聚焦堆图像。

【技术实现步骤摘要】
从聚焦堆图像进行场景分割的方法和设备
本专利技术的示例实施例总地涉及图像处理和分割，尤其涉及从聚焦堆(focalstack)图像进行场景分割。
技术介绍
现代数码相机可以提供采集多幅聚焦堆图像的能力。每幅聚焦堆图像可以聚焦于不同的焦平面。聚焦信息允许聚焦堆图像的前景和后景的分割。通常，针对每个像素计算聚焦测量(focusmeasure)，将每个锐利像素归为前景，并将每个模糊像素归为背景。然而每个像素的聚焦测量不是一直可靠，尤其在深度不连续的区域和纹理弱的区域。进一步而言，当使用尖端分割技术时，分割计算是低效的。例如，如果使用图割(graphcut)算法，每个像素在图像上将会形成一个结点，使得图像非常大，导致长的运算时间。在分割计算中结合用户输入和减少用户负担之间缺乏平衡。用户输入要么不应用于计算，要么要求重要的细节从而导致用户的负担。
技术实现思路
根据示例实施例提供了一种方法、设备和计算机程序产品，以便于从聚焦堆图像进行场景分割。如此，一组聚焦堆图像可以具有它相关联的像素，这些像素被分组为超像素。针对每个超像素可以计算聚焦测量和颜色概率。基于聚焦测量并针对颜色概率可以分割超像素。在示例实施例中，提供一种方法，该方法包括：接收一组聚焦堆图像；针对这组聚焦堆图像的多个像素中的每个像素计算聚焦测量；将已计算聚焦测量的多个像素中的每个像素分组为多个超像素；针对多个超像素中的每个超像素计算聚焦测量；基于多个超像素的聚焦测量，分割相应的聚焦堆图像；针对相应的超像素计算颜色概率；以及基于相应的超像素的颜色概率，分割相应的聚焦堆图像。示例实施例的该方法也可以包含从这组聚焦堆图像中选择典型的多个聚焦图像。示例实施例的该方法也可以包括对准这组聚焦堆图像。在另一个实施例中，该方法也可以包括接收对聚焦框的选择；其中基于聚焦测量分割相应的聚焦堆图像进一步基于所选的聚焦框；并且其中基于颜色概率分割相应的聚焦堆图像进一步基于所选的聚焦框。示例实施例的该方法也可以包含将多个超像素分类为前景或背景。示例实施例的该方法也可以包括基于分类为前景或背景，缩小由多个超像素组成的分割掩模。在另一个示例实施例中，该方法也可以包括：基于分类为前景或背景，去除岛像素；以及基于像素分类为前景或背景，设置抠图层。在另一个示例实施例中，提供一种设备，该设备包含处理器和存储器，存储器包括计算机程序代码，存储器和计算机程序代码被配置成利用处理器使得设备：接收一组聚焦堆图像；针对这组聚焦堆图像的多个像素中的每个像素计算聚焦测量；将已计算聚焦测量的多个像素中的每个像素分组为多个超像素；针对多个超像素中的每个超像素计算聚焦测量；基于多个超像素的聚焦测量，分割相应的聚焦堆图像；针对相应的超像素计算颜色概率；以及基于相应的超像素的颜色概率分割相应的聚焦堆图像。存储器和计算机程序代码可以被配置成利用处理器使得示例实施例的设备从这组聚焦堆图像中选择典型的多个聚焦图像。存储器和计算机程序代码可以被配置成利用处理器使得示例实施例的设备对准这组聚焦堆图像。存储器和计算机程序代码可以被配置成利用处理器使得示例实施例的设备接收对聚焦框的选择；其中基于聚焦测量分割相应的聚焦堆图像进一步基于所选的聚焦框；并且其中基于颜色概率分割相应的聚焦堆图像进一步基于所选的聚焦框。存储器和计算机程序代码可以被配置成利用处理器使得示例实施例的设备将多个超像素分类为前景或背景。存储器和计算机程序代码可以被配置成利用处理器使得示例实施例的设备基于分类为前景或背景，缩小由多个超像素组成的分割掩模。存储器和计算机程序代码也可以被配置成利用处理器使得示例实施例的设备：基于分类为前景或背景，去除岛像素；以及基于分类为前景或背景，设置抠图层。在进一步的实施例中，提供一种计算机程序产品，其包含其上存储有程序代码部分的非瞬态计算机可读介质，程序代码部分被配置成在执行时：接收一组聚焦堆图像；从这组聚焦堆图像中选择典型的多个聚焦图像；针对这组聚焦堆图像的多个像素中的每个像素计算聚焦测量；将已计算聚焦测量的多个像素中的每个像素分组为多个超像素；针对多个超像素中的每个超像素计算聚焦测量；基于多个超像素的聚焦测量分割相应的聚焦堆图像；针对相应的超像素计算颜色概率；以及基于相应的超像素的颜色概率分割相应的聚焦堆图像。示例实施例的程序代码部分也可以被配置成在执行时：从这组聚焦堆图像中选择典型的多个聚焦图像；以及对准这组聚焦堆图像。示例实施例的程序代码部分也可以被配置成在执行时：接收对聚焦框的选择；其中基于聚焦测量分割相应的聚焦堆图像进一步基于所选的聚焦框；并且其中基于颜色概率分割相应的聚焦堆图像进一步基于所选的聚焦框。示例实施例的程序代码部分也可以被配置成在执行时将多个超像素分类为前景或背景。示例实施例的程序代码部分可以被配置成在执行时基于分类为前景或背景缩小由多个超像素组成的分割掩模。示例实施例的程序代码部分可以被配置成在执行时：基于分类为前景或背景，去除岛像素；以及基于分类为前景或背景，设置抠图层。在又一个示例实施例中，提供一种设备，其包含用于接收一组聚焦堆图像的装置；用于针对这组聚焦堆图像的每个像素计算聚焦测量的装置；用于将这组聚焦堆图像中每个图像的每个像素分组为多个超像素的装置；用于针对多个超像素中的每个超像素计算聚焦测量的装置；用于基于多个超像素中的每个超像素的聚焦测量分割每个聚焦堆图像的装置；用于针对多个超像素中的每个超像素计算颜色概率的装置；以及用于基于多个超像素中的每个超像素的颜色概率分割每个聚焦堆图像的装置。附图说明有了专利技术的示例实施例的上述概括性描述，现在将参考附图，附图并不一定按比例绘制，其中：图1是根据本专利技术示例实施例的相机视野和焦平面的表示；图2是根据本专利技术示例实施例的设备的框图，该设备可以被专门配置用于自动识别一个或多个媒体文件以传输到输出设备用于展示；图3是图示根据本专利技术示例实施例的诸如通过图2的设备执行的操作的流程图；以及图4至图15是根据本专利技术示例实施例的场景分割过程的各个点处图像的示例性图示。具体实施方式现在将参考附图在下文更完整地描述本专利技术的一些实施例，在附图中示出本专利技术的一些实施例而不是全部实施例。实际上，本专利技术的各种实施例可以以很多不同的方式实施，而不应认为局限于这里提出的实施例；更确切地说，提供这些实施例使得本公开内容将满足适用的法律要求。贯穿所有附图，相似的参考标记指代相似的元素。如这里使用的，术语“数据”、“内容”、“信息”以及类似的术语可以被互换使用以指代能够根据本专利技术实施例被发送、接收和/或存储的数据。因此，任何这样的术语的使用不应限制本专利技术实施例的精神和范围。此外，如这里使用的，术语“电路系统”指(a)纯硬件电路的实现(例如，模拟电路和/或数字电路的实现)；(b)电路和计算机程序产品的结合，包含软件和/或固件指令，这些指令存储在一个或多个计算机可读存储器中，这些计算机可读存储器协同工作使设备执行这里所描述的一个或多个功能；以及(c)电路，例如，微处理器或者微处理器的部分，需要软件或固件来运行，尽管软件或固件没有物理上存在。“电路系统”的该定义适用于这个术语在这里的所有使用，包括在任何权利要求中。作为进一步的例子，如这里使用的，术语“电路系统”也包括如下实现方式，这种实现方式本文档来自技高网...

【技术保护点】
一种用于图像分割的方法，所述方法包括：接收一组聚焦堆图像；针对所述一组聚焦堆图像的多个像素中的每个像素计算聚焦测量；将已计算所述聚焦测量的多个像素中的每个像素分组为多个超像素；针对所述多个超像素中的每个超像素计算聚焦测量；基于所述多个超像素的所述聚焦测量，分割相应的聚焦堆图像；针对相应的超像素计算颜色概率；以及基于相应的超像素的所述颜色概率，分割所述相应的聚焦堆图像。

【技术特征摘要】
2013.10.21 US 14/058,8191.一种用于图像分割的方法，所述方法包括：接收一组聚焦堆图像；将多个像素中的每个像素分组以创建多个超像素，其中基于所述多个像素的形状的规则性对所述多个像素中的每个像素应用过分割算法或抽取算法；针对所述多个超像素中的每个超像素计算聚焦测量；基于所述多个超像素的所述聚焦测量，分割相应的聚焦堆图像；针对相应的超像素计算颜色概率；以及基于相应的超像素的所述颜色概率，分割所述相应的聚焦堆图像。2.根据权利要求1所述的方法，进一步包括：从所述一组聚焦堆图像中选择典型的多个聚焦图像。3.根据权利要求1所述的方法，进一步包括：对准所述一组聚焦堆图像。4.根据权利要求1所述的方法，进一步包括：接收对聚焦框的选择；其中所述基于聚焦测量分割所述相应的聚焦堆图像进一步基于所选的聚焦框；并且其中所述基于颜色概率分割所述相应的聚焦堆图像进一步基于所选的聚焦框。5.根据权利要求1所述的方法，进一步包括：将所述多个超像素分类为前景或背景。6.根据权利要求5所述的方法，进一步包括：基于分类为背景或前景，缩小由多个超像素组成的分割掩模。7.根据权利要求5所述的方法，进一步包括：基于分类为背景或前景，去除岛像素；以及基于分类为背景或前景，设置抠图层。8.一种用于图像分割的设备，所述设备包括：用于接收一组聚焦堆图像...

【专利技术属性】
技术研发人员：H·周，T·奥南，K·本彻姆西，T·卡尔森，A·穆斯塔杰巴西克，J·文德马克，
申请(专利权)人：诺基亚公司，
类型：发明
国别省市：芬兰;FI