前景图像分割方法和装置制造方法及图纸

提供了用于从输入图像中分割出前景对象的方法、装置以及系统。该方法包括：获取输入图像及其深度信息；基于输入图像的深度信息，对输入图像进行粗略分割以获得粗略前景区域；获取输入图像的运动信息，基于该运动信息根据该粗略前景区域生成三色图；以及根据生成的三色图分割出前景图像。由此，基于深度信息以及运动信息生成三色图，从而能够根据该三色图更准确地将前景对象分离出来。

【技术实现步骤摘要】

本专利技术涉及计算机视觉领域，更具体地，涉及从图像中分割前景图像的方法和装 置。
技术介绍
前景图像分割技术即我们通常所说的抠图技术，是指在图像或视频帧中将前景对 象分割出来，并估计由该对象所覆盖的区域中的每个像素的不透明性，即α值（α蒙版）。 该技术在图像或视频编辑应用领域有广泛的应用，用户可以借此技术将前景分割 出来，与另外一个背景无缝地集成在一起，例如在虚拟拍照中将前景，例如人与虚拟背景相 结合达到"身临其境"的效果，在视频会议中将与会人员从原背景中分离出来与其他背景集 成7等等 。 在当前的抠图处理中，通常采用三色图。从图像合成的角度，可以将图像I(X，y) 建模为前景图像F(x，y)与背景图像B(x，y)以其a (x，y)值的线性组合，即方程I = aF+a-cOB，其中a (x，y) e 。为了求解此问题，通常将输入图像分割为三个区域： 前景区域、背景区域以及未知区域，也就是我们常说的三色图。三色图的形成是后续分割处 理的基础，形成更准确的三色图有助于更精确地将前景对象从图像或视频中分割出来。 在目前用于形成三色图的方法中，一种方法是通过用户交互的方式由用户指定图 像中的三色图，比如在图像上画出一些线段以标明图像中的哪些部分是前景哪些部分是背 景。此方法需要用户手动生成三色图，这对于用户而言是麻烦的，生成的三色图也不够准 确。另一种方法通过引入深度信息来帮助自动生成三色图，虽然不再需要用户交互，但是在 此情况下，背景中的与前景对象距离很近的对象仍有可能被包括在前景区域中。 而且，在获得三色图之后根据该三色图求解a值时，通常只利用图像的颜色信息 进行求解，但是当图像中的前景对象和背景部分的颜色相近时，仅依靠颜色信息很难将二 者很好地分离，尤其是在边界区域，难以获得准确的分割结果。
技术实现思路
基于上述问题而做出本专利技术，提供了能够从图像中准确地分割出前景图像的方法 和装置。 根据本专利技术的一个方面，提供了前景图像分割方法，该方法可以包括：获取输入图 像及其深度信息；基于输入图像的深度信息，对输入图像进行粗略分割以获得粗略前景区 域；获取输入图像的运动信息，基于该运动信息根据该粗略前景区域生成三色图；以及根 据生成的三色图分割出前景图像。 在一个可选的实施例中，基于输入图像的运动信息根据该粗略前景区域生成三色 图可以包括：获得从该输入图像向前连续m帧的图像，从该连续m帧的图像计算每个像素的 运动信息；基于每个像素的运动信息，根据该粗略前景区域生成三色图。其中，如果像素的 运动信息小于预定阈值，可以确定该像素属于背景区域；如果像素的运动信息大于等于该 预定阈值，并且该像素的邻域中存在不属于所述粗略前景区域的像素，可以确定该像素属 于未知区域；如果像素的运动信息大于等于该预定阈值，并且该像素的邻域中的所有像素 都属于所述粗略前景区域，可以确定该像素属于前景区域。 在一个可选的实施例中，根据生成的三色图分割出前景图像可以包括：计算所述 未知区域的每个像素的颜色信息、深度梯度信息以及深度变化信息；基于像素的颜色信息、 深度梯度信息以及深度变化信息，确定该像素是否属于前景区域；以及基于该确定结果获 得前景图像。 在一个可选的实施例中，确定该像素是否属于前景区域可以包括：构造用于前景 图像分割的α值的代价函数；对于所述未知区域中的每个像素，最小化该代价函数，利用 该像素的颜色信息、深度梯度信息以及深度变化信息求解该像素的α值。其中，当像素的 α值大于等于预定阈值时，可以确定该像素属于前景区域；当像素的α值小于该预定阈值 时，可以确定该像素不属于前景区域。 在一个可选的实施例中，该前景图像分割方法还可以包括：对于所述未知区域的 每个像素，在其ηΧη像素的邻域中计算该像素的颜色信息、深度梯度信息以及深度变化信 息的相应归一化权重，并且可以利用该像素的颜色信息加权值、深度梯度信息加权值以及 深度变化信息加权值求解该像素的ct值。 在一个可选的实施例中，基于输入图像的深度信息对输入图像进行粗略分割以获 得粗略前景区域可以包括：基于输入图像的深度信息，根据Ω形状特征从输入图像中检测 人像的头肩部分，作为粗略前景区域；以及将输入图像中的该头肩部分之外的每个像素的 深度值与已检测出的头肩部分的深度值比较从以确定该像素是否属于该粗略前景区域。其 中，当像素的深度值与头肩部分的深度值之差小于等于预定阈值时，可以确定该像素属于 该粗略前景区域；当该像素的深度值与头肩部分的深度值之差大于该预定阈值时，可以确 定该像素不属于该粗略前景区域。 根据本专利技术的另一方面，提供了前景图像分割装置，该装置可以包括：获取部件， 获取输入图像及其深度信息；粗略分割部件，基于获取部件所获取的深度信息，对输入图像 进行粗略分割以获得粗略前景区域；三色图生成部件，基于输入图像的运动信息，根据该粗 略前景区域生成三色图；以及前景图像分割部件，根据生成的三色图分割出前景图像。 在一个可选的实施例中，该三色图生成部件可以包括：第一计算部件，获得从该输 入图像向前连续m帧的图像，从该连续m帧的图像计算每个像素的运动信息；生成部件，基 于第一计算部件计算的每个像素的运动信息，根据该粗略前景区域生成三色图。其中，如果 像素的运动信息小于预定阈值，该生成部件可以确定该像素属于背景区域；如果像素的运 动信息大于等于该预定阈值，并且该像素的邻域中存在不属于所述粗略前景区域的像素， 该生成部件可以确定该像素属于未知区域；如果像素的运动信息大于等于该预定阈值，并 且该像素的邻域中的所有像素都属于所述粗略前景区域，该生成部件可以确定该像素属于 前景区域。 在一个可选的实施例中，该前景图像分割部件可以包括：第二计算部件，计算所述 未知区域的每个像素的颜色信息、深度梯度信息以及深度变化信息；确定部件，基于所述第 二计算部件计算的像素的颜色信息、深度梯度信息以及深度变化信息，确定该像素是否属 于前景区域；以及获得部件，基于该确定部件的确定结果获得前景图像。 根据本专利技术，基于输入图像的深度信息及运动信息自动生成三色图，无需人工交 互，并且生成的三色图更加精准，为基于该三色图分割前景图像打下了良好基础，使得分割 更加准确。而且，在分割中，除了颜色信息还考虑了空域上的深度梯度信息及时域上的深度 变化信息，使得即使前景对象与背景颜色相近时，也能够准确地分割出前景对象。【附图说明】 图1示出了根据本专利技术的一个实施例的前景图像分割方法的流程图。 图2示出了不同角度下的人的头肩模型。 图3示出了示例的场景以及相应的粗略前景分割结果。 图4示出了示例的输入图像以及相应的光流信息。 图5示出了在图4的示例情况下基于运动信息根据粗略前景分割结果生成三色图 的示意图。 图6示出了根据本公开的一个实施例的从三色图分割出前景图像的方法的流程。 图7示出了作为前景对象的人在连续多帧图像中的深度变化信息的例子。 图8示出了对人像所计算的深度梯度信息的例子。 图9示出了根据本专利技术的前景图像分割方法的一种可能的应用场景。 图10示出了根据本专利技术的一个实施例的前景图像分割装置的功能框图。 图11是示出根据本申请的一个实施例的实现前景图像分割的系统的硬件配置的 示意图。【具体实施方式】 为了使本文档来自技高网...

【技术保护点】
一种前景图像分割方法，包括：获取输入图像及其深度信息；基于输入图像的深度信息，对输入图像进行粗略分割以获得粗略前景区域；获取输入图像的运动信息，基于该运动信息根据该粗略前景区域生成三色图；以及根据生成的三色图分割出前景图像。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘丽艳，赵颖，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本;JP