自动视频图像分割制造技术

本发明专利技术涉及自动视频图像分割。具体地，公开了用于自动分割视频序列的方法、系统和计算机可读存储介质。根据视频序列的至少一个先前图像的已有分割信息，确定视频序列的当前图像的分割形状预测和分割颜色模型。根据所述分割形状预测和分割颜色模型的加权组合，自动生成当前图像的分割。将当前图像的分割存储在存储介质中。

【技术实现步骤摘要】

本专利技术总体上涉及数字图像处理，具体地，涉及视频序列中图 像的自动分割。
技术介绍
数字图像可包括光栅图形、矢量图形或其组合。光栅图形数据 (在此也称为位图)可作为称作像素的个体图像元素的网格来存储 和操纵。位图可以通过其像素的宽度和高度来表征，也可以通过每 个像素的位数来表征。通常，RGB(红、绿、蓝)颜色空间中定义 的彩色位图可包括用于红、绿和蓝通道中每个通道的每个像素的1 到8位。Alpha通道可用来存储诸如每个像素的透明度值之类的附加 数据。矢量图形数据可以作为 一 个或多个利用几何基元构建的几何 对象来存储和操纵。几何基元(例如，点、线、多边形、贝赛尔曲 线和文本字符)可根据数学公式来表示数字图像的部分。数字图像处理是这样的过程，其利用例如计算机系统的计算装 置来分析和/或修改数字图像。使用专用的软件程序，可按照各种方 式来操纵和变换数字图像。有许多数字视频应用需要将每个视频图像或帧分割成例如前景 图像或感兴趣对象/区域以及背景。这类分割的现有技术方法包括利用各种图像编辑工具来手工分割每个帧图像。然而，这种手工分割 是耗时、繁瑣且易出错的。
技术实现思路
提出了用于执行自动分割视频序列图像的系统、方法和计算机 可读存储介质的各种实施方式。首先，视频序列的当前图像(例如，第一图像)的分割形状预 测和分割颜色模型可根据所述视频序列的至少 一 个先前图像的已有 分割信息来确定。例如，在一种实施方式中，用户可手工将当前图 像分割成前景和背景，存储该当前图像的分割信息，该分割信息包 括将背景从图像的前景(例如前景对象)中划分出来的分割轮廓。正如所期望的，可通过多种技术中的任意技术来执行形状预测 和颜色^f莫型的确定。例如，对于形状预测而言，在一种实施方式中，可采用缩放不变特征变换(SIFT)技术来根据所述序列的至少一个 先前图像(也即，根据预先存在的分割轮廓)生成当前图像的分割 轮廓的估计或粗略版本。对于视频中的连续帧来说，SIFT关键点是 用于视频中连续帧的可靠特征。通过将先前图像/帧的SIFT关键点与 当前图像/帧中的对应关4建点进行匹配，可以确定对当前(或新的) 帧中轮廓的良好初始猜测。因而， 一旦根据这两个帧中的匹配关4建 点确定了仿射变换，便可以对所述初始轮廓进行变换，以生成对后 续帧轮廓的粗略估计或预测形状。在一些实施方式中，可以沿着轮 廓构建多个局部分类器，并使用其来执行关于该轮廓的操作。例如， 在一些实施方式中，可采用滑动窗口方法，其中，中心点位于轮廓 上的每个分类器定义围绕相应轮廓点(分类器的中心)的局部区域 并对该局部区域进行操作，整合来自先前帧的颜色和形状信息(例 如颜色模型和形状预测)，并由此确定预测轮廓。因而，形状对齐 过程可用来将分类器窗口与帧i+l中的前景对象进行粗略对齐。更具体地，在一些实施方式中，根据形状轮廓的相应部分生成 局部分割形状预测可以包括通过应用于相应区域中多个关键点上的缩放不变特征变换(SIFT)来生成初始局部分割形状预测；以及 通过使用应用于沿形状轮廓相应部分的点上的光流(optical flow ), 来细化初始局部分割形状预测的估计，从而生成局部分割形状预测。 在一种实施方式中，通过使用应用于沿形状轮廓相应部分的点上的 光流来细化初始局部分割形状预测的估计从而生成局部分割形状预 测，可以包括根据相应区域中前景像素的光流来确定局部平均流 向量；以及将局部平均流向量应用于沿形状4仑廓相应部分的点，来 生成局部分割形状预测。至少可以根据局部分类器中包括的至少一 个先前图像的相应区域的颜色信息，来生成局部分割颜色模型。因 而，使用局部分类器来表征以及操作图像的局部区域，可显著增强 分割的精度和结果，对于具有复杂前景对象和/或背景的图像而言尤 其如此。尽管对轮廓上的每个点(或者这些点的某些指定子集，诸如沿 轮廓的等间隔采样点)进行变换将会生成将轮廓与后续帧图像近似 对齐的粗略轮廓估计，该变换通常捕捉两帧之间对象的主要刚体运 动，并因而通常可能忽略特定于所述对象的部分的局部运动的运动 效果。为了确定对更好的轮廓预测，可计算变换帧与下一帧之间的 轮廓像素的光流。然而，由于边界上光流的不可靠性，例如出现遮 蔽(occlusion),直接将流向量添加到轮廓点(即，在像素级)可能 生成不稳定的结果。因而，在一种实施方式中，可采用轮廓内部的 局部平均流，而不是(使用每个分类器的中心点)根据轮廓点本身 来计算光流。通过将局部平均光流并如所述过程中，可生成更精确且鲁棒的估计轮廓。因而，从这两个步骤中(变换/对齐加平均光流)，可以生成轮 廓预测，或者更准确地说，多个预测或估计轮廓部分或分段，每个 部分或分段由相应的分类器覆盖并与之关联。接着，该预测或估计 的轮廓可以用作先验形状(形状预测)，并可指定局部分类器的位 置。一种计算传播的分类器中像素的前景概率的方法是通过高斯混合模型(GMM)。在这种方法中，对除了围绕轮廓的窄带之外的、 第二分类器的局部区域或窗口中的所有像素进行采样，所述窄带在一些实施方式中可由(1《卜A)来定义，其中A是第一分类器中不确 定带的宽度，《是分类器中像素X离轮廓的最大距离。换句话说，由于所述估计或预测的轮廓几乎一定会出错，因此比较难以将所述估计轮廓附近的像素分类为前景或背景像素，并且因此在FG侧上的 估计轮廓附近的像素实际上可能是在实际的(未知的)边界的BG 侧上，反之亦然。在一些实施方式中，生成局部分割颜色模型可以包括根据用 于所述至少一个先前图像的局部分类器中所包括的所述至少一个先 前图像的相应区域的颜色信息，来生成局部分割简单颜色模型；以 及根据用于所述至少一个先前图像的局部分类器中所包括的所述至 少一个先前图像的相应区域的颜色信息、并根据用于所述当前图像 的局部分类器中所包括的所述当前图像的相应区域的颜色信息，来 生成局部分割混合颜色模型。可以确定所述局部分割混合颜色模型 与局部分割简单颜色模型的辨识度。接着，至少根据局部分类器中 所包括的所述至少一个先前图像的相应区域的颜色信息来生成局部 分割颜色模型，可以包括如果所述局部分割简单颜色模型具有比 所述局部分割混合颜色模型更大的辨识度，则选择所述局部分割简 单颜色模型作为局部分割颜色模型；如果所述局部分割混合颜色模 型具有比所述局部分割简单颜色模型更大的辨识度，则选择所述局 部分割混合颜色模型作为所述局部分割颜色模型。如上所讨论的，除了颜色模型之外，先验形状(即预测形状) 亦可用来生成分类器区域的概率或特征图。更具体地，来自预测形 状的贡献(作为加权和的一部分)可基于所述颜色模型的辨识度， 其中，如果所述颜色模型在前景颜色与背景颜色之间进行了清晰的 区分，则依赖所述颜色模型来对所述区域的像素进行分类；以及如果所述颜色模型没有给出清晰的区分，则依赖所述先验形状来对像 素进行分类，其中中间状况由应用到每个的权重解决，例如，其中权重的和取为某正则化值，例如l。换句话说，在一些实施方式中， 所述权重是颜色与形状贡献的线性和的系数。然而注意，在其它实 施方式中，所述形状与颜色贡献可由非线性组合来确定。一旦确定了帧i+l的颜色图(如上所讨论的)，其可用来对帧i 的像素进行(重)分类(由于该图像已进本文档来自技高网...

【技术保护点】
一种系统，包括：　装置，用于根据视频序列的至少一个先前图像的已有分割信息来确定所述视频序列的当前图像的分割形状预测和分割颜色模型；　装置，用于根据所述分割形状预测和所述分割颜色模型的加权组合来自动生成所述当前图像的分割；以及　 　装置，用于存储所述当前图像的分割。

【技术特征摘要】
US 2008-8-22 61/091,242;US 2008-11-20 12/275,0961.一种系统，包括装置，用于根据视频序列的至少一个先前图像的已有分割信息来确定所述视频序列的当前图像的分割形状预测和分割颜色模型；装置，用于根据所述分割形状预测和所述分割颜色模型的加权组合来自动生成所述当前图像的分割；以及装置，用于存储所述当前图像的分割。2. 如权利要求l的系统，其中所述确定分割形状预测和分割颜 色模型包括构造用于所述至少一个先前图像的多个局部分类器，其中每个局 部分类器包括所述至少一个先前图像的相应区域，所述相应区域包 括所述至少一个先前图像的形状轮廓的相应部分，并且其中所述多 个局部分类器覆盖所述至少一个先前图像的所述形状轮廓；以及对于所述多个分类器中的每个局部分类器根据所述局部分类器中包括的所述至少一个先前图像的所 述形状轮廓的相应部分，生成所述当前图像的局部分割形状预测； 以及至少根据所述局部分类器中包括的所述至少一个先前图像 的相应区域的颜色信息，生成局部分割颜色模型。3. 如权利要求2的系统，其中所述自动生成当前图像的分割包括对于所述多个分类器的每个局部分类器根据局部分类器的所述局部分割形状和所述局部分割颜色 模型的加权组合来生成局部特征图估计，其中所述局部特征图估计 将相应区域中的像素分类为背景像素或前景像素；通过组合所述局部特征图估计，来生成所述当前图像的特征 图估计；以及根据生成的特征图，生成所述当前图像的分割。4. 如权利要求3的系统，其中所述根据形状轮廓的相应部分生成局部分割形状预测包括通过应用于所述相应区域中多个关键点的缩放不变特征变换(SIFT),生成初始局部分割形状预测；以及通过使用应用于沿所述形状轮廓的相应部分的点的光流，来细化所述初始局部分割形状预观'j的估计，从而生成所述局部分割形状预测。5. 如权利要求4的系统，其中所述通过使用应用于沿所述形状轮廓的相应部分的点的光流来细化所述初始局部分割形状预测的估计从而生成所述局部分割形状预测包括根据相应区域中前景像素的光流来确定局部平均流向量；将所述局部平均流向量应用于沿所述形状轮廓的所述相应部分的所述点，从而生成所述局部分割形状预测。6. 如权利要求5的系统，进一步包括装置，用于通过将所述平均流向量应用于所述至少一个先前图像的所述多个局部分类器，构造与所述至少一个先前图像的所述多个局部分类器相对应的、所述当前图像的多个局部分类器，其中所述当前图像的每个局部分类器包括所述当前图像的相应区域，所述相应区域包括所述当前图像的形状轮廓的相应部分，并且其中所述当前图像的所述多个局部分类器覆盖所述当前图像的所述形状轮廓。7. 如权利要求6的系统，其中所述生成局部分割颜色模型包括根据所述至少一个先前图像的所述局部分类器中包括的所述至少 一 个先前图像的相应区域的颜色信息，生成局部分割简单颜色模型；根据所述至少一个先前图像的所述局部分类器中包括的至少一个先前图像的相应区域的颜色信息以及所述当前图像的所述局部分类器中包括的所述当前图像的相应区域的颜色信息，生成局部分割混合颜色模型；确定所述局部分割混合颜色模型和所述局部分割简单颜色模型的辨识度；其中根据所迷局部分类器中包括的所述至少一个先前图像的相应区域的颜色信息来生成局部分割颜色模型包括如果所述局部分割简单颜色模型具有大于所述局部分割混合颜色模型的辨识度，则选择所述局部分割简单颜色模型作为所述局部分割颜色模型；以及如果所迷局部分割混合颜色模型具有大于所述局部分割简单颜色模型的辨识度，则选择所述局部分割混合颜色模型作为所述局部分割颜色模型。8. 如权利要求7的系统，其中所述根据所述局部分类器的局部分割形状和局部分割颜色模型的加权组合来生成局部特征图估计包括对于相应区域中的至少一个像素子集中的每个像素根据所述像素距所述形状轮廓的部分的距离以及所述局部分割颜色模型的所述辨识度，来确定形状置信度测量；根据所述局部分割颜色模型对所述至少一个先前图像的相应区域中的前景像素和背景像素进行分类的能力，来确定颜色置信度测量；使用通过所述形状置信度测量加权的所述局部分割形状以及通过所述颜色置信度测量加权的所述局部分割颜色模型，将所述像素分类为背景或前景。9. 如权利要求2的系统，其中所述自动生成当前图像的分割产生所述当前图像的形状轮廓，其中所述系统进一步包括装置，用于迭代地执行所述确定分割形状预测和分割颜色模型以及所述自动生成当前图像的分割，直到所述当前图像的所述形状轮廓收敛，其中每个迭代的当前图像的分割被用作下一迭代的分割信息。10. 如权利要求9的系统，进一步包括装置，用于当所述形状轮廓收敛时，将所述局部分类器重定位到所述迭代执行的每个迭代的所述形状轮廓上，其中所述重定位包括 确定从所述局部分类器的中心到所述形状轮廓的法向距离；以及至少部分地根据所述法向距离来将所述局部分类器移动到 所述形状轮廓上；其中所述确定法向距离和所述移动局部分类器使误差的传播和 扩散得以改善。11. 如权利要求2的系统，其中所述多个局部分类器的每个局部 分类器的相应区域与所述多个局部分类器的至少其它两个局部分类 器的相应区域交叠。12. 如权利要求1的系统，进一步包括装置，用于对视频序列中一个或多个邻近图像执行所述确定视频 序列的当前图像的分割形状预测和分割颜色模型、所述自动生成当 前图像的分割、以及所述存储当前图像的分割。13. 如权利要求12的系统，其中对于视频序列中的一个或多个 邻近图像，所述确定分割颜色模型包括选择所述至少一个先前图 像的所述分割颜色模型，其中使用所述至少 一个先前图像的所述分 割颜色模型使误差的传播和扩散得以改善。14. 如权利要求12的系统，其中所述执行包括 对于视频序列中的第一组多个邻近图像，包括对于所述第一组多个邻近图像中的最终图像，执行所述确定视频序列的当前图像的分 割形状预测和分割颜色模型、所述自动生成当前图像的分割、以及 所述存储当前图像的分割；响应于输入，编辑所述最终图像的分割，从而生成已编辑分割信 息；以及对于所述视频序列中的第二组多个邻近图像，包括对于所述第二 组多个邻近图像中的第 一 图像，执行所述确定视频序列的当前图像 的分割形状预测和分割颜色模型、所述自动生成当前图像的分割、 以及所述存储当前图像的分割，其中所述第 一 图像与所述视频序列中的所述第 一 组多个邻近图像中的所述最终图像邻近，其中用于所 述确定所述第二组多个邻近图像中的所述第 一 图像的分割形状预测 和分割颜色模型的所述已有分割信息包括所述已编辑分割信息。15. 如权利要求1的系统，其中所述已有分割信息指示所述视频序列的至少一个先前图像的分割轮廓，其中所述分割轮廓将所述至 少 一 个先前图像的背景从前景中划分出来。1...

【专利技术属性】
技术研发人员：王珏，白雪，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：US[美国]