描述了一种用于对与帧序列的帧相关联的超像素进行生命周期管理的方法和装置。监测被帧序列的帧中的超像素占据的面积。如果超像素的面积变得小于指定的第一值，那么终止（2）后面的帧中的超像素。如果超像素的面积变得大于指定的第二值，那么划分（3）后面的帧中的超像素。
【技术实现步骤摘要】
【专利摘要】本专利技术描述了一种用于对与帧序列的帧相关联的超像素进行生命周期管理的方法和装置。监测被帧序列的帧中的超像素占据的面积。如果超像素的面积变得小于指定的第一值，那么终止（2）后面的帧中的超像素。如果超像素的面积变得大于指定的第二值，那么划分（3）后面的帧中的超像素。【专利说明】
本专利技术涉及用于生成视频序列的时间一致的(temporally consistent)超像素的方法和装置。更具体地说，本专利技术解决与帧序列的帧相关联的超像素的生命周期管理。
技术介绍
超像素算法代表范围广泛的计算机视觉应用(如，分割、图像解析、分类等)中的一个非常有用和日益流行的预处理步骤。将相似像素分组成所谓的超像素导致图像图元(image primitives)的大幅减少。这在后续处理步骤中获得更高的计算效率,允许在像素级别上计算上不可行的更复杂的算法，并创建对基于区域的特征的空间支持。超像素算法将像素分组成超像素。如X.Ren等人在《Learning a classificationmode I for segmentation》(IEEE International Conference on ComputerVision (ICCV) 2003,第10-17页)中所述,超像素是局部的、相关的(coherent),并保留感兴趣比例(scale of interest)下分割所必需的大部分结构。如在上述文件中进一步规定的，超像素应该具有大致均匀的尺寸和形状。虽然许多超像素方法主要是针对静止图像，并因此在应用于视频序列时只提供有限的时间一致性或不提供任何时间一致性，但有些方法针对视频序列。参见例如，0.Veksler 等人的《Superpixels and Supervoxels in an EnergyOptimization Framework)) (Computer Vision - ECCV2010,第 6315 卷，K.Daniilidis 等人，Eds.Springer Berlin/Heidelberg, 2010 年，第 211-224 页)，或 A.Levinshtein 等人的《Spatiotemporal Closure)), (Computer Vision - ACCV2010,第 6492 卷，R.Kimmel 等人，Eds.Springer Berlin/Heidelberg, 2011 年，第 369-382 页)。这些方法开始处理时间一致性问题。
技术实现思路
本专利技术的目的是进一步改进对与帧序列的帧相关联的时间一致的超像素的处理。根据本专利技术，一种与帧序列的帧相关联的超像素的生命周期管理方法，包括以下步骤:-如果超像素的面积变得小于指定的第一值，那么终止帧中的超像素；-如果超像素的面积变得大于指定的第二值，那么划分帧中的超像素。因此，一种对与帧序列中的帧相关联的超像素进行生命周期管理的装置，包括:-终止单元，被配置为如果超像素的面积变得小于指定的第一值，终止帧中的超像素；-划分单元，被配置为如果超像素的面积变得大于指定的第二值，划分帧中的超像素。类似地，一种计算机可读存储介质具有存储于其中的能够对与帧序列中的帧相关联的超像素进行生命周期管理的指令，当通过计算机执行时，该指令使得计算机:-如果超像素的面积变得小于指定的第一值，终止帧中的超像素；-如果超像素的面积变得大于指定的第二值，划分帧中的超像素。根据本专利技术，确定对于视频序列生成的时间一致的超像素的生命跨度，即持续时间。在不妨碍尺寸和形状限制的情况下最大化持续时间。一般情况下，本专利技术保证时间一致的超像素的均匀尺寸，因为增长过大的超像素被划分，而变得太小的超像素被终止。最大化的持续时间可以改进对超像素的跟踪，这反过来导致更好的场景和序列理解。划分和终止的数量优选地保持平衡，从而使每个视频帧的超像素数量基本保持为常数。划分或终止超像素的决定基于从对沿视频体(video volume)移动的滑动窗口内的超像素的分析中获得的息。有利地，为了检测和纠正具有错误的时间一致性的超像素，该方法进一步包括以下步骤:-确定帧序列的第一帧中的超像素的实例和后面的帧中的超像素的实例之间的相似性；-将确定的相似性与阈值进行比较；-如果相似性低于阈值，那么用新的时间一致的超像素替换后续帧中的超像素。因此，该装置有利地还包括:-确定单元，被配置为确定帧序列的第一帧中的超像素的实例和后面的帧中的超像素的实例之间的相似性；-比较单元，被配置为将确定的相似性与阈值进行比较；-替换单元，被配置为如果相似性低于阈值，用新的时间一致的超像素替换后续帧中的超像素。本专利技术引入对滑动窗口中的时间一致的超像素的实例的相似性检查。确定滑动窗口内两个或甚至更多时间一致的超像素的实例之间的相似性。如果它低于特定的阈值，那么用在第一未来帧开始的新的时间一致的超像素的实例替换滑动窗口中所有未来帧中的超像素的实例。该方法提供了针对具有错误的时间一致性的超像素的检测和重新开始策略，这在光流未能提供足够可靠的投射到后续帧的情况下可能被引起。此外，提供一种在视频体中存在突然和断裂性变化时重新开始的方法。因此，可以最小化后续步骤中由被错误地视为时间一致的超像素引起的失真。由此，增强了具有可靠的时间一致性的超像素流。为了更好地理解，现在将在下面的描述中参照附图更详细地说明本专利技术。应该理解的是，本专利技术不限定于此示例性实施例，并且在不脱离所附权利要求限定的本专利技术的范围的情况下，也可以有利地组合和/或修改指定的特征。【专利附图】【附图说明】图1示出了滑动窗口方法；图2示出了所谓的书桌序列的图像5 ；图3示出了所谓的书桌序列的图像40 ；图4描绘了使用生命周期管理的图2的图像的轮廓图像和分段图(segment map)；图5描绘了不使用生命周期管理的图2的图像的轮廓图像和分段图；图6示出了使用生命周期管理的图3的图像的轮廓图像和分段图；图7示出了不使用生命周期管理的图3的图像的轮廓图像和分段图；图8示意性地示出了管理超像素的生命周期的方法的实现；图9示意性地示出了用于检测和纠正具有错误的时间一致性的超像素的方法；图10描述了被配置为实现图8和图9的方法的装置。【具体实施方式】在下文中，给出着眼于超像素的创建的简述，该超像素的创建基于从统一视角能量最小化聚类。它基于R.Achanta等人在《SLIC superpixels compared tostate-of-the-art superpixel methods)) (IEEE Transactions on Pattern Analysisand Machine Intelligence, 2012 年，第 34 卷，第 2274-2282 页)、G.Zeng 等人在((Structure-sensitive superpixels via geodesic distance))(2011 IEEE InternationalConference on Computer Vision (ICCV),第 447-454 页)和 C.L.Zitnick 等人在《Stereofor image-based rendering using image本文档来自技高网...
【技术保护点】
一种与帧序列的帧相关联的超像素的生命周期管理方法，该方法包括以下步骤：?如果超像素的面积变得小于指定的第一值，那么终止（2）帧中的超像素；以及?如果超像素的面积变得大于指定的第二值，那么划分（3）帧中的超像素。
【技术特征摘要】
...
【专利技术属性】
技术研发人员：M莱索，J加查尔斯基，B罗森哈恩，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。