基于超像素自动标注的深度学习共分割方法技术

本发明专利技术公开了一种基于超像素自动标注的深度学习共分割方法，包括：从输入视频中提取超像素；从超像素中识别前景超像素和背景超像素；对前景超像素进行聚类和模型选择，以得到聚类结果和模型选择结果；根据聚类结果和模型选择结果对超像素进行自动标注，以得到带标注的超像素数据集；基于带标记的超像素数据集进行有监督的深度学习；以及构建并求解马尔科夫随机场，以完成视频共分割。本发明专利技术通过聚类和模型选择算法实现对超像素数据的自动标注，消除了人工标注的巨大工作量对有监督深度学习的限制，从而使深度学习能够利用更大规模的视频数据库学习出更准确的共分割模型。

In-depth learning and co-segmentation method based on super-pixel automatic annotation

The invention discloses a deep learning and partitioning method based on super-pixel automatic annotation, which includes: extracting super-pixels from input video; recognizing foreground super-pixels and background super-pixels from super-pixels; clustering and model selection of foreground super-pixels to obtain clustering results and model selection results; and automatically annotating super-pixels according to clustering results and model selection results. To get annotated super-pixel data sets, supervised in-depth learning based on labeled super-pixel data sets, and to construct and solve Markov random fields to complete video segmentation. The method realizes automatic annotation of super-pixel data by clustering and model selection algorithm, eliminates the limitation of supervised deep learning caused by the huge workload of manual annotation, thus enabling deep learning to learn a more accurate segmentation model using a larger video database.

【技术实现步骤摘要】
基于超像素自动标注的深度学习共分割方法
本专利技术涉及计算机视觉
，特别涉及一种基于超像素自动标注的深度学习共分割方法。
技术介绍
在视频分割中，前景物体经常被背景、光照、运动、遮挡等因素的变化所干扰。传统的基于单个视频自下而上的方法难以很好地适应上述众多因素引起的变化。对此，提出了引入包含一致前景的多个视频数据的方案，以更加充分、稳定地描述运动前景的共同性原则。对于从大规模数据中学习分割规则而言，目前效果较好的是有监督的深度学习，其要求在进行深度学习之前，对全部训练数据都完成标注。然而，上述引入多个视频数据会导致人工标注的工作量过于繁重，耗时耗力且容易出错，极大地限制了深度学习的应用。
技术实现思路
针对以上不足，本专利技术的主要目的在于提供一种基于超像素自动标注的深度学习共分割方法，其能够通过聚类和模型选择算法实现对超像素数据的自动标注。一方面，本专利技术提供了一种基于超像素自动标注的深度学习共分割方法，包括：从输入视频中提取超像素，所述输入视频为包含一致前景的两段或两段以上视频；从所述超像素中识别前景超像素和背景超像素；对所述前景超像素进行聚类和模型选择，以得到聚类结果和模型选择结果；根据所述聚类结果和模型选择结果对所述超像素进行自动标注，以得到带标注的超像素数据集；基于所述带标记的超像素数据集，进行有监督的深度学习；以及构建并求解马尔科夫随机场，以完成视频共分割。进一步地，从输入视频中提取超像素的步骤可以包括：对每一视频的每一帧进行运动感知超像素分割，以提取超像素。进一步地，从超像素中识别前景超像素和背景超像素的步骤可以包括：为所述超像素中的每一个超像素计算运动显著性值和相对于运动边界的内外性值，判断所述每一个超像素的显著性值和相对于运动边界的内外性值是否分别大于显著性阈值和内外性阈值；当所述显著性值和所述内外性值均大于显著性阈值和内外性阈值时，判定所述超像素为前景超像素；否则，判定所述超像素为背景超像素。进一步地，聚类和/或模型选择可以由算法自动实现。进一步地，聚类可以直接和/或间接地利用超像素的像素相似关系。进一步地，聚类可以直接和/或间接地利用超像素的位置邻接关系。进一步地，对前景超像素进行聚类和模型选择的步骤可以包括：计算所述前景超像素的特征描述子；根据位置邻接关系，为任意一对前景超像素指定初始的共同性原则；以及在所述共同性原则约束下，对所述前景超像素的特征描述子进行迭代聚类，得到最优的聚类结果和模型选择。进一步地，根据所述聚类结果和模型选择结果对所述超像素进行自动标注的步骤可以包括：将前景超像素自动标注为前景超像素类别中的一个类别；以及将背景超像素均自动标注为背景超像素类别。进一步地，前景超像素的类别的数量大于和/或等于背景超像素的类别的数量。进一步地，基于所述带标记的超像素数据集进行有监督的深度学习可以包括：基于所述带标记的超像素数据集学习多类分类器，其中，多类分类器的输入为所述超像素的特征描述子，多类分类器的输出为所述超像素属于某一类别的概率。进一步地，所述马尔科夫随机场可以直接和/或间接描述深度学习的输出结果。进一步地，所述马尔科夫随机场可以直接和/或间接描述邻域的超像素的平滑性。通过引入包含一致前景的多个视频进行共分割，本专利技术的技术方案对背景、光照、运动、遮挡等因素的变化有更好的鲁棒性。此外，通过聚类和模型选择算法实现对超像素数据的自动标注，消除了人工标注的巨大工作量对有监督深度学习的限制，从而使深度学习能够利用更大规模的视频数据库学习出更准确的共分割模型。并且，在深度学习的基础上引入马尔科夫随机场，进一步提升了前景和背景边界区域的分割精度。附图说明图1为根据本专利技术一个实施例的基于超像素自动标注的深度学习共分割方法的流程图；图2为图1中的步骤102的进一步的流程图。具体实施方式以下将结合附图所示的具体实施方式对本申请进行详细描述。但这些实施方式并不限制本申请，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本申请的保护范围内。图1展示了根据本专利技术一个实施例的基于超像素自动标注的深度学习共分割方法的流程图，该实施例的方法包括如下步骤。步骤101，从输入视频中提取超像素，所述输入视频为包含一致前景的两段或两段以上视频。共分割方法的输入可以是视频集，其可以具有包含一致前景的两段或两段以上视频。这些视频可以具有不同的背景、光照等，其中的前景物体可以处于不同的运动状态中，并可被其他物体以不同程度地遮挡等。通过增大差异化视频数据的数据量，能够提供多种因素影响下的前景物体图像，从而有助于更充分稳定地提取前景物体的共同性原则。超像素是指具有相似纹理、颜色、亮度等特征的相邻像素构成图块。通过提取超像素，可以降低后续图像处理任务的复杂度。根据一种实施方式，从输入视频中提取超像素，可以包括将每一视频分解为若干帧，对每一帧进行运动感知超像素分割，以提取超像素。步骤102，从超像素中识别前景超像素和背景超像素。前景超像素是超像素中构成前景物体部分的超像素，也是图像分割中感兴趣的超像素。步骤103，对前景超像素进行聚类和模型选择，以得到聚类结果。聚类和/或模型选择由算法自动实现。可选地，所述聚类可以直接和/或间接地利用超像素的像素相似关系；替代性地，所述聚类也可以直接和/或间接地利用超像素的位置邻接关系。根据一种实施方式，对前景超像素进行聚类和模型选择的步骤包括：计算所述前景超像素的特征描述子；根据位置邻接关系，为任意一对前景超像素指定初始的共同性原则；以及，在所述共同性原则约束下，对所述前景超像素的特征描述子进行迭代聚类，得到最优的模型选择和聚类结果。在一个具体示例中，聚类和模型选择可采用如下算法：对所有前景超像素计算归一化颜色直方图，该直方图即为超像素的特征描述子；为任意两个前景超像素si和sj指定初始的共同性原则Zij：其中，(si，sj)∈M表示si和sj在当前帧和前后若干帧均相邻，(si，sj)∈C表示si和sj在当前帧不相邻；在共同性原则约束下，对前景超像素的特征描述子进行迭代聚类，得到最优的模型选择结果K和聚类结果步骤104，根据所述聚类结果对所述超像素进行自动标注，以得到带标注的超像素数据集。根据一种实施方式，根据所述聚类结果和模型选择结果对所述超像素进行自动标注的步骤包括：将前景超像素自动标注为其所在的类别；以及将背景超像素自动标注为同一个背景超像素类别。前景超像素的类别的数量可以大于和/或等于背景超像素的类别的数量，以便能够更准确地描述多目标运动，并提升单目标运动的鲁棒性。在一个具体示例中，如果超像素si属于类别的前景超像素，则si可以标注为f，否则si标注为K+1。步骤105，基于所述带标记的超像素数据集，进行有监督的深度学习。根据一种实施方式，基于所述带标记的超像素数据集进行有监督的深度学习包括基于所述带标记的超像素数据集学习多类分类器，其中，多类分类器的输入为所述超像素的特征描述子，多类分类器的输出为所述超像素属于某一类别的概率。在一个具体示例中，多类分类器的输入可以是超像素si的特征描述子，输出可以是超像素si属于类别fi的概率其中fi∈[1，K+1]。步骤106，构建并求解马尔科夫随机场，以完成视频共分割。根据一种实施方式，马尔科夫随机场直本文档来自技高网...

【技术保护点】
1.一种基于超像素自动标注的深度学习共分割方法，包括：从输入视频中提取超像素，所述输入视频为包含一致前景的两段或两段以上视频；从所述超像素中识别前景超像素和背景超像素；对所述前景超像素进行聚类和模型选择，以得到聚类结果和模型选择结果；根据所述聚类结果和模型选择结果对所述超像素进行自动标注，以得到带标注的超像素数据集；基于所述带标记的超像素数据集，进行有监督的深度学习；以及构建并求解马尔科夫随机场，以完成视频共分割。

【技术特征摘要】
1.一种基于超像素自动标注的深度学习共分割方法，包括：从输入视频中提取超像素，所述输入视频为包含一致前景的两段或两段以上视频；从所述超像素中识别前景超像素和背景超像素；对所述前景超像素进行聚类和模型选择，以得到聚类结果和模型选择结果；根据所述聚类结果和模型选择结果对所述超像素进行自动标注，以得到带标注的超像素数据集；基于所述带标记的超像素数据集，进行有监督的深度学习；以及构建并求解马尔科夫随机场，以完成视频共分割。2.根据权利要求1所述的基于超像素自动标注的深度学习共分割方法，其特征在于，从输入视频中提取超像素的步骤包括：对每一视频的每一帧进行运动感知超像素分割，以提取超像素。3.根据权利要求1所述的基于超像素自动标注的深度学习共分割方法，其特征在于，从所述超像素中识别前景超像素和背景超像素的步骤包括：为所述超像素中的每一个超像素计算运动显著性值和相对于运动边界的内外性值，判断所述每一个超像素的显著性值和相对于运动边界的内外性值是否分别大于显著性阈值和内外性阈值；当所述显著性值和所述内外性值均大于显著性阈值和内外性阈值时，判定所述超像素为前景超像素；否则，判定所述超像素为背景超像素。4.根据权利要求1所述的基于超像素自动标注的深度学习共分割方法，其特征在于，所述聚类和/或模型选择由算法自动实现。5.根据权利要求1所述的基于超像素自动标注的深度学习共分割方法，其特征在于，所述聚类直接和/或间接地利用超像素的像素相似关系。6.根据权利要求1所述的基于超像素自动标注的深度学习共分割方法，其特征在于...

【专利技术属性】
技术研发人员：高巍，郭家明，李著文，
申请(专利权)人：新加坡国立大学，苏州工业园区新国大研究院，
类型：发明
国别省市：新加坡,SG