一种基于显著性检测的图像三元图生成方法技术

一种基于显著性检测的图像三元图生成方法涉及计算机视觉领域。三元图即trimap图。该方法能够自动捕捉输入图像的显著物体，并通过级联网络来逐渐生成并优化最终的trimap图像。该方法步骤：1)数据合成；2)数据增强处理；3)将数据送入级联网络进行预测，第一个级联网络得到粗略的显著性掩码图，第二个级联网络得到优化的显著性掩码图，第三个级联网络得到精细化的trimap图。本发明专利技术解决问题是全自动生成图像trimap分割图，提出了采用显著性检测的方法并设计级联网络来实现trimap图分割的处理，为全自动化抠图技术提供良好先验信息。本发明专利技术产生的trimap精确度高、鲁棒性强、泛化性强，适用于多种前景物体。多种前景物体。多种前景物体。

【技术实现步骤摘要】
一种基于显著性检测的图像三元图生成方法


[0001]本专利技术涉及计算机视觉领域，针对Image Matting子任务中先验trimap条件的获取问题，此处特指一种基于显著性检测的图像三元图生成方法。

技术介绍

[0002]数字图像合成与抠图的概念最早在1984年由Porter Thomas与DuffTom提出。该研究团队首次提出了数字图像合成模型。该研究组通过引入四通道数字图像的概念(即红、绿、蓝及alpha通道)，将观测图像建模为前景与背景的凸线性组合(convex combination)。在所提出的模型中，对于彩色图像中任意像素其观测到的像素颜色I是由前景颜色fg与背景颜色bg的凸线性组合所得。
[0003]I＝fg
×
α+bg
×
(1
‑
α)
[0004]自然图像抠图(Image Matting)是指从自然图像中精确地提取出前景，分离前景与背景。自然图像抠图也可以依靠上面公式来解释，首先给定一张自然图像，自然图像抠图的目标是获取公式中的alpha通道信息，该alpha 通道控制前景与背景的融合比例。然而，根据以上公式可以看出，自然图像抠图是一个高欠定的任务，因为它存在已知三个已知项，七个未知项。因此，想要求解出alpha通道信息就需要额外的先验信息。应运而生的就是trimap图像，所谓trimap图像是一张单通道的灰度图，包含三类信息，绝对的前景信息、绝对的背景信息、以及绝对背景与绝对前景的过渡信息。引入trimap之后，自然图像抠图的目标就是准确得到过渡信息中的未知项从七个降低到了一个，这样的话该高欠定任务就转化为可求解问题。然而， trimap先验信息的获取是复杂的，最直接也trimap获取是需要用户的交互，用户勾勒一张三分类的草图或者直接描画一张trimap图。另外，也有一些基于传统的数字图像处理技术获取原图的trimap，目前，随着人工智能的发展，也萌生出许多基于深度学习的方法。
[0005]在文献[Automatic Trimap Generation for Image Matting]中，Vikas Gupta 等人通过采用超像素分割与K
‑
means聚类方法，同时结合传统的图像处理方法来生成trimap图，该方法具有处理速度慢的缺点。在中国专利[一种基于grabcut算法的交互式图像分割与融合方法，CN107730528A]中，提出了用grabcut算法进行原图中前景边缘的分割，辅以图像的形态学处理得到原图的trimap图，该方法是通过交互式的操作，无法做到全自动。
[0006]在中国专利[一种基于语义分割的图像trimap生成方法， CN110363728A]中使用语义分割的方法来获取trimap分割图，但该方法采用条件随机场后处理对结果进行优化，最终得到分割掩码图。然而，就实验来看，单纯使用最优的分割网络DeepLabV3+，以单纯RGB自然图像作为输入的话，模型的分割效果并不尽如人意。而且，加入后处理的话也会影响整体的算法运算效率。
[0007]因此，基于以上分析，该专利提出的图像trimap生成办法有以下优点：
[0008]1)该专利首次提出了基于显著性检测的深度级联网络来全自动生成自然图像
trimap掩码图。相较于之前专利提出的基于图像分割的方法直接进行trimap的整体分割任务，该专利先进行显著性物体的检测，然后加入 trimap预测分支，实现显著性物体到trimap分割图的过渡。
[0009]2)该专利在不添加后处理操作的情况下仍然能够得到高精度trimap 掩码图，具有很强的鲁棒性和准确性。不添加后处理，缩减了模型的复杂度，并加速了模型的预测速度，较好的实现了精度与效率的平衡。
[0010]3)该专利方法能够灵活的迁移到Image Matting任务中去，为ImageMatting任务提供了高精度的trimap先验条件。

技术实现思路

[0011]针对以上现有技术的不足，该专利首次提出了基于显著性检测的深度级联网络来全自动的生成自然图像trimap掩码图，在不添加后处理操作的情况下仍然能够得到高精度trimap掩码图。本专利技术的目的通过以下技术方案来实现。
[0012]一种基于显著性检测的图像三元图生成方法，该方法包括如下的步骤：
[0013]1)获取原始图像数据与其alpha掩码数据；
[0014]2)依靠alpha掩码数据生成显著性掩码标签数据以及高精度的trimap标签数据；
[0015]3)搭建深度级联网络，实现全自动trimap分割目标；
[0016]4)将原始图像数据输入显著性检测分支中进行训练。其中，显著性检测分支包括粗略显著性检测子分支以及优化显著性检测子分支。首先，通过粗略显著性检测子分支初步得到粗略的显著性掩码数据。然后，将网络得到的低层的特征信息与粗略的显著性掩码数据进行自适应融合，优化边缘信息，从而获取优化的显著性掩码数据；
[0017]5)将显著性掩码图像数据输入trimap预测分支中进行训练。将步骤4)得到的优化的显著性掩码数据以及低层的特征信息也进行自适应融合，优化边缘信息，突出高权重物体信息，抑制无关物体信息。并将输出送入trimap预测分支中，实现从显著性掩码到trimap分割图的过渡，最终得到高精度的 trimap分割掩码图；
附图说明
[0018]图1一种基于显著性检测的图像三元图生成方法组成示意图；
[0019]图2深度级联网络示意图；
具体实施方式
[0020]下面将详细描述本专利技术各个方面的特征和示例性实施例。下面的描述涵盖了许多具体细节，以便提供对本专利技术的全面理解。但是，对于本领域技术人员来说显而易见的是，本专利技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本专利技术的示例来提供对本专利技术更清楚的理解。本专利技术绝不限于下面所提出的任何具体配置和算法，而是在不脱离本专利技术的精神的前提下覆盖了相关元素、部件和算法的任何修改、替换和改进。
[0021]下面将参照附图1来描述根据本专利技术实施例的一种基于显著性检测的图像三元图生成方法的具体步骤如下：
[0022]第一步，获取开源Image Matting数据集以及背景数据集
[0023]在该步骤中，本数据集来源于公开的Image Matting数据集，背景数据集来源于公开的VOC和COCO数据集，其中Matting数据集标注质量高、背景数据集图像种类丰富，并将两者按照公式进行融合，两类数据为模型训练提供了充足的数据准备。
[0024]第二步，依靠alpha掩码数据生成显著性掩码标签数据以及高精度的 Trimap标签数据。
[0025]在本专利所提出的方法中共需要获得两类标签，包括显著性物体掩码标签图以及分割trimap标签图。
[0026]为了获取显著性掩码标签图，该方法直接采用参数为原图大小1/20的比例来本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于显著性检测的图像三元图生成方法，其特征在于，包括如下步骤：1)获取原始图像数据与其alpha掩码数据；2)依靠alpha掩码数据生成显著性掩码标签数据以及trimap标签数据；3)搭建深度级联网络，实现全自动trimap分割目标；4)将原始图像数据输入显著性检测分支中进行训练；其中，显著性检测分支包括粗略显著性检测子分支以及优化显著性检测子分支；首先，通过粗略显著性检测子分支初步得到粗略的显著性掩码数据；然后，将网络得到的低层的特征信息与粗略的显著性掩码数据进行自适应融合，优化边缘信息，从而获取优化的显著性掩码数据；5)将显著性掩码图像数据输入trimap预测分支中进行训练；将步骤4)得到的优化的显著性掩码数据以及低层的特征信息也进行自适应融合，优化边缘信息，突出高权重物体信息，抑制无关物体信息；并将输出送入trimap预测分支中，实现从显著性掩码到trimap分割图的过渡，最终得到trimap分割掩码图；2.根据权利要求1所述方法，其特征在于，包括如下步骤：第一步，获取开源Image Matting数据集以及背景数据集第二步，依靠alpha掩码数据生成显著性掩码标签数据以及Trimap标签数据；第三步，搭建深度级联网络，实现全自动Trimap分割目标所述深度级联网络构建包括三个部分：第一个部分是公用特征提取网络；第二个部分是显著性检测分支网络；第三个部分是trimap预测分支网络；第一个部分公用特征提取网络为其余两个部分提供公用浅层特征信息，从而实现最大程度的特征复用；其余两个部分各司其职，分别获得显著性检测掩码图以及trimap分割图；三个部分循序渐进，前一个部分的输出作为下一个部分的输入，协作完成trimap分割任务；公用特征提取网络选取VGG16作为特征提取网络，对于一张输入尺寸H
×
W的输入图片I，通过VGG16网络之后，提取到五个层级的特征信息，将其表示为{f
i
，i＝1，
…
，5}，在普遍的显著性检测网络中，会将前五个层级输出的特征信息全部聚合输入到之后的解码器网络中去，该部分表示为：D
T
＝g(f1，f2，f3，f4，f5)其中g(
·
)表示多层级信息聚合操作；只将后三层特征进行聚合，保留了三个卷积操作，另外两个卷积操作独立存在于之后的每个分支中；第四步，将原始图像数据输入显著性检测分支中进行训练该阶段是显著性检测阶段，输入是原始RGB自然图像，输出是一张只包含...

【专利技术属性】
技术研发人员：刘博，井海鹏，张雷，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：