一种基于语义信息与边缘约束的前景目标检测方法技术

本发明专利技术提供一种基于语义信息与边缘约束的前景目标检测方法，分割能量函数模型借助语义标签信息，完成对图像前景与背景的自动分割，从而实现前景目标的检测。该方法流程图见摘要附图，主要包括五大步骤，步骤一：基于语义边缘约束的图像分层分割；步骤二：位置模型的建立；步骤三：外观模型的建立；步骤四：平滑约束的构建；步骤五：分割模型迭代优化。本发明专利技术实验验证，具有可行性、准确性和通用性，可用于诸多高层次的图像分析与图像理解中。

【技术实现步骤摘要】
一种基于语义信息与边缘约束的前景目标检测方法
本专利技术涉及一种基于语义信息与边缘约束的前景目标检测方法，分割能量函数模型借助语义标签信息，完成对图像前景与背景的自动分割，从而实现前景目标的检测，具有一定的有效性和通用性，属于计算机视觉领域。
技术介绍
前景目标的检测可以通过图象分割技术来实现，图像分割是指利用图像特征，如颜色，纹理等，把图像划分成各具特性的区域并提取出感兴趣目标的技术和过程。对于图像分割而言，大致可以分为两类，第一类是将图像分割为一些相对较小的超像素区域的超像素分割算法，另一类是将图像分割为前景目标和背景区域的前景背景分割算法。对于第一类图像分割算法而言，超像素分割算法产生的超像素在后续的更深层次的图像操作中类似于图像像素，但是相比于图像像素，超像素区域能够在一定的程度上保证像素点之间的空间支持，大大降低了后续操作的困难程度。因此，超像素区域应该保持图像目标的边界，避免出现分割区域跨界的现象。对于前景背景分割算法，主要是将图像分割为两个部分，一部分被认为是前景目标，另一部分被认为是背景目标，前景背景分割算法可以为后续的图像分析，理解提供完整的前景目标，从而实现前景目标的检测。因此，前景背景分割算法必须保证前景目标的区域必须完整的且具有精确的目标轮廓。在图像分割领域，超像素分割算法和前景背景分割算法一直都是研究的热点，在诸多高层次的图像分析与图像理解算法中有着非常重要的作用。目标识别技术可以从分割获得的前景目标中提取形状特征，人体姿态估计可以从分割获得的前景目标中提取人体的轮廓。在图像的前景目标检测这一研究方向已经发表了大量的研究算法，其中交互式分割算法是前景目标检测中应用非常成功的算法。但是，交互式分割算法需要利用用户手动标记(通常是围绕图像前景目标的矩形框)标示出图像中前景目标所在的位置，通过最小化目标能量函数完成图像的优化分割，从而实现前景目标的检测。但是这种技术需要人的交互，无法实现自动的图像目标检测。
技术实现思路
本专利技术技术解决问题：提供一种基于语义信息与边缘约束的前景目标检测方法，建立自动的前景背景分割能量函数模型，最终实现获取完整且轮廓精确的前景目标的目的本专利技术的技术解决方案为：一种基于语义信息与边缘约束的前景目标的检测，实现步骤如下：(1)基于语义边缘约束的图像分层分割：将输入图像在Lab颜色空间中得到的归一化边缘信息，与在语义标签上得到的语义边缘约束信息进行线性组合得到图像的边缘信息，利用contours2ucm算法将所述图像的边缘信息进行计算，得到衡量输入图像边缘权重的超度量轮廓图UCM，通过设置不同的阈值，对超度量轮廓图UCM进行分层分割，从而得到基于语义边缘约束的图像分层分割区域；(2)位置模型的建立：对所述输入图像进行多尺度的显著性检测，得到包围所述输入图像的前景目标的显著性窗口，利用所述显著性窗口的重叠性，得到多个显著性窗口包围下的输入图像像素的位置概率，然后利用步骤(1)得到的图像分层分割区域对输入图像像素的位置概率进行更新，从建立输入图像的位置模型；(3)外观模型的建立：利用步骤(1)得到的语义边缘约束信息，计算显著性窗口的内、外语义标签的分布特征向量，并计算内、外语义标签的分布特征向量的差值，选择约3/4区域为前景像素点的显著性窗口，计算显著性窗口内、外的像素位置概率，并利用该位置概率得到输入图像的前景与背景的分割阈值；通过分割阈值得到输入图像的前景与背景区域，然后在所述前景区域与背景区域上建立基于Lab颜色空间的高斯混合模型GMM，从而得到外观模型，外观模型由两个高斯混合模型组成，在前景区域中的高斯混合模型定义为A1，在背景区域中的高斯混合模型定义为A0；(4)平滑约束的构建：融合输入图像对比度信息与输入图像超度量轮廓图的边缘权重信息，对输入图像中相邻像素之间的边缘进行平滑约束，实现分割能量模型中平滑项的建立；(5)结合输入图像的位置模型与外观模型，得到衡量像素前景背景标签标记代价的数据项，通过所述数据项与平滑项，建立分割能量模型，利用迭代式算法优化求解分割能量函数，最终得到图像像素的最优分割标签，实现前景目标的检测。所述步骤(1)中，线性组合得到图像的边缘信息为：将像素xi的归一化边缘信息定义为Sn(xi)，将像素xi的语义边缘约束信息定义为Sa(xi)，基于归一化边缘与语义边缘信息的提取机制，通过Sn(xi)和Sa(xi)的线性组合得到图像的边缘信息Sf(xi)＝Sn(xi)+δa·Sa(xi)，其中参数δa是用来控制语义边缘约束的权重，经过大量反复试验所述δa＝400。所述步骤(1)中，通过设置不同的阈值，对超度量轮廓图UCM进行分层分割，从而得到基于语义边缘约束的图像分层分割区域的最终结果。所述步骤(2)中，建立输入图像的位置模型L(xi|ci)为：其中，F(xi)为像素点的位置概率，σ为阻尼参数，xi为像素，ci表示像素的标签，ci＝1表示像素为前景像素点，ci＝0表示像素为背景像素点。所述步骤(3)中，外观模型建立如下：外观模型由两个高斯混合模型组成，在前景区域{xi|F(xi)≥fa}定义为A1，在背景区域{xi|F(xi)＜fa}定义为A0，外观模型为，A(xi|ci＝1)＝A1A(xi|ci＝0)＝A0其中高斯混合模型A1和A0均建立在Lab颜色空间上，每一个高斯混合模型包括5个高斯分量，F(xi)为像素点的位置概率，xi为像素，fa为初始分割阈值，ci表示像素的标签，ci＝1表示像素为前景像素点，ci＝0表示像素为背景像素点，F(xi)为像素点的位置概率。所述步骤(5)中，分割能量模型为：E(C)＝U(C)+V(C)其中U(C)是分割能量函数E(C)的数据项，表示像素分配前景背景标签的标记代价；V(C)为分割能量函数E(C)的平滑项，表示相邻像素之间的边缘约束。所述步骤(5)中，迭代式算法为多次迭代的图分割算法。本专利技术与现在技术相比优点在于：(1)在基于语义边缘约束的图像分层分割算法中，将语义边缘信息与Lab颜色通道上得到的归一化边缘信息有效的结合起来，既减少了杂乱边缘的出现，又使得图像目标能够获得更加完整和连续的轮廓。(2)在分割能量函数模型的建立过程中，通过位置模型与外观模型构成衡量像素分割标记代价的数据项，既避免了交互式先验信息的输入，也提高了图像的分割精度；融合图像对比度信息与由超度量轮廓图表征的边缘强度信息构成衡量像素约束代价的平滑项，有效地改善了相邻像素之间的平滑约束。附图说明图1为基于语义边缘约束的分层分割算法流程图；图2为基于语义信息与边缘约束的前景目标检测方法流程图；图3为MSRC21数据集图像分割结果例图；(a)输入图像；(b)分层分割得到的超度量轮廓图；(c)分割能量函数模型中图像像素的前景位置标记代价；(d)外观模型中初始前景背景区域分割；(e)分割结果；(f)分割真值；图4为Caltech-4数据集图像分割结果例图，(a)输入图像；(b)分层分割得到的超度量轮廓图；(c)分割能量函数模型中图像像素的前景位置标记代价；(d)外观模型中初始前景背景区域分割；(e)分割结果；(f)分割真值。具体实施方式为了更好地理解本专利技术的技术方案，以下结合附图对本专利技术的具体实施方式作进一步描述：一、基于语义边缘约束的本文档来自技高网...

【技术保护点】
一种基于语义信息与边缘约束的前景目标检测方法，其特征在于包括以下步骤：(1)基于语义边缘约束的图像分层分割：将输入图像在Lab颜色空间中得到的归一化边缘信息，与在语义标签上得到的语义边缘约束信息进行线性组合得到图像的边缘信息，利用contours2ucm算法将所述图像的边缘信息进行计算，得到衡量输入图像边缘权重的超度量轮廓图UCM，通过设置不同的阈值，对超度量轮廓图UCM进行分层分割，从而得到基于语义边缘约束的图像分层分割区域；(2)位置模型的建立：对所述输入图像进行多尺度的显著性检测，得到包围所述输入图像的前景目标的显著性窗口，利用所述显著性窗口的重叠性，得到多个显著性窗口包围下的输入图像像素的位置概率，然后利用步骤(1)得到的图像分层分割区域对输入图像像素的位置概率进行更新，从建立输入图像的位置模型；(3)外观模型的建立：利用步骤(1)得到的语义边缘约束信息，计算显著性窗口的内、外语义标签的分布特征向量，并计算内、外语义标签的分布特征向量的差值，选择约3/4区域为前景像素点的显著性窗口，计算显著性窗口内、外的像素位置概率，并利用该位置概率得到输入图像的前景与背景的分割阈值；通过分割阈值得到输入图像的前景与背景区域，然后在所述前景区域与背景区域上建立基于Lab颜色空间的高斯混合模型GMM，从而得到外观模型，外观模型由两个高斯混合模型组成，在前景区域中的高斯混合模型定义为A1，在背景区域中的高斯混合模型定义为A0；(4)平滑约束的构建：融合输入图像对比度信息与输入图像超度量轮廓图的边缘权重信息，对输入图像中相邻像素之间的边缘进行平滑约束，实现分割能量模型中平滑项的建立；(5)结合输入图像的位置模型与外观模型，得到衡量像素前景背景标签标记代价的数据项，通过所述数据项与平滑项，建立分割能量模型，利用迭代式算法优化求解分割能量函数，最终得到图像像素的最优分割标签，实现前景目标的检测。...

【技术特征摘要】
1.一种基于语义信息与边缘约束的前景目标检测方法，其特征在于包括以下步骤：(1)基于语义边缘约束的图像分层分割：将输入图像在Lab颜色空间中得到的归一化边缘信息，与在语义标签上得到的语义边缘约束信息进行线性组合得到图像的边缘信息，利用contours2ucm算法将所述图像的边缘信息进行计算，得到衡量输入图像边缘权重的超度量轮廓图UCM，通过设置不同的阈值，对超度量轮廓图UCM进行分层分割，从而得到基于语义边缘约束的图像分层分割区域；(2)位置模型的建立：对所述输入图像进行多尺度的显著性检测，得到包围所述输入图像的前景目标的显著性窗口，利用所述显著性窗口的重叠性，得到多个显著性窗口包围下的输入图像像素的位置概率，然后利用步骤(1)得到的图像分层分割区域对输入图像像素的位置概率进行更新，从建立输入图像的位置模型；(3)外观模型的建立：利用步骤(1)得到的语义边缘约束信息，计算显著性窗口的内、外语义标签的分布特征向量，并计算内、外语义标签的分布特征向量的差值，选择约3/4区域为前景像素点的显著性窗口，计算显著性窗口内、外的像素位置概率，并利用该位置概率得到输入图像的前景与背景的分割阈值；通过分割阈值得到输入图像的前景与背景区域，然后在所述前景区域与背景区域上建立基于Lab颜色空间的高斯混合模型GMM，从而得到外观模型，外观模型由两个高斯混合模型组成，在前景区域中的高斯混合模型定义为A1，在背景区域中的高斯混合模型定义为A0；(4)平滑约束的构建：融合输入图像对比度信息与输入图像超度量轮廓图的边缘权重信息，对输入图像中相邻像素之间的边缘进行平滑约束，实现分割能量模型中平滑项的建立；(5)结合输入图像的位置模型与外观模型，得到衡量像素前景背景标签标记代价的数据项，通过所述数据项与平滑项，建立分割能量模型，利用迭代式算法优化求解分割能量函数，最终得到图像像素的最优分割标签，实现前景目标的检测。2.根据权利要求1所述的基于语义信息与边缘约束的前景目标检测方法，其特征在于：所述步骤(1)中，线性组合得到图像的边缘信息为：将像素xi的归一化边缘信息定义为Sn(xi)，将像素xi的语义边缘约束信息定义为Sa(xi)，基于归一化边缘与语义边缘信息的提取机制，通过Sn(xi)和Sa(xi)的线性组合得到图像的...

【专利技术属性】
技术研发人员：袁丁，强晶晶，胡晓辉，张弘，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11