基于多视角融合的前景自动提取方法技术

技术编号:16919853 阅读:30 留言:0更新日期:2017-12-31 15:11
本发明专利技术提出了一种基于多视角融合的前景自动提取方法,用于解决现有基于图切割的前景提取方法中,提取过程比较繁琐和提取的前景边缘不精确的技术问题。本发明专利技术首先对SVM分类器进行训练,然后对待提取图像进行灰度化,得到灰度图像,通过训练的SVM分类器,在灰度图像中检测包含前景的子图像,并将子图像在待提取图像中的位置坐标,作为GrabCut算法的输入,对待提取图像进行前景提取,得到待提取图像的像素视角下的提取结果,以SLIC算法对待提取图像生成超像素图像,通过融合超像素图像和像素视角下的提取结果,得到待提取图像的精确的前景提取结果。本发明专利技术可用于立体视觉、图像语义识别,三维重建、图像搜索等的应用与研究。

【技术实现步骤摘要】
基于多视角融合的前景自动提取方法
本专利技术属于图像处理
,更进一步涉及一种基于多视角融合的前景自动提取方法方法,本专利技术可用于立体视觉、图像语义识别,图像搜索等的应用与研究。
技术介绍
前景提取是一种在图像中提取感兴趣目标的手段。它把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程,并且已经成为从图像处理到图像分析的关键步骤。具体解释为根据灰度、颜色、纹理和形状等特征把图像划分成若干互补交叠的区域,并使这些特征在同一区域内呈现出相似性,而在不同区域间呈现出明显的差异。经过了几十年的发展与变化,前景提取逐步形成了自己的科学体系,新的提取方法层出不穷,已然成为了一个跨学科的领域,并且引起了各个领域的研究人员和应用人士的广泛关注,如医学领域,航空航天遥感领域,工业检测,安防与军事领域等。当前前景提取方法主要包括基于阈值的前景提取方法、基于边缘的前景提取方法、基于区域的前景提取方法、基于图切割的前景提取方法、基于能量泛函的前景提取方法和基于深度学习的图像前景提取方法等。其中基于图切割的前景提取方法因为提取精度高,操作简单而受到青睐,基于图切割的前景提取方法是一种基于图论的组合优化方法,根据用户的交互信息,它将一幅图像映射成一个网络图,并建立关于标号的能量函数,运用最大流最小割算法对网络图进行有限次的迭代切割,得到网络图的最小割,作为图像的前景提取结果。但是因为人机交互的存在,对多幅图像进行提取时,人工操作量太大,限制了其在工程中的应用。例如,MengTang等人2013年在2013IEEEInternationalConferenceonComputerVision上发表的《GrabCutinOneCut》,通过用户选择前景区域,然后将前景所在区域映射为图,通过OneCut对映射图进行有限次迭代切割,获得图像的前景提取结果,但是需要人机交互标定前景所在区域,导致前景提取过程比较繁琐,而且有限次的能量迭代优化只能获得较优解的最小割,难以得到精确的前景边缘。
技术实现思路
本专利技术的目的在于针对上述已有技术的不足,提出了一种基于多视角融合的前景自动提取方法,用于解决现有基于图切割的前景提取方法中,因为人机交互的存在导致的前景提取过程比较繁琐和有限次的能量迭代优化导致的前景边缘不精确的技术问题。为实现上述目的,本专利技术采取的技术方案包括以下步骤:(1)对SVM分类器进行训练;(1a)采集含有前景类别的样本图像集,并对其中的所有样本图像进行灰度化,得到样本灰度图像集;(1b)提取样本灰度图像集中各图像的HOG特征,得到样本HOG特征集;(1c)采用样本HOG特征集中所有的HOG特征对SVM分类器进行训练,得到训练的SVM分类器;(2)对待提取图像进行灰度化,得到灰度图像;(3)通过训练的SVM分类器,在灰度图像中检测包含前景目标的子图像pi,得到子图像pi左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax);(3a)采用多尺度窗口,按照设定的间隔在灰度图像中进行逐行滑动,得到由多个子图像组成的图像集P={p1,p2,...pi,...,pq},其中,pi为第i个子图像,q为子图像的数量;(3b)提取图像集P中各子图像pi的HOG特征,并将其输入到训练的SVM分类器中进行分类,得到子图像pi的标签lpi;(3c)判断子图像pi的标签lpi是否为正,若是,记录子图像pi左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax),执行步骤(4),否则,丢弃图像pi;(4)采用GrabCut算法,对待提取图像进行前景提取:采用子图像pi左上角和右下角的像素在待提取图像的相应位置(xmin,ymin)和(xmax,ymax)对GrabCut算法的人机交互进行替换,并利用替换结果对待提取图像进行前景提取,得到待提取图像的像素视角下的提取结果S1(x,y);(5)采用SLIC算法计算待提取图像的超像素,得到超像素图像B,B={b1,b2,...,bi,...,bo},bi为第i个超像素,o为超像素的数量;(6)通过融合超像素图像和待提取图像的像素视角下的提取结果S1(x,y),获取待提取图像的最终提取结果S2(x,y):(6a)对超像素图像B的超像素bi包含的所有像素在像素视角下的提取结果S1(x,y)中的标签lij进行加权,得到超像素bi的标签置信度Scorebi;(6b)设定置信度阈值gate,并将置信度阈值gate与超像素bi的标签置信度Scorebi进行比较,得到超像素bi视角下lbi;(6c)将属于超像素bi的像素点(xi,yi)的标签S2(xi,yi)=lbi作为最终的前景提取结果S2(x,y)。本专利技术与现有技术相比,具有如下优点:(1)本专利技术采用训练的SVM分类器获得待提取图像中前景所在的子图像,并采用子图像在待提取图像中的位置坐标替换GrabCut算法的人机交互获得的矩形区域作为算法输入,实现对待提取图像的前景提取,充分结合了SVM分类器和GrabCut算法,可以自动完成图像前景提取过程,解决了现有基于图切割的前景提取方法中,因为人机交互的存在导致的前景提取过程比较繁琐的问题,有效地提高了图像前景提取的效率。(2)本专利技术采用SLIC算法对待提取图像进行超像素提取,充分利用了超像素块内一致性较好的特点,通过对超像素图像的融合,对GrabCut算法输出的像素视角下的提取结果的边缘进行修补,得到待提取图像的前景精确提取结果,通过引入超像素,使前景提取结果更加精确,平滑,解决了现有基于图切割的前景提取方法中,因为有限次的能量迭代优化导致的前景边缘不精确的问题,提高了图像前景提取的精度。附图说明图1是本专利技术的实现流程图;图2是本专利技术中样本图像集的结构图;图3是本专利技术中HOG特征提取的实现流程图;图4是本专利技术中HOG特征的可视化展示图;图5是本专利技术对行人、树叶的提取实验结果图。具体实施方式以下结合附图和具体实施例,对本专利技术作进一步详细描述。参照图1,基于多视角融合的前景自动提取方法,包括以下步骤:步骤1)对SVM分类器进行训练;(1a)采集含有前景类别的样本图像集,并对其中的所有样本图像进行灰度化,得到样本灰度图像集;样本图像集的结构图如图2所示,所述的含有前景的样本图像集包含正样本、负样本和样本标签文件,其中正样本为包含前景的图像,负样本为不包含前景的图像,样本标签文件对正样本和负样本的类别和存储位置进行说明;所述的对样本图像集中的所有样本图像进行灰度化,具体为:将样本图像中的三通道的红色分量R,绿色分量G,蓝色分量B,进行加权平均得到灰度图像的灰度值Gray,加权平均公式为:Gray=R×0.299+G×0.587+B×0.114;(1b)提取样本灰度图像集中各图像的HOG特征,HOG特征提取的实现流程图如图3所示:(1b1)将输入图像分为连通相邻、又不重叠的若干个单元,在每个单元内计算像素的梯度幅值G(x,y)和梯度方向α(x,y),计算公式分别为:其中,Gx(x,y)=H(x+1,y)-H(x-1,y),Gy(x,y)=H(x,y+1)-H(x,y-1)分别表示输入图像中像素本文档来自技高网
...
基于多视角融合的前景自动提取方法

【技术保护点】
一种基于多视角融合的前景自动提取方法,其特征在于:包括以下步骤:(1)对SVM分类器进行训练;(1a)采集含有前景类别的样本图像集,并对其中的所有样本图像进行灰度化,得到样本灰度图像集;(1b)提取样本灰度图像集中各图像的HOG特征,得到样本HOG特征集;(1c)采用样本HOG特征集中所有的HOG特征对SVM分类器进行训练,得到训练的SVM分类器;(2)对待提取图像进行灰度化,得到灰度图像;(3)通过训练的SVM分类器,在灰度图像中检测包含前景目标的子图像pi,得到子图像pi左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax);(3a)采用多尺度窗口,按照设定的间隔在灰度图像中进行逐行滑动,得到由多个子图像组成的图像集P={p1,p2,...pi,...,pq},其中,pi为第i个子图像,q为子图像的数量;(3b)提取图像集P中各子图像pi的HOG特征,并将其输入到训练的SVM分类器中进行分类,得到子图像pi的标签lpi;(3c)判断子图像pi的标签lpi是否为正,若是,记录子图像pi左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax),执行步骤(4),否则,丢弃图像pi;(4)采用GrabCut算法,对待提取图像进行前景提取:采用子图像pi左上角和右下角的像素在待提取图像的相应位置(xmin,ymin)和(xmax,ymax)对GrabCut算法的人机交互进行替换,并利用替换结果对待提取图像进行前景提取,得到待提取图像的像素视角下的提取结果S1(x,y);(5)采用SLIC算法计算待提取图像的超像素,得到超像素图像B,B={b1,b2,...,bi,...,bo},bi为第i个超像素,o为超像素的数量;(6)通过融合超像素图像和待提取图像的像素视角下的提取结果S1(x,y),获取待提取图像的最终提取结果S2(x,y):(6a)对超像素图像B的超像素bi包含的所有像素在像素视角下的提取结果S1(x,y)中的标签lij进行加权,得到超像素bi的标签置信度Scorebi;(6b)设定置信度阈值gate,并将置信度阈值gate与超像素bi的标签置信度Scorebi进行比较,得到超像素bi视角下lbi;(6c)将属于超像素bi的像素点(xi,yi)的标签S2(xi,yi)=lbi作为最终的前景提取结果S2(x,y)。...

【技术特征摘要】
1.一种基于多视角融合的前景自动提取方法,其特征在于:包括以下步骤:(1)对SVM分类器进行训练;(1a)采集含有前景类别的样本图像集,并对其中的所有样本图像进行灰度化,得到样本灰度图像集;(1b)提取样本灰度图像集中各图像的HOG特征,得到样本HOG特征集;(1c)采用样本HOG特征集中所有的HOG特征对SVM分类器进行训练,得到训练的SVM分类器;(2)对待提取图像进行灰度化,得到灰度图像;(3)通过训练的SVM分类器,在灰度图像中检测包含前景目标的子图像pi,得到子图像pi左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax);(3a)采用多尺度窗口,按照设定的间隔在灰度图像中进行逐行滑动,得到由多个子图像组成的图像集P={p1,p2,...pi,...,pq},其中,pi为第i个子图像,q为子图像的数量;(3b)提取图像集P中各子图像pi的HOG特征,并将其输入到训练的SVM分类器中进行分类,得到子图像pi的标签lpi;(3c)判断子图像pi的标签lpi是否为正,若是,记录子图像pi左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax),执行步骤(4),否则,丢弃图像pi;(4)采用GrabCut算法,对待提取图像进行前景提取:采用子图像pi左上角和右下角的像素在待提取图像的相应位置(xmin,ymin)和(xmax,ymax)对GrabCut算法的人机交互进行替换,并利用替换结果对待提取图像进行前景提取,得到待提取图像的像素视角下的提取结果S1(x,y);(5)采用SLIC算法计算待提取图像的超像素,得到超像素图像B,B={b1,b2,...,bi,...,bo},bi为第i个超像素,o为超像素的数量;(6)通过融合超像素图像和待提取图像的像素视角下的提取结果S1(x,y),获取待提取图像的最终提取结果S2(x,y):(6a)对超像素图像B的超像素bi包含的所有像素在像素视角下的提取结果S1(x,y)中的标签lij进行加权,得到超像素bi的标签置信度Scorebi;(6b)设定置信度阈值gate,并将置信度阈值gate与超像素bi的标签置信度Scorebi进行比较,得到超像素bi视角下lbi;(6c)将属于超像素bi的像素点(xi,yi)的标签S2(xi,yi)=lbi作为最终的前景提取结果S2(x,y)。2.根据权利要求1所述的基于多视角融合的前景自动提取方法,其特征在于:步骤(1a)中所述的对样本图像集中的所有样本图像进行灰度化,具体为:将样本图像中的三通道的红色分量R,绿色分量G,蓝色分量B,进行加权平均得到灰度图像的灰度值Gray,加权平均公式为:Gray=R×0.299+G×0.587+B×0.1143.根据权利要求1所述的基于多视角融合的前景自动提取方法,其特征在于:步骤(1b)中所述的提取样本灰度图像集中每个图像的HOG特征,按照如下步骤进行:(1b1)将输入图像分为连通相邻、又不重叠的若干个单元,在每个单元内计算像素的梯度幅值G(x,y)和梯度方向α(x,y),计算公式分别为:其中,Gx(x,y)=H(x+1,y)-H(x-1,y),Gy(x,y)=H(...

【专利技术属性】
技术研发人员:杨淑媛焦李成马宏斌王敏余亚萍刘红英刘志吕文聪赵慧刘振马晶晶马文萍
申请(专利权)人:西安电子科技大学
类型:发明
国别省市:陕西,61

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1