【技术实现步骤摘要】
一种确定主体和精准化边缘相结合的图像前景分割方法
[0001]本专利技术涉及信息
,具体涉及一种确定主体和精准化边缘相结合的图像前景分割方法。
技术介绍
[0002]当人们在获得一张图像时,更引入注目的部分往往为显著的主体区域,这部分区域称为前景。前景部分的某些空间信息(颜色、轮廓、纹理、灰度等)与周围环境存在差别。前景分割就是基于这些差异,将把图像具有独特性质的前景区域进行分割和提取的技术。该技术如Fasr R
‑
CNN、Mask R
‑
CNN、MaskLab在人们的实际生活中有广泛的应用:医学领域中的测量图像中组织大小、在遥感领域中的提取云图中的云系、在交通领域对车辆轮廓特征提取与行人检测等。虽然前景分割技术已为人们提供便利,但是至今仍未存在一种通用的前景分割方法适用于所有应用场景,且对图像的低层特征信息和高层特征信息很难达到合理且平衡的使用。
[0003]图像的低层特征信息是在早期经典的图像分割方法中(如基于边缘检测的图像分割、基于阂值的图像分割、基于区域分割方法)经常使用的信息,利用图像的纹理与灰度等图像信息完成前景分割。但是基于低层特征信息的分割方法有很大的局限性:图像同一区域内需具有相似性和连续性,分割效果的优劣对相似性条件很强的依赖性,分割结果极易出现过分割的情况。近年来,研究者逐渐将研究重点转移到高层特征信息,利用人工神经网络技术或遗传算法获取上下文特征信息或高级语义信息,为图像分割提供了新的思路。但基于高层特征信息的分割方法发展还未成熟,其普适性和速 ...
【技术保护点】
【技术特征摘要】
1.一种确定主体和精准化边缘相结合的图像前景分割方法,其特征在于,包括如下步骤:1)确定主体;1.1)输入图像,采用上下文感知金字塔特征提取模块CPFE用于多尺度高层次特征映射,以获得丰富的上下文特征;CPFE将VGG
‑
16网络架构中的Conv3
‑
3、Conv4
‑
3和Conv5
‑
3作为基本的高层特征;1.2)在上下文感知金字塔特征提取后,添加并使用通道注意力机制CA模型,通过使用CA对上下文感知金字塔特征进行加权,输出的新的高层特征;1.3)获取自然图像的低层特征,将VGG
‑
16网络架构中的Conv1
‑
2和Conv2
‑
2作为基本的低层特征作为输入;采用空间注意力机制SA模型关注显著性物体和背景之间的边界,助于生成用于包含边界信息的有效低层特征;1.4)将通过通道注意机制CA加权后的高层特征和通过空间注意机制SA加权后的低层特征输出融合在一起,使用交叉熵损失来监督显著边界定位信息的生成;根据定位信息,输出图像前景轮廓的灰度图;2)边缘精准化;2.1)首先是输入图像后,进行收集图像信息特征;图像的信息特征主要来自两个方面:一是基于光谱消光,从谱分析的角度,得到来自输入图像的非局部的颜色关系信息;二是使用用于场景分析的卷积神经网络,生成的高级语义关系信息;2.2)随后将图像的非局部的颜色关系信息和高级语义关系信息相结合,建立图像层,在拉普拉斯矩阵L的特征向量中揭示语义对象以及语义对象之间的软过渡关系;2.3)接着提取L矩阵的100个最小特征值对应的特征向量,再使用k
‑
means聚类处理特征向量;边缘精准化处理过程完毕,将输出由拉普拉斯矩阵构成的图像图层;3)确定主体结果与边缘精准化结果的融合;3.1)首先,处理确定主体部分的结果:通过步骤1.4)的输出结果所得到灰度图进行二值化处理,保留主体轮廓以及明显的主体白色区域;3.2)接着,处理边缘精准化部分的结果:遍历整个矩阵集合,找到每个像素点所属的最大透明度的类所在的矩阵,认为是其属于的类,除了该类外其他矩阵中的透明度均设置为0;3.3)最后,将3.2)步骤中输出的拉普拉斯矩阵集合分别和显著性检测结果的灰度图进行点乘,再确定所需保留以及保留类之间交集部分,将所有保留记录的部分结合起来就是最终所需前景主体部分;3.4)确定主体结果与边缘精准化结果的融合过程处理完毕,输出图像的前景部分。2.根据权利要求1所述的一种确定主体和精准化边缘相结合的图像前景分割方法,其特征在于,所述步骤1.1)具体过程如下:1.1.1)为了使得最终提取的高层特征满足尺度不变性和形状不变性特征,采用不同扩张率的多孔卷积,并进一步分别设置扩张率为3、5和7来捕捉上下文信息;1.1.2)通过跨通道连接,将来自不同多孔卷积层的特征图与1
×
1降维特征进行拼接,然后,利用上下文感知信息得到三种不同尺度的特征,三种不同尺度的特征两两组合,将每两个较小的尺度特征上采样得到较大的尺度特征,因此输出三个尺度的高级特征;其中,上
采样又称图像插值,即在原有图像像素的基础上在像素点之间采用插值算法插入新的元素,从而放大原图像;1.1.3)最后,通过跨通道连接将上采样得到的高级特征组合起来,作为上下文感知金字塔特征提取模块的输出。3.根据权利要求1所述的一种确定主体和精准化边缘相结合的图像前景分割方法,其特征在于,所述步骤1.2)具体过程如下:1.2.1)首先将进行上下文感知金字塔特征提取后高层特征f
h
∈R
W
×
H
×
C
展开为其中表示表示高层特征f
h
的第i层,R表示空间位置集合,W表示尺寸的宽度,H表示尺寸的高度,C表示总通道数;随后平均池化高级特征每层的以获得通道特征向量v
h
,其中平均池化的目的是减小因邻域大小受限造成估计值方差增大的误差,从而有利于保留图像更多的背景信息,平均池化的结果S
j
通过下述公式求得:其中,T表示选择参与池化的激活值的序位阈值,R
j
表示在第j个特征图内的池化域,i表示在这个池化域内激活值的索引值,r
i
和a
i
分别表示激活值i的序位和激活数值;1.2.2)然后,将上一步获得的通道特征向量v
h
,通过全连接层FC,输出到ReLU层;1.2.3)随后,通道特征向量通过使用Sigmoid运算,映射到[0,1]之间,完成归一化处理并得到ca值,即高层特征每层的权重矩阵;因此ca=F(v
h
,W)=σ1(fc2(δ(fc1(v
h
,W1)),W2)),其中W1、W2为通道注意力机制的参数,σ1指的是sigmoid操作,fc指的是全连接层,δ指的是ReLU函数;1.2.4)最后,输出对上下文感知金字塔特征进行加权后的高层特征其中
·
表示点乘;4.根据权利要求1所述的一种确定主体和精准化边缘相结合的图像前景分割方法,其特征在于,所述步骤1.3)具体过程如下:1.3.1)输入对上下文感知金字塔特征进行加权后的高层特征来捕获空间关注点;为了获得全局信息而不增加参数,采用了两个卷积层,一个核为1
×<...
【专利技术属性】
技术研发人员:陆佳炜,朱冰倩,陈纬鉴,姜钦凯,董振兴,朱明杰,程振波,
申请(专利权)人:浙江工业大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。