基于边界检测的超像素分割方法技术

本发明专利技术属于计算机视觉、计算机图像处理和深度学习等计算机领域，为提出基于图像边界检测和可微聚类算法来获取超像素的方法来解决现有技术问题，从而获得更好的超像素分割效果。为此，本发明专利技术，基于边界检测的超像素分割方法，步骤如下：步骤1：准备图像数据集；步骤2：提取像素特征图(pixel feature map)F

【技术实现步骤摘要】
基于边界检测的超像素分割方法
本专利技术属于计算机视觉、计算机图像处理和深度学习等计算机领域，本专利技术更加专注于深度学习对于超像素分割方面的应用。
技术介绍
超像素分割是基于低级图像特征对像素进行分组产生均匀、规则超像素的图像分割方法，超像素通过对图像内容中差异性较低的像素进行聚类，从而替代像素作为图像处理的基元而极大降低后续图像处理的基元数量。超像素在2003年被Ren(任)等人提出后[1]，由于其高效的计算特性和对图像内容的准确表达，超像素被广泛研究用于计算机视觉领域，如图像语义分割、目标检测、光流估计、目标跟踪等任务。一个良好的超像素算法需要满足下列性质：(i)良好的边界依赖性，超像素需要严格遵循图像中物体的边界以对图像内容具有准确的表达；(ii)紧密性和规则性，超像素的排列和形状应当紧密、规则，以便于后续图像处理的应用；(iii)良好的计算效率，超像素算法应当具备高效的计算能力以便提高整体算法的执行效率。传统的超像素算法基于视觉特性和位置特性计算像素的相似度并以此指导像素的聚类过程[2]。近些年来，随着深度学习技术在计算机视觉领域取得举世瞩目的成绩，已经有越来越多的学者探索使用卷积神经网络在超像素分割算法中的应用。如V.Jampani(V·扬帕尼)等人在2018年提出的超像素采样网络[3]，通过取代传统算法中的argmin操作使得聚类算法具备可微性，训练了一个端到端的超像素生成模型，产生的超像素具备良好的图像物体边界依赖。然而，该算法生成的超像素在排列和形状上并不具备紧密和规则的特性，使得该算法在后续图像处理中较难应用。参考文献[1]X.RenandJ.Malik,“Learningaclassificationmodelforsegmentation,”inICCV,2003[2]R.Achanta,A.Shaji,K.Smith,A.Lucchi,P.Fua,andS.Ssstrunk,“Slicsuperpixelscomparedtostate-of-the-artsuperpixelmethods,”IEEETrans.PatternAnal.Mach.Intell.,vol.34,pp.2274–2282,2012.[3]V.Jampani,D.Sun,M.-Y.Liu,M.-H.Yang,andJ.Kautz,“Superpixelsamplingnetworks,”inECCV,2018。
技术实现思路
为克服现有技术的不足，本专利技术旨在提出基于图像边界检测和可微聚类算法来获取超像素的方法来解决现有技术问题，从而获得更好的超像素分割效果。为此，本专利技术采取的技术方案是，基于边界检测的超像素分割方法，步骤如下：步骤1：准备图像数据集；步骤2：提取像素特征图(pixelfeaturemap)Fpixel及物体边界图E；步骤3：采用可微的聚类算法产生最终的超像素；步骤4：设定损失函数，使用损失函数来衡量获取的边界图，超像素与数据集中标注数据的差异；步骤5：运用反向传播算法更新模型参数，并用最终参数获取超像素分割图像。其中：步骤1详细步骤：准备数据集，下载VGG-16.npy权重；步骤2详细步骤：采用基于VGG-16网络模型的网络模型M，提取像素特征图Fpixel及物体边界图E，但只保留使用VGG-16中conv1～conv5层，并且去掉全连接层，在每个池化层之前引出网络的分支并添加1×1conv的卷积层以获取不同尺度的图像特征图，采用上采样保持不同尺度图像特征分辨率的一致性，将得到的不同尺度的图像特征图合并以获得像素特征，同时，运用深度监督技术以获取不同尺度的图像边界图，同样将不同尺度的边界图合并为最终的物体边界图；步骤3：采用可微的聚类算法产生最终的超像素：首先初始化一定数量的超像素，遍历图像中的像素并计算与其相邻超像素的距离得到一个分配矩阵，随后更新超像素中心特征，循环执行该计算过程达到最大迭代次数，根据最终的分配矩阵为每个像素分配对应的超像素从而达到对图像进行超像素分割的目的。步骤3分成三小步：(i)初始化m个超像素，并将图像中的每个像素分配到距其最近的超像素，表征像素p与超像素k的距离计算公式为：其中ωp＝exp(E(p))表示像素p在物体边界图E上的自然指数值，t表示迭代次数；(ii)计算用于分配像素所属聚类簇的分配矩阵R：遍历图像中的像素，计算每个像素与其相邻的超像素的距离，求其自然指数值得到分配矩阵R，即：(iii)超像素聚类中心特征的更新：以像素特征的权重之和计算超像素聚类中心特征，即：其中表示归一化常数。网络模型M的损失函数可以分为三部分：(i)监督边界图损失：边界损失产生于经过模型侧输出得到的Eside1,Eside2…,Eside5及合并后的物体边界图E，采用sigmoid交叉熵损失函数计算边界损失，为了平衡因边界像素和非边界像素数量的差异导致的不合理计算，设置了两个平衡参数α,β，其值分别为：其中，|Y+|,|Y-|分别表示人工标注数据中的边界像素集和非边界像素集，σ为平衡参数，此处设置为1.1，加权后的侧输出边界损失及合并边界损失经sigmoid交叉熵损失函数分别表示为：其中，W表示网络中需要学习的参数，m∈{1…5}表示侧输出，Lfuse分别表示第m个侧输出边界图损失和合并边界图损失。总的边界损失表示为：其中，分别表示侧输出边界图及合并边界图在像素p处的激活值。(ii)超像素重建损失：对分配矩阵列标准化后，用像素特征表示超像素中心特征：通过对分配矩阵行标准化则可将超像素中心特征映射回像素特征，过程表示为：其重建损失表示为：其中l表示交叉熵损失函数；(iii)超像素紧密性损失：超像素紧密性损失保证生成的超像素内部在空间上具有较小的差异性，假设Ixy,Sxy表示像素和超像素的空间特征，用列标准化的分配矩阵表示从像素空间特征到超像素空间特征的映射为：从超像素到像素的空间特征映射过程是直接用超像素中心的空间特征替代该超像素内部所有像素的空间特征，即：则用L2范数计算紧密性损失表示为：本模型的总损失函数表示为：L＝ηLedge+μLrecon+vLcompact,(12)本专利技术的特点及有益效果是：本专利技术所提供的基于边界检测的超像素分割方法将BSDS500数据集中的图像经处理后输入网络模型M，经过训练后的网络可直接产生图像边界图和像素特征，再经过可微聚类算法可以直接生成对图像进行超像素分割的结果。本专利技术所提出的超像素分割算法是一个端到端的超像素分割算法，能够获得更好的超像素分割效果，在图像超像素分割领域属于一种比较先进的方法。附图说明：图1是本专利技术的流程图。图2是本专利技术的网络结构图。图3是本文档来自技高网...

【技术保护点】
1.一种基于边界检测的超像素分割方法，其特征是，步骤如下：/n步骤1：准备图像数据集；/n步骤2：提取像素特征图(pixel feature map)F

【技术特征摘要】
1.一种基于边界检测的超像素分割方法，其特征是，步骤如下：
步骤1：准备图像数据集；
步骤2：提取像素特征图(pixelfeaturemap)Fpixel及物体边界图E；
步骤3：采用可微的聚类算法产生最终的超像素；
步骤4：设定损失函数，使用损失函数来衡量获取的边界图，超像素与数据集中标注数据的差异；
步骤5：运用反向传播算法更新模型参数，并用最终参数获取超像素分割图像。


2.如权利要求1所述的基于边界检测的超像素分割方法，其特征是，其中：
步骤1详细步骤：准备数据集，下载VGG-16.npy权重；
步骤2详细步骤：采用基于VGG-16网络模型的网络模型M，提取像素特征图Fpixel及物体边界图E，但只保留使用VGG-16中conv1～conv5层，并且去掉全连接层，在每个池化层之前引出网络的分支并添加1×1conv的卷积层以获取不同尺度的图像特征图，采用上采样保持不同尺度图像特征分辨率的一致性，将得到的不同尺度的图像特征图合并以获得像素特征，同时，运用深度监督技术以获取不同尺度的图像边界图，同样将不同尺度的边界图合并为最终的物体边界图；
步骤3：采用可微的聚类算法产生最终的超像素：首先初始化一定数量的超像素，遍历图像中的像素并计算与其相邻超像素的距离得到一个分配矩阵，随后更新超像素中心特征，循环执行该计算过程达到最大迭代次数，根据最终的分配矩阵为每个像素分配对应的超像素从而达到对图像进行超像素分割的目的。


3.如权利要求1所述的基于边界检测的超像素分割方法，其特征是，步骤3分成三小步：
(i)初始化m个超像素，并将图像中的每个像素分配到距其最近的超像素，表征像素p与超像素k的距离计算公式为：



其中ωp＝exp(E(p))表示像素p在物体边界图E上的自然指数值，t表示迭代次数；
(ii)计算用于分配像素所属聚类簇的分配矩阵R：遍历图像中的像素，计算每个像素与其相邻的超像素的距离，求其自然指数值得到分配矩阵R，即：

【专利技术属性】
技术研发人员：李亮，彭俊杰，李亚军，王凯，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12