一种图像实例分割方法技术

本发明专利技术属于图像实例分割技术领域，具体涉及一种图像实例分割方法。该方法首先将目标图像输入至构建的初始轮廓提取模型中，得到图像中目标的初始轮廓；然后在初始轮廓上采样若干个轮廓点，并在每个轮廓点周围提取若干个假设变形点；接着利用构建的特征提取模型，得到各个轮廓点的特征以及每个轮廓点周围假设变形点的特征；最后将得到各个轮廓点的特征、以及每个轮廓点周围假设变形点的特征输入至构建的变形轮廓提取模型中，得到每个轮廓点的变形结果，进而得到图像中目标的变形轮廓。本发明专利技术可以得到更加精细的分割结果，使得分割结果更为精准，提升边缘轮廓精度，适用于对精细程度要求较高的任务。

【技术实现步骤摘要】
一种图像实例分割方法
本专利技术属于图像实例分割
，具体涉及一种图像实例分割方法。
技术介绍
分割任务是许多图像处理任务的基础，例如变化检测、动态监测、分类任务等，分割的准确性和效率会对后续工作造成影响。而实例分割集成了分类、定位和分割三个任务，与类似的图像处理任务相比，这是最困难的视觉任务之一。从过程角度来说，实例分割可以分为两类，基于检测的方法和基于轮廓的方法。基于检测的方法首先检测对象，然后通过一定方法逐像素进行分类，得到最终实例分割结果。但是这类基于像素的方法没有利用边缘信息，会导致在边缘处分割效果不佳。另一类方法是通过得到对象的轮廓来达到分割目的。基于轮廓的方法需要解决如何衡量点集构成的近似轮廓与实际轮廓之间的距离的问题，并据此提出合理的学习网络损失函数。还需要解决点集的初始位置采样、点的特征提取等问题。在数量上，基于轮廓的方法相较于逐区域像素分割的方法能减少很多需要判定的量，更少的检测量意味着更少的错误率，因此基于轮廓的实例分割方法也是非常值得研究的内容。相比于逐像素分类的方法，轮廓方法有更高的效率和速度，但对训练网络和初始轮廓有更高的要求。对于一些特定的图像处理任务(例如使用遥感影像进行变化检测)，更高的影像分辨率和更大的影像范围都对分割效果提出了更高精度的要求。现有的实例分割方法在公开数据集上的实例分割效果整体上较好，但其在对象轮廓的精度还不够，特别是对一些精细程度要求较高的任务来说是不适用的，不足以作为精细分割结果来指导后续的变化检测、实例定位等工作。专利
技术实现思路
本专利技术提供了一种图像实例分割方法，用以解决采用现有技术方法提取的轮廓精度不高的问题。为解决上述技术问题，本专利技术所包括的技术方案以及技术方案对应的有益效果如下：本专利技术提供了一种图像实例分割方法，包括如下步骤：1)将目标图像输入至构建的初始轮廓提取模型中，得到图像中目标的初始轮廓；并在初始轮廓上采样若干个轮廓点，2)在每个轮廓点周围提取若干个假设变形点；3)利用构建的特征提取模型，得到各个轮廓点的特征以及每个轮廓点周围假设变形点的特征；4)将得到的各个轮廓点的特征、以及每个轮廓点周围假设变形点的特征输入至构建的变形轮廓提取模型中，得到每个轮廓点的变形结果，进而得到图像中目标的变形轮廓，以对初始轮廓进行优化分割边缘处理。上述技术方案的有益效果为：本专利技术在得到目标的初始轮廓后，在轮廓点周围提取若干个假设变形点，确定每个轮廓点以及各轮廓点周围假设变形点网的特征，并输入至构建的变形轮廓提取模型中，可以得到每个轮廓点的变形结果，实现了在利用初始轮廓提取模型得到的分割结果的基础上对轮廓进行了变形，以得到更加精细的分割结果，使得分割结果更为精准，提升边缘轮廓精度，适用于对精细程度要求较高的任务。进一步的，为了自适应选择假设变形点网的尺度以达到更好地适应初始轮廓的效果，一个轮廓点及其周围提取的若干个假设变形点构成一个假设变形点网，所述假设变形点网的大小为：S＝[S0+log2(wh/WH)]其中，[]表示取整处理；S为假设变形点网的大小；S0为面积为W×H的对象所应在的层级；w和h分别为检测框的宽和高；W和H分别为目标图像的宽和高。进一步的，所述特征提取模型为ResNet-FPN模型。进一步的，利用ResNet-FPN模型得到各个轮廓点的特征以及每个轮廓点周围假设变形点的特征的手段为：先将目标图像输入至ResNet-FPN模型中，得到若干个特征图；利用插值法从各个特征图中得到每个轮廓点和每个假设变形点的特征。进一步的，为了自适应选择特征图以适应不同大小目标实例分割任务，得到的特征图PX的个数为3个且为相邻的3个，分别为第一特征图P(K-1)、第二特征图PK、以及第三特征图P(K+1)；其中，X的值越小，表示对应的特征图是利用越低的卷积层进行处理得到；K的取值为：K＝[K0+log2(wh/WH)]其中，[]表示取整处理；w和h分别为检测框的宽和高；W和H分别为目标图像的宽和高；K0为面积为W×H的对象所应在的层级。进一步的，步骤1)中，所述初始轮廓提取模型为MaskR-CNN模型。进一步的，步骤4)中，所述变形轮廓提取模型为图卷积神经网络模型。进一步的，在对构建的初始轮廓提取模型、特征提取模型、以及变形轮廓提取模型进行训练时，所采用的损失函数L为：其中，SmoothL1表示SmoothL1损失函数；Lpoi_n表示对于每一个轮廓点的损失函数，为预测点的坐标，为真实点的坐标；Lcon_n表示对于整个轮廓的损失函数，N为轮廓点总数，为预测的轮廓点的坐标，xi为真实轮廓点的坐标；n为迭代次数；LMask_n是在检测框范围内所有像素的平均二值交叉熵损失。进一步的，为了保证效率和效果达到最佳平衡，重复迭代的次数要求为3次。附图说明图1是本专利技术的图像实例分割方法的流程图；图2是本专利技术的不同尺寸的假设变形点网的示意图；图3是本专利技术的图卷积变形过程示意图。具体实施方式本专利技术的基本构思为：针对现有技术方法不适用于精细程度要求较高的任务的问题，本专利技术在MaskR-CNN得到的分割结果的基础上对轮廓进行了变形处理，得到更精确的分割结果。具体的变形处理过程包括：首先使用足够数量的轮廓点表示轮廓，并对每个轮廓点都设计了N个假设变形点，这N个假设变形点与对应的轮廓点构成一张平面网；然后在获取这些点的特征后，作为一张局部图输入至图卷积神经网络(GCN)中得到各个点的权值；接着对各个点的权重进行加权求和操作，得到每个轮廓点的变形结果，进而便可得到最终的变形轮廓。下面结合图1的流程图，对本专利技术的图像实例分割方法进行详细说明。步骤一，将目标图像(Images)输入至构建的初始轮廓提取模型(MaskR-CNN模型)中，得到图像中目标的初始轮廓(InitialContour)。步骤二，在初始轮廓上采样若干个足够表示轮廓的轮廓点，并在每个轮廓点周围提取N个假设变形点。图是指指数学中的用顶点和边建立相应关系的拓扑图，GCN的本质目的就是提取拓扑图的空间特征，并用来学习。该步骤中，本专利技术为每一个从轮廓上采样的点都设计了一个假设变形点网，并将该假设变形点网当做一个图。在选择假设变形点网时，需要在保证局部点密度的前提下，又要使矢量方向的数量满足变形需要。如图2所示，假设变形点网(LocalPoint-Net)由21个点组成，各点之间构成网，总共构成48条边，具有一定的拓扑关系。该假设变形点网具有16个不同的矢量方向，保证了全方位的变形需求，并且具有层次感，能够满足不同的变形大小。假设变形点网用于预测采样的轮廓点的变形方向及大小，且所包括的每个点的相对方位是确定的。对此，本专利技术设计了一个自适应尺度的策略，以适用于不同大小对象的轮廓变形，假设变形点网的所选择的尺寸为：S＝[S0+log2(wh/W本文档来自技高网...

【技术保护点】
1.一种图像实例分割方法，其特征在于，包括如下步骤：/n1)将目标图像输入至构建的初始轮廓提取模型中，得到图像中目标的初始轮廓；并在初始轮廓上采样若干个轮廓点；/n2)在每个轮廓点周围提取若干个假设变形点；/n3)利用构建的特征提取模型，得到各个轮廓点的特征以及每个轮廓点周围假设变形点的特征；/n4)将得到的各个轮廓点的特征、以及每个轮廓点周围假设变形点的特征输入至构建的变形轮廓提取模型中，得到每个轮廓点的变形结果，进而得到图像中目标的变形轮廓，判断变形轮廓的质量是否满足要求，若不满足要求，则在变形轮廓上采样若干个轮廓点，并重复步骤2)至步骤4)，直至最终得到的变形轮廓的质量满足要求或者重复迭代的次数达到要求。/n

【技术特征摘要】
1.一种图像实例分割方法，其特征在于，包括如下步骤：
1)将目标图像输入至构建的初始轮廓提取模型中，得到图像中目标的初始轮廓；并在初始轮廓上采样若干个轮廓点；
2)在每个轮廓点周围提取若干个假设变形点；
3)利用构建的特征提取模型，得到各个轮廓点的特征以及每个轮廓点周围假设变形点的特征；
4)将得到的各个轮廓点的特征、以及每个轮廓点周围假设变形点的特征输入至构建的变形轮廓提取模型中，得到每个轮廓点的变形结果，进而得到图像中目标的变形轮廓，判断变形轮廓的质量是否满足要求，若不满足要求，则在变形轮廓上采样若干个轮廓点，并重复步骤2)至步骤4)，直至最终得到的变形轮廓的质量满足要求或者重复迭代的次数达到要求。


2.根据权利要求1所述的图像实例分割方法，其特征在于，一个轮廓点及其周围提取的若干个假设变形点构成一个假设变形点网，所述假设变形点网的大小为：
S＝[S0+log2(wh/WH)]
其中，[]表示取整处理；S为假设变形点网的大小；S0为面积为W×H的对象所应在的层级；w和h分别为检测框的宽和高；W和H分别为目标图像的宽和高。


3.根据权利要求1所述的图像实例分割方法，其特征在于，所述特征提取模型为ResNet-FPN模型。


4.根据权利要求3所述的图像实例分割方法，其特征在于，利用ResNet-FPN模型得到各个轮廓点的特征以及每个轮廓点周围假设变形点的特征的手段为：先将目标图像输入至ResNet-FPN模型中，得到若干个特征图；利用插值法从各个特征图中得到每个轮廓点和每个假设...

【专利技术属性】
技术研发人员：张永生，吕可枫，于英，汪汉云，宋亮，李力，李磊，闵杰，张磊，王自全，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：河南;41