一种形状先验缺失的图像半监督分割方法及系统技术方案

本发明专利技术提出了一种形状先验缺失的图像半监督分割方法及系统，包括：针对形状先验缺失的图像，获得候选区域；基于上述候选区域，利用分割网络将N个空间像素映射到K个关键因子的再重建回N个空间像素的方式来捕获分割目标的长距离依赖，其中K远小于N，同时，捕获有利于边界分割的短距离依赖，利用长距离依赖及短距离依赖输出对候选区域非本地语义上下文聚合；针对候选区域非本地语义上下文聚合结果，对形状几何先验敏感的半监督对抗学习：使用评估网络通过半监督对抗学习的方式对无标签数据的潜在有用信息进行挖掘，以激励分割网络输出精确的分割结果。的分割结果。的分割结果。

【技术实现步骤摘要】
一种形状先验缺失的图像半监督分割方法及系统


[0001]本专利技术属于图像分割处理
，尤其涉及一种形状先验缺失的图像半监督分割方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]近年来，随着人工智能技术的飞速发展，基于深度学习的方法在诸如图像分类、目标检测和语义分割等领域都取得了巨大的成功。其中的语义分割任务旨在为图像中的每个像素分配一个语义标签，其对于自动驾驶、计算机辅助诊断、虚拟现实和图像编辑等各种具有挑战性的应用至关重要。
[0004]目前，虽然一些基于深度学习的全监督方法在语义分割任务上取得了显著的进步，但它们通常需要大量的训练数据。与图像分类和目标检测不同，语义分割需要对每张训练图像进行准确的逐像素标注，这无疑会花费大量的费用和时间。值得注意的是，在一些特殊的领域，例如医学图像领域，由于图像的数量较少且通常需要大量的专业知识才能完成标注，因此大量存在的图像中只有少量被良好地标记，这无疑增大了图像分割在该领域的难度。另外，由于一些被分割对象通常具有较小的尺寸，例如城市图像中远处的车辆和红绿灯，以及缺少对形状的先验知识，例如医学图像中的胰腺器官，其通常具有较高的解剖学变异性，那么如何充分挖掘图像中的潜在有用信息并提取有用的特征来提升图像的分割精度显得至关重要。

技术实现思路

[0005]为克服上述现有技术的不足，本专利技术提供了一种形状先验缺失的图像半监督分割方法，可以进一步提升分割算法的精度。/>[0006]为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：
[0007]第一方面，公开了一种形状先验缺失的图像半监督分割方法，包括：
[0008]针对形状先验缺失的图像，获得候选区域；
[0009]基于上述候选区域，利用分割网络捕获分割目标的长距离依赖，同时，捕获有利于边界分割的短距离依赖，利用长距离依赖及短距离依赖输出对候选区域非本地语义上下文聚合；
[0010]针对候选区域非本地语义上下文聚合结果，对形状几何先验敏感的半监督对抗学习：使用评估网络通过半监督对抗学习的方式对无标签数据的潜在有用信息进行挖掘，以激励分割网络输出精确的分割结果。
[0011]进一步的技术方案，获得候选区域时，通过调整区域推荐网络的原始编码坐标，以构造对面积敏感的区域推荐网络来生成候选区域。
[0012]进一步的技术方案，调整区域推荐网络的原始编码坐标时，基于动态调整参数、边
界框的宽度和高度来对输入分割目标的面积进行调整。
[0013]进一步的技术方案，分割网络通过引入图像空间分辨率的比例调节因子修正注意力机制的计算流程。
[0014]进一步的技术方案，分割网络中，针对候选区域，基于希尔伯特空间填充曲线获得一维序列化后的图像块，利用一组LSTM模块对其进行建模以捕获有利于边界分割的短距离依赖。
[0015]进一步的技术方案，基于有标签数据的分割约束和形状约束SDM，使AN通过半监督对抗学习的方式对无标签数据的潜在有用信息进行挖掘。
[0016]进一步的技术方案，对形状几何先验敏感的半监督对抗学习，具体为：
[0017]形状约束SDM用于描述从每个点到对象边界的距离信息；
[0018]通过将分割损失、SDM损失和评估损失进行结合，构造多任务半监督混合损失函数；
[0019]对多任务损失的分割损失，构造基于DICE损失和α平衡的Focal损失来使模型更好地学习形状先验缺失的目标与其上下文信息之间的差异；
[0020]定义多任务损失的SDM损失，对评估损失使用二元交叉熵损失来对其进行优化。
[0021]进一步的技术方案，基于半监督对抗学习来实现对多任务网络SN(Segmentation Network，SN)和评估网络AN(Assessment Network，AN)的交替训练；
[0022]经过一定的训练次数或者SN的分割精度达到一定的阈值，半监督对抗训练终止。
[0023]第二方面，公开了一种形状先验缺失的图像分割系统，包括：
[0024]候选区域获取模块，被配置为：针对形状先验缺失的图像，获得候选区域；
[0025]非本地语义上下文聚合模块，被配置为：基于上述候选区域，利用分割网络捕获分割目标的长距离依赖，同时，捕获有利于边界分割的短距离依赖，利用长距离依赖及短距离依赖输出对候选区域非本地语义上下文聚合；
[0026]半监督对抗学习模块，被配置为：针对候选区域非本地语义上下文聚合结果，对形状几何先验敏感的半监督对抗学习：使用评估网络通过半监督对抗学习的方式对无标签数据的潜在有用信息进行挖掘，以激励分割网络输出精确的分割结果。
[0027]以上一个或多个技术方案存在以下有益效果：
[0028]本专利技术提出的基于半监督对抗学习的形状先验缺失的图像分割对比之前的方法，在图像自动分割方面有优异表现。
[0029]首先，本专利技术将半监督对抗学习用于形状先验缺失的目标自动分割领域的框架。其次，本专利技术构造了一个鲁棒的非本地上下文聚合模块，该模块不但可以同时对长距离和短距离依赖关系进行捕获以增强特征表示能力，还可以方便地应用于其他图像分割任务。最后，本专利技术构造了一种对形状几何先验敏感的半监督对抗学习模块，该模块可以对无标记图像的潜在有用信息进行挖掘，并有效减少对大规模标记图像的需求。
[0030]本专利技术能有效解决图像中有标签数据量较少、无标签数据量较多和一些潜在有效信息未被充分挖掘和利用的问题。
[0031]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0032]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0033]图1为本专利技术提供的一种基于半监督对抗学习的形状先验缺失的图像分割算法实现形状先验缺失的目标自动分割的网络学习流程示意图；
[0034]图2为本专利技术提供的形状先验缺失的图像分割系统模型框架示意图。
具体实施方式
[0035]应该指出，以下详细说明都是示例性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0036]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。
[0037]在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0038]针对图像的语义分割任务所面临的上述现实问题，如果直接应用大数据驱动的全监督算法来说，显然不是最优的方法。而基于对抗学习的半监督学习算法能更好地应对以上挑战。半监督学习旨在从有限数量的标记数据和任意数量的未标记数据中学习，并且其效果在一定条件下可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种形状先验缺失的图像半监督分割方法，其特征是，包括：针对形状先验缺失的图像，获得候选区域；基于上述候选区域，利用分割网络捕获分割目标的长距离依赖，同时，捕获有利于边界分割的短距离依赖，利用长距离依赖及短距离依赖输出对候选区域非本地语义上下文聚合；针对候选区域非本地语义上下文聚合结果，对形状几何先验敏感的半监督对抗学习：使用评估网络通过半监督对抗学习的方式对无标签数据的潜在有用信息进行挖掘，以激励分割网络输出精确的分割结果。2.如权利要求1所述的一种形状先验缺失的图像半监督分割方法，其特征是，获得候选区域时，通过调整区域推荐网络的原始编码坐标，以构造对面积敏感的区域推荐网络来生成候选区域。3.如权利要求2所述的一种形状先验缺失的图像半监督分割方法，其特征是，调整区域推荐网络的原始编码坐标时，基于动态调整参数、边界框的宽度和高度来对输入分割目标的面积进行调整。4.如权利要求1所述的一种形状先验缺失的图像半监督分割方法，其特征是，分割网络通过引入图像空间分辨率的比例调节因子修正注意力机制的计算流程。5.如权利要求1所述的一种形状先验缺失的图像半监督分割方法，其特征是，分割网络中，针对候选区域，基于希尔伯特空间填充曲线获得一维序列化后的图像块，利用一组LSTM模块对其进行建模以捕获有利于边界分割的短距离依赖。6.如权利要求1所述的一种形状先验缺失的图像半监督分割方法，其特征是，基于有标签数据的分割约束和形状约束SDM，使AN通过半监督对抗学习的方式对无标签数据的潜在有用信息进行挖掘。7.如权利要求1所述的一种形状先验缺失的图像半监督分割方法，其特征是，对形状几何先验...

【专利技术属性】
技术研发人员：宁阳，聂秀山，袭肖明，郭杰，尹义龙，张彩明，
申请(专利权)人：山东建筑大学，
类型：发明
国别省市：