一种水下图像实例分割方法、系统、存储介质及电子设备技术方案

本发明专利技术属于图像分割技术领域，提供了水下图像实例分割方法、系统、存储介质及电子设备。其中，图像分割方法包括提取水下图像的多层次特征；基于差分相似图注意机制对最高分辨率的全局细粒度特征图进行重构，得到重构全局细粒度特征图；从重构全局细粒度特征图中对感兴趣区域进行下采样，并与局部粗粒度特征图进行融合，得到前景特征和边界特征；分别提取前景特征和边界特征的深层次特征，对应生成第一实例掩码和第二实例掩码；对第一实例掩码执行两倍上采样操作，并将操作结果中的边界部分替换为第二实例掩码的相应部分，得到最终的输出实例掩码；利用掩码总损失函数对输出实例掩码进行优化，得到水下图像实例分割结果。得到水下图像实例分割结果。得到水下图像实例分割结果。

【技术实现步骤摘要】
一种水下图像实例分割方法、系统、存储介质及电子设备


[0001]本专利技术属于图像分割
，尤其涉及一种水下图像实例分割方法、系统、存储介质及电子设备。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]在海洋勘探和保护领域，水下图像分析技术具有越来越重要的作用，水下图像实例分割是水下图像分析和理解的基础和关键步骤。
[0004]目前缺少专门针对水下图像实例分割任务的数据集，现有的注释数据与特定对象的实例分割应用有关，或仅适用于特定任务(如对象检测、语义分割等)，这些数据集均不适用于水下图像的多类实例分割任务。而且由于波长和距离相关的衰减和散射，水下图像的质量下降是不可避免的。此外，海洋中浮游生物和其他生物所形成的海雪也可能引起不同程度的噪声，这严重影响了成像质量，使得现有的自然图像实例分割算法无法直应用于质量退化的水下图像，从而降低了水下图像中的目标识别精度。

技术实现思路

[0005]为了解决上述
技术介绍
中存在的技术问题，本专利技术提供一种水下图像实例分割方法、系统、存储介质及电子设备，其能够准确对水下图像进行实例分割，最终提高水下图像中的目标识别精度。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]本专利技术的第一个方面提供一种水下图像实例分割方法。
[0008]一种水下图像实例分割方法，其包括：
[0009]提取水下图像的多层次特征，得到全局细粒度特征图和局部粗粒度特征图；
[0010]基于差分相似图注意机制对最高分辨率的全局细粒度特征图进行重构，得到重构全局细粒度特征图；
[0011]从重构全局细粒度特征图中对感兴趣区域进行下采样，并与局部粗粒度特征图进行融合，得到前景特征和边界特征；
[0012]分别提取前景特征和边界特征的深层次特征，对应生成第一实例掩码和第二实例掩码；对第一实例掩码执行两倍上采样操作，并将两倍上采样操作结果中的边界部分替换为第二实例掩码的相应部分，得到最终的输出实例掩码；
[0013]利用掩码总损失函数对输出实例掩码进行优化，得到水下图像实例分割结果；其中，掩码总损失函数包含边界区域权值损失函数。
[0014]本专利技术的第二个方面提供一种水下图像实例分割系统。
[0015]一种水下图像实例分割系统，其包括：
[0016]多层次特征提取模块，其用于提取水下图像的多层次特征，得到全局细粒度特征
图和局部粗粒度特征图；
[0017]差分相似图注意模块，其用于基于差分相似图注意机制对最高分辨率的全局细粒度特征图进行重构，得到重构全局细粒度特征图；
[0018]多层特征细化模块，其用于从重构全局细粒度特征图中对感兴趣区域进行下采样，并与局部粗粒度特征图进行融合，得到前景特征和边界特征；
[0019]实例掩码输出模块，其用于分别提取前景特征和边界特征的深层次特征，对应生成第一实例掩码和第二实例掩码；对第一实例掩码执行两倍上采样操作，并将两倍上采样操作结果中的边界部分替换为第二实例掩码的相应部分，得到最终的输出实例掩码；
[0020]实例掩码优化模块，其用于利用掩码总损失函数对输出实例掩码进行优化，得到水下图像实例分割结果；其中，掩码总损失函数包含边界区域权值损失函数。
[0021]本专利技术的第三个方面提供一种计算机可读存储介质。
[0022]一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的水下图像实例分割方法中的步骤。
[0023]本专利技术的第四个方面提供一种计算机设备。
[0024]一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的水下图像实例分割方法中的步骤。
[0025]与现有技术相比，本专利技术的有益效果是：
[0026]本专利技术基于差分相似图注意机制对最高分辨率的全局细粒度特征图进行重构可以通过收集尽可能多的退化细节来帮助模型进行更好的推断，以补偿由于质量退化和下采样操作而造成的信息损失。
[0027]本专利技术通过使用多层特征细化将重建的全局细粒度特征融合到局部掩膜预测中作为补充细节可以提高掩膜预测的质量，同时增加了模型感知域；利用掩码总损失函数对输出实例掩码进行优化，引导网络更加关注边界部分的分割，为边界区域分配更多的权重，从而迫使网络更加关注边界像素内的分类，做出更准确的预测。
[0028]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0029]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0030]图1是本专利技术实施例的水下图像实例分割方法流程图；
[0031]图2是本专利技术实施例的差分相似图注意模块示意图；
[0032]图3是本专利技术实施例的多层特征细化模块示意图；
[0033]图4是本专利技术实施例的对比效果图。
具体实施方式
[0034]下面结合附图与实施例对本专利技术作进一步说明。
[0035]应该指出，以下详细说明都是例示性的，旨在对本专利技术提供进一步的说明。除非另
有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0036]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0037]实施例一
[0038]本实施例还制作通用的水下图像实例分割的数据集UIIS。首先收集了来自各个领域的约25000张图像，用于水下图像增强、语义分割和对象检测等。这些图像包括不同的自然水下场景，适用于海洋勘探、海洋生态维护和人机智能协作应用等各个领域。之后，获得了大约5000张通过水下彩色图像质量评估(UCIQE)和水下图像质量测量指标过滤的图像并对它们进行了详细的注释。通过具有基本数据集注释经验和海洋生物学基础知识的志愿者对数据集进行注释。采用稀疏注释的多边形来注释图像中的每个实例，得到的注释数据将作为主流的COCO样式格式存储，以便于大多数通用框架和模型使用该数据集。每个图像都由至少三名志愿者进行注释，然后由另一个人进行评估，以选择最佳注释并对其进行细化。为了对植物/珊瑚礁、脊椎动物/无脊椎动物等潜在的混淆物体进行分类，遵循了Marine Species Identification Portal和The Ocean Animal Encyclopedia中的指导，还过滤掉了无法达成共识或无法精细标记的图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种水下图像实例分割方法，其特征在于，包括：提取水下图像的多层次特征，得到全局细粒度特征图和局部粗粒度特征图；基于差分相似图注意机制对最高分辨率的全局细粒度特征图进行重构，得到重构全局细粒度特征图；从重构全局细粒度特征图中对感兴趣区域进行下采样，并与局部粗粒度特征图进行融合，得到前景特征和边界特征；分别提取前景特征和边界特征的深层次特征，对应生成第一实例掩码和第二实例掩码；对第一实例掩码执行两倍上采样操作，并将两倍上采样操作结果中的边界部分替换为第二实例掩码的相应部分，得到最终的输出实例掩码；利用掩码总损失函数对输出实例掩码进行优化，得到水下图像实例分割结果；其中，掩码总损失函数包含边界区域权值损失函数。2.如权利要求1所述的水下图像实例分割方法，其特征在于，基于差分相似图注意机制对最高分辨率的全局细粒度特征图进行重构的过程包括：将最高分辨率的全局细粒度特征图作为输入特征图并进行特征提取，得到中间特征图；将中间特征图的每个像素视为一个图节点,每两个节点之间的边由节点间的欧几里得距离确定，通过边进行信息聚合，更新每个图节点的特征；对更新后的中间特征图进行重塑和反卷积操作进行上采样，得到输入图像的残差信息流并与输入特征相加，最终得到重构全局细粒度特征图。3.如权利要求2所述的水下图像实例分割方法，其特征在于，更新后的中间特征图的图节点与中间特征图的图节点维度相同。4.如权利要求1所述的水下图像实例分割方法，其特征在于，得到前景特征和边界特征的过程包括：对全局细粒度特征图和局部粗粒度特征图分别进行卷积操作，生成初始实例特征；利用全局细粒度特征图，使用多层特征细化步骤迭代细化初始实例特征；在每个迭代阶段，从重构全局细粒度特征图中提取相应大小的局部细粒度特征，利用局部细粒度特征来细化上一阶段的特征，对细化得到的特征执行1
×
1卷积和两倍上采样运算，以生成对应阶段的输出特征；执行多层特征细化步骤两次，分别输出两个不同分辨率的特征，即为前景特征和边界特征，分别用于实例的前景预测和边界预测。5.如权利要求1所述的水下图像实例分割方法，其特征在于，在生成第一实例掩码和第二实例掩码的过程中，使用拉普拉斯算子从二进制掩码生成边界。6.如权利要求1所述的水下图像实例分割方法，其特征在于，掩码总损失函数为边界区域权值损失函数与二元交叉熵损失函数之和；或采用主干网络结合特征金字塔网络对水下图像进行多层次特征提取。7.一种水下图像实例分割系统，其特征在于，包括：多层次特征提取模块，其用于提取水下图像的多层次特征，得到全局细粒度特征图和局部粗粒度特征图；
差分相似图注意模块，其用于基于差分相似图注意机制对最...

【专利技术属性】
技术研发人员：李华，连仕杰，王楚虹，黄梓峰，李苏琪，李广飞，
申请(专利权)人：海南大学，
类型：发明
国别省市：