【技术实现步骤摘要】
本专利技术属于图像处理，特别涉及一种边界增强的弱监督海洋遥感图像语义分割方法及系统。
技术介绍
1、海洋遥感技术在海洋环境监测中起着关键作用，为灾害预报、资源勘探、海洋保护等提供了重要手段。语义分割是处理海洋遥感图像的核心技术，语义分割的目标是对输入图像进行逐像素预测实现区域分割，进而识别该类别的语义信息为分割结果叠加高层语义信息。这提供了解析海洋环境的有效工具，有助于深入理解海洋结构、特征以及生态系统的动态变化。
2、语义分割主要包括两个重要步骤：其一，对输入图像通过模型挖掘特征（编码区）；其二，基于提取到的特征逐像素预测类别进行分割（解码区）。前沿的语义分割模型基于fcn通过多尺度、图卷积进行特征挖掘，或利用transformer将遥感图像切割成小图像块减小模型计算量，并通过注意力机制等捕捉上下文信息，建模目标对象之间的关系。但是，这些方法存在以下问题：
3、第一，海洋遥感图像元素多样，全监督模型标注成本高。随着海洋遥感图像数据规模不断扩大，传统全监督方法在像素级标签上的昂贵标注过程成为制约语义分割发展的瓶颈。特别是以cnn和transformer为核心的像素级全监督方法在标签需求上无法满足实际大规模应用的可行性。现如今所面临的首要问题是如何在半监督框架下解决海洋遥感图像的语义分割任务。
4、第二，基于transformer的弱监督语义分割模型存在特征过于平滑的问题，导致边界信息误判。在弱监督语义分割方法中，采用了transformer作为核心结构，由于transformer的自注意力机制
技术实现思路
1、针对现有技术存在的不足，本专利技术提供一种边界增强的弱监督海洋遥感图像语义分割方法及系统，本方法也是基于transformer结构，使用segmenter作为backbone，但在此基础上，引入了一个新的伪标签生成过程，通过制作伪标签来实现半监督学习。本方法在保留了全局上下文信息的同时，通过聚类token对比模块和随机不确定区域对比模块，解决了过度平滑和伪标签质量不佳的问题。具体而言，聚类token对比模块利用中间层特征和图像级标签，对确定区域进行聚类并生成聚类关系图，从而生成高质量的伪标签。而随机不确定区域对比模块则进一步提高了表示一致性，减少了不确定区域的数量，从而提高了伪标签的质量和准确性。因此，相较于传统的全监督方法，本专利技术的半监督方法不仅能够有效降低标注成本，还能够提高模型的泛化能力和分割性能，为海洋遥感图像语义分割任务带来了新的解决方案。
2、为了解决上述技术问题，本专利技术采用的技术方案是：
3、一种边界增强的弱监督海洋遥感图像语义分割方法，包括以下步骤：
4、步骤s1、图像特征提取：对于输入的全局图像，通过vit模型提取最终层特征和中间层特征；
5、步骤s2、聚类词元对比：用中间层特征指导用以产生伪标签的最终层特征，具体来说：使用中间层特征，利用双阈值把词元划分为确定性区域和不确定区域，随后在只标注类别信息的标签指导下对确定区域进行聚类，聚类完成后生成聚类关系图，使用聚类关系图指导最终层输出特征，生成伪标签；
6、步骤s3、随机不确定区域对比：
7、在中间层随机不确定区域选取单元中随机选取两个中间层输出特征的不确定词元，在聚类中心替换不确定性区域单元中，通过对比选出与两个中间层输出特征的不确定词元距离最近的聚类中心进行替换，用替换的聚类中心监督最终层对应的不确定区域；
8、步骤s4、生成伪标签：用类激活图方法将最终层输出特征制作成伪标签，以作为在segmenter中进行分割任务的监督标签。
9、进一步的，步骤1具体是：通过vit模型将输入图像分为尺度为的图像块，得到n个相同大小的图像块，其中h、w、c分别为图像的高度、宽度和通道数，并将所有的图像块映射为一个线性映射嵌入序列，表示为：，将嵌入序列e输入vit模型的transformer模块迭代，其中是图像嵌入，是图像的位置嵌入。
10、进一步的，将嵌入序列e输入到transformer模块得到中间层特征和最终层特征，，n为图像块数量，d为图像块转为词元的维度，其中transformer模块包括一个多头自注意力msa模块、以及一个多层感知机mlp，每个块之前应用层规范ln，每个块之后进行残差连接，其中多头自注意力msa模块是由多个自注意力机制组成，自注意力机制的输入包括三个向量，如公式(1)所示：
11、 (1)；
12、其中，、、是可学习的参数，e是嵌入序列；
13、自注意力机制由三个向量q、k、v之间的计算组成，计算如下：
14、 (2)；
15、其中为向量k的维度；
16、设共有l层transformer模块，将第层多头注意力机制的输出送入多层感知机mlp，并在每个块之前应用层规范ln，之后进行残差连接，循环多次即可得到编码区中间层特征和最终层特征，计算公式如下：
17、 (3)；
18、 (4)；
19、其中表示层多头自注意力msa模块的输出特征，表示层transformer模块的输入特征，表示层多层感知机mlp的输出特征或者层transformer模块的输入特征。
20、进一步的，步骤s2中具体步骤如下：
21、中间层聚类关系图制作：在取得中间层特征后，按照第二个维度对进行加和操作，得到，n为图像块或者词元数量；然后，使用两个背景阈值、将划分到确定区域和不确定区域组成的特征，中确定区域用1表示，不确定区域用99表示，其中；因受到只标注类别信息的标签的弱监督，所以能够得知原输入图像的类别数量num，以此对与相应的中的确定区域进行聚类操作，将中的确定性区域划分成num个类别，将中对应的确定区域位置设置为类别对应的数字，即用0,1,2，...，num-1具体的类别码替换表示确定区域的数字码1,即得到，在此基础上制作相互成对关系的聚类关系图：如果两个标记共享相同的语义标签，它们被标记为正对；否则，它们被标记为负对；
22、聚类关系图指导最终层输出特征：聚类关系图r监督最终层输出特征f；最终层特征f由num个词元组成，两两词元对比，只考虑两个同时属于聚类关系图r中确定性区域的词元，忽略不确定区域；如果语义标签相同，即在聚类关系图r中标记为正对，则最大化两个最终层图像块词元的相似性，否则最小化相似性；最后一层的图像块词元作为最终层输出特征，则步骤2中使用的损失函数构造为：
23、(5)；
24、其中代表余弦相似度，和分别代表正数对和负数对的数量；表示对本文档来自技高网...
【技术保护点】
1.一种边界增强的弱监督海洋遥感图像语义分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种边界增强的弱监督海洋遥感图像语义分割方法，其特征在于，步骤1具体是：通过ViT模型将输入图像分为尺度为的图像块，得到N个相同大小的图像块，其中H、W、C分别为图像的高度、宽度和通道数，并将所有的图像块映射为一个线性映射嵌入序列，表示为：，将嵌入序列E输入ViT模型的Transformer模块迭代，其中是图像嵌入，是图像的位置嵌入。
3.根据权利要求2所述的一种边界增强的弱监督海洋遥感图像语义分割方法，其特征在于，将嵌入序列E输入到Transformer模块得到中间层特征和最终层特征，，N为图像块数量，d为图像块转为词元的维度，其中Transformer模块包括一个多头自注意力MSA模块、以及一个多层感知机MLP，每个块之前应用层规范LN，每个块之后进行残差连接，其中多头自注意力MSA模块是由多个自注意力机制组成，自注意力机制的输入包括三个向量，如公式(1)所示：
4.根据权利要求1所述的一种边界增强的弱监督海洋遥感图像语义分割方法，其特征在
5.根据权利要求4所述的一种边界增强的弱监督海洋遥感图像语义分割方法，其特征在于，步骤S3中，输入同样取自中间层的特征，在标示了不确定性区域与确定性区域的的指导下，在中间层随机不确定区域选取单元中随机选取中间层特征的两个属于不确定区域的词元，如不确定区域1和不确定区域2；接下来，在聚类中心替换不确定性区域单元中分别计算出这两个随机不确定区域与步骤S2聚类操作中产生的num个聚类中心的欧式距离，k=1,2，公式如下：
6.根据权利要求4所述的一种边界增强的弱监督海洋遥感图像语义分割方法，其特征在于，步骤S3中用到的损失函数为MSE函数，如下：
7.一种边界增强的弱监督海洋遥感图像语义分割系统，其特征在于，用于实现如权利要求1-6任一项所述的边界增强的弱监督海洋遥感图像语义分割方法，包括图像特征提取模块、聚类词元对比模块、随机不确定区域对比模块、伪标签生成模块；
...【技术特征摘要】
1.一种边界增强的弱监督海洋遥感图像语义分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种边界增强的弱监督海洋遥感图像语义分割方法，其特征在于，步骤1具体是：通过vit模型将输入图像分为尺度为的图像块，得到n个相同大小的图像块，其中h、w、c分别为图像的高度、宽度和通道数，并将所有的图像块映射为一个线性映射嵌入序列，表示为：，将嵌入序列e输入vit模型的transformer模块迭代，其中是图像嵌入，是图像的位置嵌入。
3.根据权利要求2所述的一种边界增强的弱监督海洋遥感图像语义分割方法，其特征在于，将嵌入序列e输入到transformer模块得到中间层特征和最终层特征，，n为图像块数量，d为图像块转为词元的维度，其中transformer模块包括一个多头自注意力msa模块、以及一个多层感知机mlp，每个块之前应用层规范ln，每个块之后进行残差连接，其中多头自注意力msa模块是由多个自注意力机制组成，自注意力机制的输入包括三个向量，如公式(1)所示：
【专利技术属性】
技术研发人员：梁馨月，江毅，郑程予，聂婕，叶敏，高艳丽，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。