【技术实现步骤摘要】
本专利技术属于遥感图像处理，特别是一种基于sam大模型微调的遥感图像高质量自动实例分割方法。
技术介绍
1、遥感图像实例分割是指在从遥感图像中精确地分离出各个独立的对象，并为每个对象分配一个唯一的标签，同时允许自动化处理大量遥感数据，减少人工标注和分析的工作量，从而可以精确测量地物的面积、边界和形状等属性。其高效的自动化处理模式对于土地利用、资源管理等需要高精度测量的应用非常有价值。
2、早期和传统的遥感图像实例分割方法主要依赖于经典的图像处理和计算机视觉技术。这些方法在处理复杂场景和高分辨率图像方面存在一定局限性。而深度学习方法的兴起，极大地推动了遥感图像分割的发展。通过自动学习和特征提取，诸如cnn、transformer、gan等方法显著提高了分割的精度和效率。然而，深度学习方法通常依赖于大量标记数据，这在遥感图像数据中往往伴随巨量的人工成本。为此，半监督、弱监督和自监督学习等方法应运而生，旨在降低标注成本，提升模型在少量标记数据场景下的表现。
3、近年来在视觉领域，大模型的发展显著推动了自监督学习的进步。通过设计预训练任务，模型可以在无标记数据上学习有用的特征，然后在下游任务上进行微调，体现了大模型强大的零样本泛化性能。其中，发展自transformer架构的视觉模型visiontransformer(vit)在多个视觉任务如图像分类、分割、检测等中表现出色，尤其在大规模数据集上的性能优异。基于此架构提出的一个基础模型，segment anything model(sam)实现了在包含超过10亿个
4、具体来说，对于问题(1)，分割一切大模型sam的交互式框架需要预先的人工提示，如点、框、粗糙掩码或文本提示，这导致在分割遥感图像对象方面的性能在很大程度上取决于提示的类型、位置和数量。而遥感图像场景中复杂的背景干扰和缺乏定义明确的对象边缘对模型的分割效果都有干扰，且人工的精准提示往往伴随巨大的工作量，这些限制不适合于遥感图像的全自动理解。对于问题(2)，分割一切大模型sam虽然根据提示可以为任意图像生成多个准确合理的掩码，但在分割细小或复杂形状的细粒度对象时，sam通常会忽略对象结构，可能会产生模糊或破碎的分割掩码，这种局限性在遥感图像上会更加明显。对于问题(3)，分割一切大模型sam的基础图像数据来自不同国家地区的自然图像，且掩码注释通过数据引擎半自动生成，虽然这张掩码具有高质量且多样性的特点，但遥感图像往往包含多光谱或超光谱信息，且空间分辨率多样，从亚米级到数十米级不等，同时包含了大量的地理信息，这些特征通常具有空间连续性和区域一致性，使得基础大模型在遥感图像数据上缺乏特殊领域知识，导致性能严重下降。而现有的完全微调方法，特别是针对遥感数据在基础模型上进行完全微调会带来昂贵的计算成本，并且难以具备原模型的可移植性和可迁移性。
技术实现思路
1、本专利技术的目的在于提供一种基于sam大模型微调的遥感图像高质量自动实例分割方法。
2、实现本专利技术目的的技术解决方案为：一种基于sam大模型微调的遥感图像高质量自动实例分割方法，包括如下步骤：
3、第一步，遥感掩码标注图像数据集的构建；
4、第二步，将适配器模块整合到现有层中，在保持原始模型权重不变的同时，训练线性分类头和适配器参数；
5、第三步，设计重要性评分函数，自动估计适配器的最佳隐藏维数来实现有效的参数分配；
6、第四步，提取并融合微调模型不同阶段的特征，组成新的全局多尺度特征；
7、第五步，利用区域提议网络得到目标区域建议，通过roi池化将候选区域映射到固定大小的特征图，并通过分类头和定位头进行目标分类和边界框回归；
8、第六步，利用位置提示和微调图像特征输入掩码编码器得到微调掩码特征以及输出令牌；
9、第七步，对全局特征和微调掩码特征进行空间逐点乘积，生成高质量掩码特征，经过多层感知机得到输出掩码；
10、第八步，针对适配器模块和区域建议网络使用加权损失函数训练更新网络。
11、一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
12、本专利技术与现有技术相比，其显著特点在于：(1)本专利技术创新地采用了一种小型可变尺度的适配器模块，根据重要性评分函数提高了适配器的微调性能；(2)利用自主构建的遥感实例分割标注数据集，使得基础模型具备相关领域的先验知识；(3)通过区域提议网络和roi池化对分类头和定位头进行目标分类和边界框回归，使得模型可以自动获取目标提示；(4)通过聚合全局特征和掩码特征，从而进一步改善分割掩码质量。
13、下面结合附图对本专利技术作进一步详细描述。
本文档来自技高网...【技术保护点】
1.一种基于SAM大模型微调的遥感图像高质量自动实例分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于SAM大模型微调的遥感图像高质量自动实例分割方法，其特征在于，第一步，遥感掩码标注图像数据集的构建，根据数据集coco标准在NWPUVHR-10数据集、SSDD数据集和INRIA aerial image数据集上标记，得到界框和实例掩码的手动注释。
3.根据权利要求1所述的一种基于SAM大模型微调的遥感图像高质量自动实例分割方法，其特征在于，第二步，将适配器模块整合到现有层中，训练线性分类头和适配器参数，即在ViT架构的多头自注意层和全连接层的每一个子层之前应用层归一化，使用残差连接跳过多头自注意力，并在每个子层之后引入两个适配器，设大小为mi的输入通过第一个全连接层，向下投影到一个维度为Ni的向量并经过一个非线性激活函数，该层由线性投影矩阵进行参数化，其中为线性投影矩阵，维度为Mi×Ni，然后经过第二个全连接层对zi进行上采样，得到输出其中ri为上采样后的输出向量，该层由线性投影矩阵进行参数化，最后在适配器模块进行残差连接，得到适配器
4.根据权利要求3所述的一种基于SAM大模型微调的遥感图像高质量自动实例分割方法，其特征在于，第三步，设计重要性评分函数，根据Widown中相应行的L1范数和Wiup中相应行的L1范数之和，得到以下的重要性评分函数：
5.根据权利要求4所述的一种基于SAM大模型微调的遥感图像高质量自动实例分割方法，其特征在于，第四步，提取并融合微调模型不同阶段的特征，特征聚合迭代过程定义如下：
6.根据权利要求5所述的一种基于SAM大模型微调的遥感图像高质量自动实例分割方法，其特征在于，第五步，利用区域提议网络RPN得到目标区域建议，通过RoI池化将候选区域映射到固定大小的特征图，并通过分类头和定位头进行目标分类和边界框回归；首先对微调编码器得到的图像特征进行卷积下采样，得到多尺度特征图：
7.根据权利要求6所述的一种基于SAM大模型微调的遥感图像高质量自动实例分割方法，其特征在于，第六步，利用位置提示和微调图像特征输入掩码编码器得到微调掩码特征以及输出令牌，即首先对可学习的输出令牌进行初始化，并将其插入到位置提示嵌入中；该输出令牌由两部分组成：
8.根据权利要求7所述的一种基于SAM大模型微调的遥感图像高质量自动实例分割方法，其特征在于，第七步，对全局融合特征和微调掩码特征进行空间逐点乘积，生成高质量掩码特征，即先将全局融合特征通过转置卷积进行上采样：
9.根据权利要求8所述的一种基于SAM大模型微调的遥感图像高质量自动实例分割方法，其特征在于，第八步，针对适配器模块和区域建议网络使用加权损失函数训练更新网络，即计算RPN内的对象性损失和定位损失、语义头的分类损失、与定位头相关的回归损失以及SAM解码器的分割损失：
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～9中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种基于sam大模型微调的遥感图像高质量自动实例分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于sam大模型微调的遥感图像高质量自动实例分割方法，其特征在于，第一步，遥感掩码标注图像数据集的构建，根据数据集coco标准在nwpuvhr-10数据集、ssdd数据集和inria aerial image数据集上标记，得到界框和实例掩码的手动注释。
3.根据权利要求1所述的一种基于sam大模型微调的遥感图像高质量自动实例分割方法，其特征在于，第二步，将适配器模块整合到现有层中，训练线性分类头和适配器参数，即在vit架构的多头自注意层和全连接层的每一个子层之前应用层归一化，使用残差连接跳过多头自注意力，并在每个子层之后引入两个适配器，设大小为mi的输入通过第一个全连接层，向下投影到一个维度为ni的向量并经过一个非线性激活函数，该层由线性投影矩阵进行参数化，其中为线性投影矩阵，维度为mi×ni，然后经过第二个全连接层对zi进行上采样，得到输出其中ri为上采样后的输出向量，该层由线性投影矩阵进行参数化，最后在适配器模块进行残差连接，得到适配器结果将直接应用于相应子层的输出：
4.根据权利要求3所述的一种基于sam大模型微调的遥感图像高质量自动实例分割方法，其特征在于，第三步，设计重要性评分函数，根据widown中相应行的l1范数和wiup中相应行的l1范数之和，得到以下的重要性评分函数：
5.根据权利要求4所述的一种基于sam大模型微调的遥感图像高质量自动实例分割方法，其特...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。