【技术实现步骤摘要】
本专利技术属于基于计算机视觉的无人机图像识别分割，尤其涉及一种用于无人机场景的无监督图像分割模型及分割方法。
技术介绍
1、目标定位任务旨在分割出图片中的前景物体，这在自动驾驶、安防监控等视觉感知系统中都发挥着重要作用。实现高精度的分割结果通常需要在大规模精心标注的数据集上进行全监督的训练，然而，标注大规模数据集需要极高的人力和时间成本。在这种情况下，研究人员开始关注如何减少对数据集标注依赖的方法，如半监督、弱监督和无监督学习等。在无人机场景中，无监督图像分割和目标定位的需求尤为迫切。无人机常用于监控、勘测、搜索和救援等任务中，无人机拍摄的图像具有分辨率高、视野广的特点，然而，这也增加了数据标注的难度和复杂性。传统全监督方法在这种情况下的局限性尤为突出。因此，研究一种无需依赖大量标注数据的无监督图像分割模型及方法，对于提升无人机图像处理的效率和准确性具有重要意义。
2、早先的方法主要是通过手工制作的方法或者是数据集级别的图像搜索,这些方法在计算上很难扩展到大规模数据集。近年来，随着自监督视觉特征学习模型的提出，比如dino(自监督视觉转换器中的新兴特性，emerging properties in self-supervisedvision transformers)能够在未标记数据上学习到物体的特征表示，极大的促进了无监督目标定位的发展。lost(不依赖标注借助自监督变换器实现目标定位，localizing objectswith self-supervised transformers and no labels
3、上述提及的这些当前业界最好的无监督目标定位模型主要依赖于通过自监督模型提取的特征图以及像素级别的相似性，但是缺少了图像级别的的信息监督。这种局限性导致模型难以取得高质量的掩码结果。这些无监督模型对于物体的定位不够精确，分割物体完整度欠缺，边界定位不够清晰，同时还存在大量的错误像素分割结果，导致最终目标定位精度较低。
4、与此同时通用分割模型sam(分割一切模型,segment anything model)展示了强大的对象理解能力，根据特定提示(如点或框)提供细粒度的对象分割结果。然而，在没有监督性提示的情况下，sam会为一张图片生成一组分割结果，而不是专注于显著对象，这一特性限制了其在无监督对象定位任务中的适用性。
技术实现思路
1、针对上述问题，本专利技术了第一方面提供了一种用于无人机场景的无监督图像分割模型，包括自注意力特征提取模块、线性分割头、自提示生成器、sam分割模块和图像级别融合模块；
2、所述自注意力特征提取模块用于提取原始无人机图像的关键特征，获取自注意力图，分别发送到线性分割头和自提示生成器；
3、所述线性分割头使用一个轻量级分割头提取粗糙的掩码，生成粗糙掩码；
4、所述自提示生成器从注意力图中提取到前景目标的粗糙轮廓，对轮廓取外接矩形，从而得到了针对无人机图像前景目标的框提示；基于原始无人机图像大小设计网格采样，取每个网格的中心点，则得到了无人机图像的点提示；
5、所述sam分割模块包括图像编码器、提示编码器和掩码解码器；原始无人机图像经过图像编码器编码，提示通过提示编码器进行编码，最终通过掩码解码器得到最终两种细粒度不同的分割图，分别是基于点提示的数量多、精细程度高但不聚焦前景对象的细粒度点提示掩码和基于框提示精细程度不足但聚焦于前景对象的框提示掩码；
6、所述图像级别融合模块通过框提示掩码对点提示掩码进行筛选，通过计算交并比过滤掉不包含前景对象的分割结果；然后将过滤后的结果与提取到的粗糙掩码进行融合输出，得到最终高质量的分割图。
7、优选的，所述自注意力特征提取模块使用冻结参数的dino模型，在vit的基础上通过自监督训练得到骨干网络模型，dino模型的视觉编码器由多层编码器组成，每个编码器都有前馈网络和用于注意力的多头注意力机制，从dino最后一层提取自注意力特征图，从而获取自注意力图。
8、优选的，所述使用一个轻量级分割头提取粗糙的掩码具体为：
9、通过计算区块之间的相似度，识别自注意力深度图中关注度最低的区块，把这个区块作为背景种子，然后基于背景种子借助标准化切割方法，提取前景目标，对前景目标采用图像处理边缘平滑算法，与处理之前的图像计算损失，从而训练一个轻量级的卷积头，实现粗糙特征提取，生成粗糙掩码。
10、优选的，所述sam分割模块中，自提示生成器获得的单个边界框被输入到sam的提示编码器中，原始图像输入到sam图像编码器中，根据边界框获得图像分割结果，定义为边界框掩码mb；另外，基于图像大小生成一个点提示网格，输入到sam中，并过滤掉低质量和重复的掩码，这个过程产生了整体图像分割，定义为点掩码mp。
11、优选的，所述自提示生成器在获得自注意力图基础上，从最后一层自注意力中提取key特征，根据图像块大小构建缩放因子，提取分类标记的特征cls，并标准化剩余特征。根据阈值(设置为1e-5)修改相似度矩阵，然后，需要计算每个节点的度，并构建对角度矩阵d，求解广义特征系统(d-a)y＝λdy，获取与第二小特征值相关的特征向量，通过特征向量的平均值计算图的二分法，得到前景和背景分区，使用最大绝对值选择前景分区，并找到种子点，根据种子点选取连通分量，并根据连通分量的掩码mask提取对象的最小边界框，最后，按照缩放比例将边界框重新缩放到原始图像的大小尺本文档来自技高网...
【技术保护点】
1.一种用于无人机场景的无监督图像分割模型，其特征在于：包括自注意力特征提取模块、线性分割头、自提示生成器、SAM分割模块和图像级别融合模块；
2.如权利要求1所述的一种用于无人机场景的无监督图像分割模型，其特征在于：
3.如权利要求1所述的一种用于无人机场景的无监督图像分割模型，其特征在于：所述使用一个轻量级分割头提取粗糙的掩码具体为：
4.如权利要求1所述的一种用于无人机场景的无监督图像分割模型，其特征在于：
5.如权利要求1所述的一种用于无人机场景的无监督图像分割模型，其特征在于：所述自提示生成器在获得自注意力图基础上，从最后一层自注意力中提取key特征，根据图像块大小构建缩放因子，提取分类标记的特征CLS，并标准化剩余特征。根据阈值(设置为1e-5)修改相似度矩阵，然后，需要计算每个节点的度，并构建对角度矩阵D，求解广义特征系统(D-A)y＝λDy，获取与第二小特征值相关的特征向量，通过特征向量的平均值计算图的二分法，得到前景和背景分区，使用最大绝对值选择前景分区，并找到种子点，根据种子点选取连通分量，并根据连通分量的掩码m
6.如权利要求1所述的一种用于无人机场景的无监督图像分割模型，其特征在于：所述图像级别融合模块接受两个输入，分别是借助线性分割头分割得到的粗糙掩码，以及SAM分割模块得到的基于框的单个掩码Mb和基于点提示的掩码集合S；
7.一种用于无人机场景的无监督图像分割方法，其特征在于，包括以下过程：
8.一种用于无人机场景的无监督图像分割设备，其特征在于：所述设备包括至少一个处理器和至少一个存储器，所述处理器和存储器相耦合；所述存储器中存储有如权利要求1至6任意一项所述的无人机场景的无监督图像分割模型的计算机执行程序；所述处理器执行存储器中存储的计算机执行程序时，使处理器执行一种用于无人机场景的无监督图像分割方法。
9.一种计算机可读存储介质，所述计算机可读存储介质中存储有如权利要求1至6任意一项所述的无人机场景的无监督图像分割模型的计算机程序或指令，所述程序或指令被处理器执行时，使处理器执行一种用于无人机场景的无监督图像分割方法。
...【技术特征摘要】
1.一种用于无人机场景的无监督图像分割模型，其特征在于：包括自注意力特征提取模块、线性分割头、自提示生成器、sam分割模块和图像级别融合模块；
2.如权利要求1所述的一种用于无人机场景的无监督图像分割模型，其特征在于：
3.如权利要求1所述的一种用于无人机场景的无监督图像分割模型，其特征在于：所述使用一个轻量级分割头提取粗糙的掩码具体为：
4.如权利要求1所述的一种用于无人机场景的无监督图像分割模型，其特征在于：
5.如权利要求1所述的一种用于无人机场景的无监督图像分割模型，其特征在于：所述自提示生成器在获得自注意力图基础上，从最后一层自注意力中提取key特征，根据图像块大小构建缩放因子，提取分类标记的特征cls，并标准化剩余特征。根据阈值(设置为1e-5)修改相似度矩阵，然后，需要计算每个节点的度，并构建对角度矩阵d，求解广义特征系统(d-a)y＝λdy，获取与第二小特征值相关的特征向量，通过特征向量的平均值计算图的二分法，得到前景和背景分区，使用最大绝对值选择前景分区，并找到种子点，根据种子点选取连通分量，并根据连通分量的掩...
【专利技术属性】
技术研发人员：魏玲，胥志伟，王胜科，赵天旭，杨晓刚，刘振，孙杰洪，李嘉宁，丁来辉，
申请(专利权)人：山东巍然智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。