【技术实现步骤摘要】
本专利技术属于遥感图像应用，涉及一种视觉提示引导的遥感影像相似目标检测方法，具体涉及一种从遥感图像中自动生成与视觉提示语义上类别相同的所有目标的位置的方法。
技术介绍
1、遥感图像的目标检测是遥感领域的一个重要应用，主要任务是对遥感图像中的感兴趣的目标进行自动化检测，如建筑物、道路、水体等，为地理信息系统、城市规划、环境监测等领域提供重要的数据支撑及应用基础，具有意义。
2、随着人工智能和硬件相关技术的快速发展，以fasterr-cnn网络为代表的深度学习技术在目标检测领域取得了巨大成功。fasterr-cnn采用rpn网络来提取候选框，然后基于特征提取网络对这些候选框进行分类和回归操作，得到预测结果(文献1)。fasterr-cnn模型精度较高、鲁棒性好、性能优越，但是使用了nms来避免重叠的框，并以分类得分作为筛选标准，对于遮挡的物体不是特别友好，其次fasterr-cnn模型需要使用生成大量锚点anchor以用于后续正负样本的选取。
3、2017年，google在论文《attentionisallyouneed》中提出了transformer模型(文献2)，其使用自注意力机制取代了在nlp任务中常用的rnn网络结构，可以并行计算充分利用gpu资源，且具有良好的捕捉全局信息性能。detr则将transformer首次应用于图像的目标检测任务，不需要使用nms以及不需生成anchor，而是直接端到端进行集合预测，且在性能上可以和fasterr-cnn相比较，为图像目标检测任务开辟了新的技术路线(文献3)
4、参考文献：
5、[文献1]ren,s.,he,k.,girshick,r.b.,sun,j.:faster r-cnn:towards real-time objectdetection with region proposal networks.pami(2015).
6、[文献2]vaswani,a.,shazeer,n.,parmar,n.,uszkoreit,j.,jones,l.,gomez,a.n.,kaiser,l.,polosukhin,i.:attention is all you need.in:neurips(2017).
7、[文献3]z.dai,b.cai,y.lin and j.chen,"up-detr:unsupervised pre-training for objectdetection with transformers,"2021ieee/cvf conference oncomputer vision and patternrecognition(cvpr),nashville,tn,usa,2021,pp.1601-1610,doi:10.1109/cvpr46437.2021.00165.
技术实现思路
1、针对上述技术问题，本专利技术提供一种视觉提示引导的遥感影像相似目标检测方法及装置。该方法通过将多分类任务转变为二分类任务(匹配或者不匹配)，以及对采用的遥感数据集进行处理，并引入视觉提示visual prompt，从而将detr模型扩展到相似目标检测任务，并提高模型性能。
2、本专利技术所采用得技术方案如下：
3、第一方面，提供一种视觉提示引导的遥感影像相似目标检测方法，包括以下步骤：
4、遥感数据选取和预处理，获得预处理图像数据和预处理视觉提示数据；
5、构建目标检测模型；所述目标检测模型由cnn主干网络、transformer和损失函数组成；所述transformer包括编码器、解码器和前馈神经网络fnn；
6、利用cnn主干网络对预处理图像数据进行特征提取输入到transformer的编码器中；利用cnn主干网络对预处理视觉提示数据进行特征提取后与查询对象相加，输入到transformer的解码器中；预处理图像和视觉提示的处理数据在解码器中融合，再经fnn输出边界框和标签，得到预测结果；
7、利用损失函数和预测结果，对网络进行训练，获得最终目标检测模型。
8、一种可能的实施方式，所述遥感数据选取和预处理，获得预处理图像数据和预处理视觉提示数据的方法包括：
9、对遥感数据进行标注，得到图像中各目标的类别、宽高、中心点坐标信息，组织为一个字典；
10、将遥感数据中的目标的类别划分为可见类别seen class和不可见类别unseenclass，只保留可见类别；
11、从保留的遥感数据中随机选择一个目标作为视觉提示，将其标签设与视觉提示同一类别；
12、对保留的遥感数据中图像进行正则化和随机调整尺寸；对视觉提示随机调整亮度、对比度、饱和度、色调，接着转变为灰度图，再进行高斯模糊和正则化。
13、一种可能的实施方式，所述目标检测模型由主网络、分支网络和损失函数构成；
14、其中，主网络依次由cnn主干网络、编码器、解码器和fnn连接构成；
15、分支网络依次由cnn主干网络和池化层组成；该分支网络接入到主网络的解码器中；
16、所述主网络的cnn主干网络和分支网络的cnn主干网络为同一网络，共享参数。
17、进一步，所述预处理图像和视觉提示的处理数据在解码器中融合方法为：
18、预处理视觉提示数据经cnn主干网络和池化层后，与查询对象相加后，再经多头注意力机制层和归一化层，输出注意力向量query；
19、预处理图像数据经过cnn主干网络和编码器后输出一组注意力向量key和value；
20、query、key和value输入到多头注意力机制层和归一化层，以实现数据融合。
21、一种可能的实施方式，所述损失函数的表达式为：
22、
23、其中，y表示真值；表示预测值；表示二分类结果，若为0表示和视觉提示类别相同，为1表示不相同；表示预测框结果；表示利用匈牙利算法得到的预测匹配顺序；ci表示第i个目标类别真值，i表示图像中第i个目标；bi表示第i个目标位置真值；表示第i个目标类别对应权重；表示交叉熵损失；表示l1损失和giou损失的联合，表示判断条件ci＝0是否成立。
24、一种可能的实施方式，所述训练方法为：
25、将预测结果结合边界框和标签的真值计算损失函数，并计算目标检测模型参数的梯度，并根据梯度更新目标检测模型的权重。
26、第二方面，提供一种视觉提示引导的遥感影像相似目标检测装置，包括：
27、数据获取及预处理模块，用于遥感数据选取和预处理，获得预处理图像数据和预处理视觉提示数据；
28、模型构建模块，用于构建目标检本文档来自技高网...
【技术保护点】
1.一种视觉提示引导的遥感影像相似目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的视觉提示引导的遥感影像相似目标检测方法，其特征在于，所述遥感数据选取和预处理，获得预处理图像数据和预处理视觉提示数据的方法包括：
3.根据权利要求1所述的视觉提示引导的遥感影像相似目标检测方法，其特征在于，所述目标检测模型由主网络、分支网络和损失函数构成；
4.根据权利要求3所述的视觉提示引导的遥感影像相似目标检测方法，其特征在于，所述预处理图像和视觉提示的处理数据在解码器中融合方法为：
5.根据权利要求1所述的视觉提示引导的遥感影像相似目标检测方法，其特征在于，所述损失函数的表达式为：
6.根据权利要求1所述的视觉提示引导的遥感影像相似目标检测方法，其特征在于，所述训练方法为：
7.一种视觉提示引导的遥感影像相似目标检测装置，其特征在于，包括：
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述视觉提示引导的遥感影像相似目标检测方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述视觉提示引导的遥感影像相似目标检测方法。
...【技术特征摘要】
1.一种视觉提示引导的遥感影像相似目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的视觉提示引导的遥感影像相似目标检测方法，其特征在于，所述遥感数据选取和预处理，获得预处理图像数据和预处理视觉提示数据的方法包括：
3.根据权利要求1所述的视觉提示引导的遥感影像相似目标检测方法，其特征在于，所述目标检测模型由主网络、分支网络和损失函数构成；
4.根据权利要求3所述的视觉提示引导的遥感影像相似目标检测方法，其特征在于，所述预处理图像和视觉提示的处理数据在解码器中融合方法为：
5.根据权利要求1所述的视觉提示引导的遥感影像相似目标检测方法，其特征在于，所述损失函数的表达式为：
6.根据权利要求1所述的视觉提示引导的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。