【技术实现步骤摘要】
本申请涉及计算机视觉领域，特别是涉及一种显著性辅助的目标检测方法及系统。
技术介绍
1、目标检测可以识别和定位图像中的目标，虽然目前基于卷积神经网络的单阶段、两阶段方法和基于transformer的方法大大提高了目标检测的性能，但仍然存在复杂或低对比度场景以及遮挡或无法区分目标的挑战。显著性图是一种强度图，高强度表示吸引人类注意力的区域。它可以模仿人类的视觉系统来突出图像场景中的物体区域，有助于缓解上述问题。
2、显著性信息辅助目标检测主要有三种方式：一是显著性信息可以作为一个更强的监督信号，引导模型专注于对目标检测至关重要的图像区域。如gala方法利用激活机制检测模型当前的显著性，将模型显著性和人类显著性整合到损失函数中，惩罚较大的差异，从而促进模型学习人类认为对任务重要的区域。这种方法的人工成本较高且一般用于分类任务。二是显著性信息可以作为先验来加速对象的预筛选过程。如nanodet船舰检测方法中采用wt-mpqft视觉显著性检测方法获得水面舰艇检测的显著性映射，采用自适应阈值otsu方法对显著性映射进行二值分割并提取目标候选区域，然后再对这些切片进行分类有效消除虚警。该方法对于大尺度遥感图像中的小目标检测是非常有效的，但对于背景复杂、目标尺寸可变的目标检测问题却不能很好地解决。三是显著性图与原始图像融合，以帮助增强目标特征。如sp-det方法将显著性预测设计为辅助任务，并利用显著性图作为累进关注，与原始图逐元素相乘，以抵抗背景区域的冗余特征。该方法适用于复杂背景和多类别的目标检测任务，但通过直接融合方法将原始图
技术实现思路
1、本申请的目的是提供一种显著性辅助的目标检测方法及系统，能够避免图像级融合对目标形状信息和纹理信息的破坏，进而提高目标检测的精度。
2、为实现上述目的，本申请提供了如下方案：
3、第一方面，本申请提供了一种显著性辅助的目标检测方法，所述显著性辅助的目标检测方法包括：
4、获取待检测图像以及对应的显著性图像；
5、将待检测图像以及对应的显著性图像进行加权，得到显著性加权图像；
6、根据待检测图像以及显著性加权图像，采用目标检测模型进行目标的定位与分类；所述目标检测模型包括：交叉注意力特征融合模块、混合特征融合模块以及带有预测头的解码器；所述交叉注意力特征融合模块用于分别对待检测图像以及显著性加权图像进行特征提取，并采用交叉注意力机制分别进行特征对齐和交互，得到增强的原始特征和增强的显著特征，之后将增强的原始特征和增强的显著特征进行逐元相加，得到融合特征；所述混合特征融合模块用于采用自注意力机制将所述融合特征进行特征交互、增强和融合，得到显著性加权特征；所述带有预测头的解码器用于根据显著性加权特征进行目标的定位与分类。
7、可选地，所述获取待检测图像以及对应的显著性图像，具体包括：
8、获取待检测图像；
9、根据待检测图像采用显著性物体检测算法或眼动仪，得到显著性图像；所述显著性物体检测算法包括：sr算法、ft算法、gr算法u2net算法以及d3net算法。
10、可选地，所述目标检测模型的主干网络为实时检测变压器模型。
11、可选地，所述混合特征融合模块中特征融合的步骤具体包括：
12、分别利用自顶向下和自底向上的双路径将不同尺度的特征完全融合；
13、利用卷积操作和双线性插值对相邻的特征进行上采样或下采样；
14、采用逐元素相加合并，得到显著性加权特征。
15、可选地，目标检测模型中采用adamw优化器进行训练。
16、可选地，目标检测模型中损失函数l为：
17、l＝lvfl+lbbox+lgiou；
18、其中，lvfl为位置信息的分类损失，n代表框的个数，pi代表第i个框预测为正类的概率，yi如果是正类则为1，否则为0，iou为真值框与预测框的交并比，lbbox为边界框损失，bi分别为预测的边界框和真值框的坐标，lgiou为广义交并比损失，lgiou＝1-giou，参数ac为预测框和真值框最小闭包区的面积，u为预测框和真值框的并集的面积。
19、第二方面，本申请提供了一种显著性辅助的目标检测系统，所述显著性辅助的目标检测系统包括：
20、获取模块，用于获取待检测图像以及对应的显著性图像；
21、加权图像得到模块，用于将待检测图像以及对应的显著性图像进行加权，得到显著性加权图像；
22、检测模块，用于根据待检测图像以及显著性加权图像，采用目标检测模型进行目标的定位与分类；所述目标检测模型包括：交叉注意力特征融合模块、混合特征融合模块以及带有预测头的解码器；所述交叉注意力特征融合模块用于分别对待检测图像以及显著性加权图像进行特征提取，并采用交叉注意力机制分别进行特征对齐和交互，得到增强的原始特征和增强的显著特征，之后将增强的原始特征和增强的显著特征进行逐元相加，得到融合特征；所述混合特征融合模块用于采用自注意力机制将所述融合特征进行特征交互、增强和融合，得到显著性加权特征；所述带有预测头的解码器用于根据显著性加权特征进行目标的定位与分类。
23、根据本申请提供的具体实施例，本申请具有了以下技术效果：
24、本申请提供了一种显著性辅助的目标检测方法及系统，通过将待检测图像以及对应的显著性图像进行加权，将显著性信息与图像信息在图像级结合，得到显著性加权图像，进而能够避免直接对显著性图像提取特征导致收敛速度缓慢的问题；之后利用目标检测模型对待检测图像以及显著性加权图像进行检测，生成边框和置信度分数，进而根据边框和置信度分数实现定位和分类；其中，目标检测模型中通过交叉注意力特征融合模块将具有显著性信息的显著性加权图像与原始图像信息进行特征提取并使用交叉注意力机制将两种特征融合到一起，再通过混合特征融合模块进行尺度内交互和跨尺度融合，充分结合不同层次的融合特征以丰富特征表示，全面捕获目标信息，最后在融合显著性信息的特征图上进行检测。本申请在促进原始图像与显著性图的融合的同时保留目标细节，在帮助目标定位的同时缓解了目标识别的难度，避免了图像级融合对目标形状信息和纹理信息的破坏，从而提高了目标检测的精度，并且本申请具有较强的鲁棒性。
本文档来自技高网...【技术保护点】
1.一种显著性辅助的目标检测方法，其特征在于，所述显著性辅助的目标检测方法包括：
2.根据权利要求1所述的显著性辅助的目标检测方法，其特征在于，所述获取待检测图像以及对应的显著性图像，具体包括：
3.根据权利要求1所述的显著性辅助的目标检测方法，其特征在于，所述目标检测模型的主干网络为实时检测变压器模型。
4.根据权利要求1所述的显著性辅助的目标检测方法，其特征在于，所述混合特征融合模块中特征融合的步骤具体包括：
5.根据权利要求1所述的显著性辅助的目标检测方法，其特征在于，目标检测模型中采用AdamW优化器进行训练。
6.根据权利要求1所述的显著性辅助的目标检测方法，其特征在于，目标检测模型中损失函数L为：
7.一种显著性辅助的目标检测系统，其特征在于，所述显著性辅助的目标检测系统包括：
【技术特征摘要】
1.一种显著性辅助的目标检测方法，其特征在于，所述显著性辅助的目标检测方法包括：
2.根据权利要求1所述的显著性辅助的目标检测方法，其特征在于，所述获取待检测图像以及对应的显著性图像，具体包括：
3.根据权利要求1所述的显著性辅助的目标检测方法，其特征在于，所述目标检测模型的主干网络为实时检测变压器模型。
4.根据权利要求1所述的显著性辅助的目标检...
【专利技术属性】
技术研发人员：王泽龙，常雅君，苏健，吴宇航，税洋，张晨琳，李健，杨轩，王兴旺，王鑫泽，李甘雨，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。