基于FasterRCNN改进的少样本目标检测方法技术

本发明专利技术提供一种基于FasterRCNN改进的少样本目标检测方法。本发明专利技术在传统目标检测框架FasterRCNN的基础上，结合CBAM注意力模块、全局

【技术实现步骤摘要】
基于Faster RCNN改进的少样本目标检测方法


[0001]本专利技术涉及深度学习目标检测和少样本学习领域，具体涉及一种基于Faster RCNN改进的少样本目标检测方法。

技术介绍

[0002]目标检测作为一个重要的计算机视觉任务，旨在找出图像中所感兴趣的目标，确定它们的位置和所属类别，是许多其他计算机视觉任务的基础。近年来，随着强大的计算设备、大规模数据集以及先进的模型和算法的出现，基于深度学习技术的目标检测得到了快速发展，并逐步取代传统的检测方法。现在，目标检测已广泛应用于许多实际应用中，例如自动驾驶、机器人视觉、视频监控等。虽然现在有很多成熟的目标检测算法都得到了实际应用，但是其弊端也开始浮现，其中一个较大的问题就是较大多数成熟算法的应用都需要借助于大规模的标注数据，而在绝大多数的实际应用场景中，收集满足要求的标注数据是一件十分耗费财力和物力的工作，这不仅导致了应用场景单一、覆盖任务单一等问题，也极大限制了目标检测方法的应用与推广，因此如何利用较少的标注数据学习具有一定泛化能力的模型成为了迫切研究的问题。而少样本学习方法不依赖于大规模的训练样本，从而避免了在某些特定应用中数据准备的高昂成本，其次少样本学习方法可以实现一个新兴任务的低成本和快速的模型部署，而这个任务只有几个暂时可用的样本，这有利于阐明任务早期的潜在规律。基于此，将少样本学习与目标检测进行结合是十分有必要的，少样本学习可以有效地解决目标检测中数据量不足的问题，进一步推动目标检测的发展，扩大其实际应用的范围，因此，基于少样本学习的目标检测算法是具有一定研究意义的。
[0003]本专利技术就是将少样本学习方法和基于深度学习的目标检测算法Faster RCNN相结合，构成基于少样本学习的目标检测方法，使其能够仅使用少量的目标标注样本实现对目标的目标检测。

技术实现思路

[0004]本专利技术要解决的技术问题是：提供了一种基于Faster RCNN改进的少样本目标检测方法，以解决在目标类别样本量不足的情况下，对目标对象进行检测的问题，实验证明本专利技术提出的方法能够有效提高少样本情况下对目标类别的检测精度。
[0005]本专利技术采用的技术方案如下：基于Faster RCNN改进的少样本目标检测方法，包括如下步骤：
[0006]步骤1：将图像划分为支持集图像和查询集图像，其中支持集图像为少量几张包含目标样本的图像，其中样本已被标注，查询集包含未标注的样本，但其和支持集类别空间一致。
[0007]步骤2：将支持图像和查询图像输入权重共享的骨干网络进行特征提取，支持图像提取的特征定义为支持特征图，查询图像提取的特征定义为查询特征图。
[0008]步骤3：支持特征图和查询特征图分别通过CBAM注意力模块生成对应的注意力特
征图后，将支持集注意力特征进行均值池化和深度卷积，将查询集注意力特征进行深度卷积，再将得到的两个结果进行深度互相关生成最终的注意力特征图，然后将注意力特征图输入RPN网络生成查询候选框。
[0009]步骤4：将支持集注意力特征图和其真实的标签框经过ROI Pooling操作得到支持目标特征图，再将查询集注意特征图和查询候选框经过ROI Pooling操作得到查询候选框特征图，再将支持目标特征图和查询候选框特征图送入全局
‑
局部关系检测器进行特征匹配计算，以此得到相似度高的查询候选框特征图。
[0010]步骤5：将相似度高的查询候选框送入回归分支和基于余弦Softmax损失的分类器对目标对象进行定位和分类。
[0011]进一步地，步骤3中CBAM注意力模块与RPN网络相结合形成CBAM
‑
Attention
‑
RPN网络，支持特征图和查询特征图先分别通过CBAM注意力模块，将得到的对应的注意力图进行均值池化和深度卷积等操作，再将得到的两个结果做深度互相关生成最终的注意力特征图送入RPN网络。
[0012]进一步地，步骤4中提出的全局
‑
局部关系检测器，将支持注意力特征图和查询注意力特征图分别经过ROI Pooling操作后得到的支持目标特征图和查询候选框特征图进行全局
‑
局部关系匹配，即采用全局关系和局部关系进行特征匹配，计算两者相似度并留下相似度高的查询候选框区域。
[0013]进一步地，步骤5中采用基于余弦Softmax损失的分类器替换原有的Softmax分类器作为其分类分支，余弦Softmax损失如公式(3)所示，
[0014][0015]其中，L
cos
表示余弦Softmax损失；N是训练样本数，i＝{1,2,
…
,N}表示样本索引；C是类别数，j＝{1,2,
…
,C}表示类别索引，α表示比例因子，和θ
j,i
分别表示权重W的第y
i
列和第j列与第i个样本的输入特征x
i
之间的角度，y
i
表示x
i
对应的标签，L
cos
以分类权重向量为中心聚拢同类样本特征，降低了类内方差，提高了对新类的检测精度。
[0016]本专利技术的原理在于：
[0017]本专利技术在传统目标检测框架Faster RCNN的基础上，结合CBAM注意力模块、全局
‑
局部关系检测器以及基于余弦Softmax损失的分类器对Faster RCNN进行了深度优化和改进，使其有利于少样本目标检测。本专利技术将CBAM注意力模块与Faster RCNN中的RPN网络相结合形成了基于注意力机制的CBAM
‑
Attention
‑
RPN网络，首先将支持集图像和查询集图像的特征分别送入CBAM注意力模块，在通道和空间两个维度上推断注意力图，然后将注意力图与输入特征图相乘以进行自适应特征优化，再将经过CBAM注意力模块后得到的支持注意力特征图和查询注意力特征图进行均值池化和深度卷积等操作，再将得到的相应结果进行深度互相关以生成最终的注意力特征图，然后将其输入RPN网络生成查询候选框，这样有助于生成特定类别的候选框，提高后续网络的精度。本专利技术提出了全局
‑
局部关系检测器，利用全局关系和局部关系两种关系将支持注意力特征图和查询注意力特征图分别经过ROI Pooling操作后得到的特征进行全局
‑
局部关系特征匹配，计算两者相似度并留下相似度高的候选区域，剔除相似度低的区域，这样有助于得到与目标类别更相关的候选框。本专利技术提
出了基于余弦Softmax损失的分类器作为分类分支，有助于降低类内方差，提高新类的检测精度。
[0018]综上所述，相比于现有的一些方法，本专利技术的有益效果是：
[0019]1)相比于一些其它传统的目标检测模型，本专利技术提出的模型能够有效的检测新对象，同时抑制背景中的错误检测。
[0020]2)本专利技术针对少样本目标检测，能够降低类内方差，提高对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Faster RCNN改进的少样本目标检测方法，其特征在于，包括以下的步骤：步骤1：将图像划分为支持集图像和查询集图像，其中支持集图像为少量几张包含目标样本的图像，其中样本已被标注，查询集包含未标注的样本，但其和支持集类别空间一致；步骤2：将支持图像和查询图像输入权重共享的骨干网络进行特征提取，支持图像提取的特征定义为支持特征图，查询图像提取的特征定义为查询特征图；步骤3：支持特征图和查询特征图分别通过CBAM(Convolutional Block Attention Module)注意力模块生成对应的注意力特征图后，将得到的支持集注意力特征图进行均值池化和深度卷积，查询集注意力特征图进行深度卷积，再将新得到的两个结果进行深度互相关生成最终的注意力特征图，然后将注意力特征图输入区域候选网络(Region Proposal Network,RPN)网络生成查询候选框；步骤4：将支持集注意力特征图和其真实的标签框经过ROI Pooling操作得到支持目标特征图，再将查询集注意力特征图和查询候选框经过ROI Pooling操作得到查询候选框特征图，再将支持目标特征图和查询候选框特征图送入全局
‑
局部关系检测器进行特征匹配计算，以此得到相似度高的查询候选框特征图；步骤5：将相似度高的查询候选框送入回归分支和基于余弦Softmax损失的分类器对目标对象进行定位和分类。2.根据权利要求1所述的基于Faster RCNN改进的少样本目标检测方法，其特征在于，步骤3中CBAM注意力模块与RPN网络相结合形成CBAM
‑
Attention
‑
...

【专利技术属性】
技术研发人员：江彧，杜芸彦，毛耀，李鸿，杨锦辉，刘超，彭锦锦，
申请(专利权)人：中国科学院光电技术研究所，
类型：发明
国别省市：