基于K-组合均值特征增强的小样本目标检测方法及系统技术方案

本发明专利技术公开了一种基于K‑组合均值特征增强的小样本目标检测方法及系统，利用每类K个带标签样本的标签信息，得到对应的特征，通过对这K个目标的特征进行

【技术实现步骤摘要】
基于K-组合均值特征增强的小样本目标检测方法及系统
本专利技术属于图像检测
，具体涉及一种基于K-组合均值特征增强的小样本目标检测方法及系统。
技术介绍
深度学习模型在目标检测任务中取得了巨大的成功主要是因为深度神经网络可以从数据中学习更高级、更深层次的特征。然而深度学习模型严重依赖于大量的带标签数据，但人工数据标注费时费力、价格昂贵，并且在某些应用领域本来就没有足够的数据积累。深度学习在数据密集型的应用中达到了令人满意的效果，然而当带标签的数据样本很少时或数据集很小时，会受到阻碍。基于微调的小样本目标检测算法使用两个训练阶段实现对仅有少量带标签样本的新类别的检测，其中第一阶段使用大量带标签样本的基类数据对检测器进行训练，第二阶段使用少量带标签样本的新类数据对训练好的检测器进行微调。该类算法通过第一阶段的训练学习到的是类别之间的共同特征，然后在第二个微调阶段通过使用新类少量的带标签样本，对特征进行转换，加权求和后得到每个新类的类特征。现有性能比较好的基于微调的小样本目标检测模型首先使用大量带标签的基类数据训练一个检测器，然后固定模型中的特征提取器，使用少量的K个带标签的新类样本对分类器和回归器进行微调。由于微调阶段带标签样本的数量少，容易造成过拟合的问题。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于K-组合均值特征增强的小样本目标检测方法及系统，通过利用每个新类别已知的K个目标，使用特征提取网络提取对应目标特征，对这些特征取的特征组合，为每个组合求其平均特征，并添加到每类的特征样本集合中，在微调阶段使用数量增多后的增强特征样本集对分类器进行微调，以缓解小样本目标检测模型的过拟合问题，提升模型的检测精度。本专利技术采用以下技术方案：一种基于K-组合均值特征增强的小样本目标检测方法，包括以下步骤：S1、对类别集合C进行划分，根据类别划分得到用于训练的基类图像及目标检测任务对应的标签用于微调的M'n个新类图像及对应的标签和用于测试的新类图像b为基类，Mb为基类图像的数量，n为新类，Mn为新类图像的数量；S2、构造基于FasterR-CNN的二阶段目标检测模型；将步骤S1中得到的数据集分批次输入目标检测模型中进行训练，每批次的大小为E；S3、固定步骤S2中在基类数据集上训练后的目标检测模型中的特征提取网络F、候选区域生成网络RPN，根据新类的类别数量为新类构造新的分类器和回归器构成新的目标检测模型；S4、将步骤S1得到的新类图像送入步骤S2得到的特征提取器中，得到每类K幅图像的特征，然后根据每幅图像对应的标签使用ROIPooling操作得到每一个新类在这K幅图像上对应的K个目标特征；S5、将步骤S4得到的每个新类的K个目标特征取的组合，为每个组合求其平均特征，并添加到每类的特征样本集合中，得到特征样本集合fea'；S6、将步骤S1中得到的新类图像及对应的标签分批次输入步骤S3构建的新的目标检测模型中，对目标检测模型中新的分类器与回归器进行微调，并使用步骤S5得到的新类的特征样本集合fea'对分类器进行微调，每批次的大小为E'；S7、将步骤S1中得到的M”n个新类图像输入步骤S6的目标检测模型中得到新类图像的检测结果，完成小样本目标检测。具体的，步骤S1中，将COCO2014数据集中60个与PASCALVOC数据集不相交的类别作为基类，剩余20个类别作为新类；基类图像全部用于模型训练；在新类图像中为每类随机选取K个样本，n为新类，Mn为新类图像数量，得到新的M'n个新类图像及对应的标签用于微调，其余的新类图像用于测试；Xm∈RN×N，R表示实数域，Ym＝{(cj,Ij),j＝1,...,Nm}，cj为图像Xm中包含的第j个目标的类别信息，Ij为其位置信息。具体的，步骤S2中，基于FasterR-CNN的二阶段目标检测模型包括特征提取网络F、候选区域生成网络RPN、分类器和回归器特征提取网络F以ResNet-50为backbone用于提取图像特征，候选区域生成网络RPN用于生成包含前景对象的候选框区域，分类器用于对候选区域生成网络RPN生成的候选区域包含的前景对象进行分类，回归器用于对候选区域的位置进行细化；基于FasterR-CNN的二阶段目标检测模型的输入为每次从步骤S1中的基类图像中随机抽取M幅图像，M为每批次的大小，输出为得到的目标检测结果。具体的，步骤S2中，对基于FasterR-CNN的二阶段目标检测模型进行训练具体为：S201、在个基类图像集合中任取一幅图像x作为检测模型的输入，通过特征提取网络F获取对应的图像特征F(x)；S202、用RPN区域生成网络生成anchors，对anchors进行裁剪过滤，然后通过softmax对anchors进行二分类，判断属于前景或者后景，利用并使用边界框回归修正anchors的位置信息；S203、将候选框信息映射到图像特征F(x)，使用ROIPooling获取候选框集合对应的特征集合F(bboxesi)；S204、利用目标检测损失函数中的交叉熵损失和边框回归损失以及对基于FasterR-CNN的二阶段目标检测模型进行联合训练。进一步的，步骤S204中，目标检测损失函数L为：其中，损失被用于训练RPN网络，以区分前景对象与背景，并对候选框进行细化；是交叉熵损失，用于训练基于cosine相似性度量函数的候选框分类器；是一个平滑的L1损失，用于训练回归器。具体的，步骤S4中，将新类中每类的K个带标签样本先输入到经过第一阶段训练后的特征提取模块中提取对应的K个图像的特征然后根据图像的标签信息利用FasterR-CNN中的RoIPooling就可以根据给定的K个目标的位置信息提取相应的区域的目标，进而得到这K个目标在图像中对应的特征，得到每一个新类在K幅图像上对应的固定大小的K个目标的特征样本集合。进一步的，每一个新类在K幅图像上对应的固定大小的K个目标的特征样本集合为：其中，表示新类中的第i类。具体的，步骤S5具体为：S501、在新类类别中，对新类类别i，取步骤S4中得到的第i类对应的K个目标的特征样本集合S502、新建一个特征样本集合初始化为空；S503、在特征样本集合中取一个特征样本依次遍历中的特征样本对Fl和F'j进行组合平均计算，得到新的特征样本Fnew，并将新的特征样本Fnew和Fl添加到特征样本集合中，集合中所有特征样本的类别标签为新类类别i；S504、重复步骤S503，直至遍历完特征样本集合中的所有特征样本，得到新类i特征样本数量增多后的特征样本集合S505、重复步骤S501～步骤S504，直至获得所有新类类别的增强后的特征样本集合fea'，完成基于K-组合均值的特征增强。具体的，步骤S6具体为：S601、将步骤S1中得到的新类图像及对应的标签分批次输入步骤S3构建的新的检测模型中，根据目标检测损失本文档来自技高网...

【技术保护点】
1.基于K-组合均值特征增强的小样本目标检测方法，其特征在于，包括以下步骤：/nS1、对类别集合C进行划分，根据类别划分得到用于训练的基类图像

【技术特征摘要】
1.基于K-组合均值特征增强的小样本目标检测方法，其特征在于，包括以下步骤：
S1、对类别集合C进行划分，根据类别划分得到用于训练的基类图像及目标检测任务对应的标签用于微调的M′n个新类图像及对应的标签和用于测试的新类图像b为基类，Mb为基类图像的数量，n为新类，Mn为新类图像的数量；
S2、构造基于FasterR-CNN的二阶段目标检测模型；将步骤S1中得到的数据集分批次输入目标检测模型中进行训练，每批次的大小为E；
S3、固定步骤S2中在基类数据集上训练后的目标检测模型中的特征提取网络F、候选区域生成网络RPN，根据新类的类别数量为新类构造新的分类器和回归器构成新的目标检测模型；
S4、将步骤S1得到的新类图像送入步骤S2得到的特征提取器中，得到每类K幅图像的特征，然后根据每幅图像对应的标签使用ROIPooling操作得到每一个新类在这K幅图像上对应的K个目标特征；
S5、将步骤S4得到的每个新类的K个目标特征取的组合，为每个组合求其平均特征，并添加到每类的特征样本集合中，得到特征样本集合fea′；
S6、将步骤S1中得到的新类图像及对应的标签分批次输入步骤S3构建的新的目标检测模型中，对目标检测模型中新的分类器与回归器进行微调，并使用步骤S5得到的新类的特征样本集合fea′对分类器进行微调，每批次的大小为E′；
S7、将步骤S1中得到的M″n个新类图像输入步骤S6的目标检测模型中得到新类图像的检测结果，完成小样本目标检测。


2.根据权利要求1所述的方法，其特征在于，步骤S1中，将COCO2014数据集中60个与PASCALVOC数据集不相交的类别作为基类，剩余20个类别作为新类；基类图像全部用于模型训练；在新类图像中为每类随机选取K个样本，n为新类，Mn为新类图像数量，得到新的M′n个新类图像及对应的标签用于微调，其余的新类图像用于测试；Xm∈RN×N，R表示实数域，Ym＝{(cj,Ij),j＝1,...,Nm}，cj为图像Xm中包含的第j个目标的类别信息，Ij为其位置信息。


3.根据权利要求1所述的方法，其特征在于，步骤S2中，基于FasterR-CNN的二阶段目标检测模型包括特征提取网络F、候选区域生成网络RPN、分类器和回归器特征提取网络F以ResNet-50为backbone用于提取图像特征，候选区域生成网络RPN用于生成包含前景对象的候选框区域，分类器用于对候选区域生成网络RPN生成的候选区域包含的前景对象进行分类，回归器用于对候选区域的位置进行细化；基于FasterR-CNN的二阶段目标检测模型的输入为每次从步骤S1中的基类图像中随机抽取M幅图像，M为每批次的大小，输出为得到的目标检测结果。


4.根据权利要求1所述的方法，其特征在于，步骤S2中，对基于FasterR-CNN的二阶段目标检测模型进行训练具体为：
S201、在个基类图像集合中任取一幅图像x作为检测模型的输入，通过特征提取网络F获取对应的图像特征F(x)；
S202、用RPN区域生成网络生成anchors，对anchors进行裁剪过滤，然后通过softmax对anchors进行二分类，判断属于前景或者后景，利用并使用边界框回归修正anchors的位置信息；
S203、将候选框信息映射到图像特征F(x)，使用ROIPooling获取候选框集合对应的特征集合F(bboxesi)；
S204、利用目标检测损失函数中的交叉熵损失和边框回归损失以及对基于FasterR-CNN的二阶段目标检测模型进行联合训练。


5.根据权利要求4所述的方法，其特征在于，步骤S204中，目标检测损失函数L为：



其中，损失被用于训练RPN网络...

【专利技术属性】
技术研发人员：刘芳，焦李成，刘静，刘旭，李鹏芳，李玲玲，郭雨薇，古晶，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61