基于目标互换和度量学习的小样本目标检测方法及系统技术方案

本发明专利技术公开了一种基于目标互换和度量学习的小样本目标检测方法及系统，利用基类中目标图像与查询图像已有的标签信息，将查询图像与目标图像中的同类目标进行互换，构成新的查询‑目标图像对作为输入。通过这种数据增强方式增加了目标图像中各目标之间的对比，为相似性度量模块提供了更多的可对比样本，减小了目标图像中其他类目标或背景对于待检测目标的影响，提升了基于度量学习的小样本目标检测模型在基类与新类上的检测精度。

【技术实现步骤摘要】
基于目标互换和度量学习的小样本目标检测方法及系统
本专利技术属于图像检测
，具体涉及一种基于目标互换和度量学习的小样本目标检测方法及系统。
技术介绍
深度学习模型在目标检测任务中取得了巨大的成功主要是因为深度神经网络可以从数据中学习更高级、更深层次的特征。然而深度学习模型严重依赖于大量的带标签数据，但人工数据标注费时费力、价格昂贵，并且在某些应用领域本来就没有足够的数据积累。深度学习在数据密集型的应用中达到了令人满意的效果，然而当带标签的数据样本很少时或数据集很小时，会受到阻碍。基于度量学习的小样本目标检测模型的输入是查询-目标图像对，输出是目标图像中与查询图像相似的区域。模型在基类上训练时，查询图像与目标图像的标签都是已知的，训练的目的是学习查询图像和目标图像之间的相似性度量，与类别无关，然后在测试阶段直接将学习到的度量用到新类数据集上。分析目标图像与查询图像的特点及基于度量学习的小样本检测模型的结果发现，由于目标图像背景丰富，并包含多类前景对象，导致算法对于存在相互关系的类别容易产生错检的结果。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于目标互换和度量学习的小样本目标检测方法及系统，通过利用基类中目标图像与查询图像已有的标签信息，将查询图像与目标图像中的同类目标进行互换，构成新的查询-目标图像对作为输入。通过这种数据增强方式增加目标图像中各前景对象之间的对比，为相似性度量模块提供了更多的可对比样本，进而减小目标图像中其他类目标或背景对于待检测目标的影响，提升了基于度量学习的目标检测模型的精度。本专利技术采用以下技术方案：一种基于目标互换和度量学习的小样本目标检测方法，包括以下步骤：S1、对类别集合C进行划分，根据类别划分得到基类类别与新类类别，并根据基类类别与新类类别划分图像数据集为基类图像数据集与新类图像数据集；S2、根据步骤S1得到的基类图像数据集和新类图像数据集分别构造形式为查询图像-目标图像的成对的基类数据集与新类数据集；S3、使用FasterR-CNN作为检测模型的主框架，构造基于度量学习的小样本目标检测模型；S4、构造基于目标互换的数据增强模块，在步骤S2构造的成对的基类数据集中随机选择成对的查询图像-目标图像及其对应的标签信息作为数据增强模块的输入，根据标签信息，将目标图像中与查询图像属于同一类别的实例对象所在的区域裁剪下来作为新的查询图像，并将原查询图像嵌入到对应实例对象所在的区域中，与原目标图像组成新的目标图像，构造新的查询-目标图像；S5、使用步骤S2构造的成对的基类数据集作为训练数据集，对于每批作为输入的查询-目标图像对设置一个随机数rand，如果随机数rand大于0.5，则根据步骤S4中的数据增强模块生成新的查询-目标图像对，如果随机数rand小于0.5，保留原输入图像对，然后将图像对与对应的标签信息分批次输入步骤S3中构造的小样本目标检测模型中进行训练，每批次大小为K；S6、在步骤S2中构造的成对的新类数据集或基类数据集中随机选择查询-目标图像对，输入步骤S5训练后的小样本目标检测模型中，得到对于新类或基类的检测结果，即在目标图像找到与查询图像属于同类别的目标实例。具体的，步骤S1中，将COCO2017数据集中的80个类别划分为4组，将包含三组类别作为基类，其包含基类类别的目标的图像组成基类数据集全部用于模型训练，b为基类，Mb为基类图像的数量；将剩余一个类别作为新类，将包含剩余类别目标的图像组成新类数据集用于测试；Xm∈RN×N，R表示实数域，Ym＝{(cj,Ij),j＝1,...,Nm}，cj为图像Xm中包含的第j个目标的类别信息，Ij为其位置信息。具体的，步骤S2中，使用预训练好的MaskR-CNN对步骤S1中的新类数据集和基类数据集中包的图像，使用预训练好的MaskR-CNN对图像进行过滤，然后只使用MaskR-CNN检测能够检测出的目标标签信息进行训练，训练时随机选择一幅图像，然后获取对应图像上的目标的标签信息，根据位置标签进行裁剪缩放作为查询图像P，然后随机选择包含查询图像中目标类别的其它图像作为目标图像I，构造查询-目标图像对作为小样本目标检测模型的输入。具体的，步骤S3中，小样本目标检测模型包括特征提取网络F、候选区域生成网络RPN和度量模块M；采用ResNet-50作为特征提取模块的骨干网络，用于提取查询图像与目标图像的特征F(P)和F(I)，候选区域生成网络RPN用于生成包含前景对象的候选框区域；度量模块M使用两层的MLP网络，并以softmax二分类为结尾；度量模块M的输入是经过ROIPooling后目标图像上每个候选框的特征和查询图像的目标特征。具体的，步骤S4具体为：S401、在步骤S2构造的成对的基类数据集中随机选择一对查询-目标图像对，根据目标图像I与查询图像P的标签信息，在目标图像I中选择一个与查询图像P属于同类的目标i；S402、根据步骤S401选择的目标i在目标图像上的位置信息loci计算对应目标的像素面积，裁剪像素面积大于502的目标图像并缩放到与查询图像同等的大小作为新的查询图像P'；S403、将原来的查询图像缩放到与所选择的目标图像中目标i一样的像素面积大小，并将缩放后的查询图像替换目标i到原目标图像中所选择的目标边界框对应的区域中构成新的目标图像I'；S404、将通过步骤S402构成的新的查询图像P'与通过步骤S403构成的新的目标图像I'作为新的查询-目标图像对，替换原查询图像P与原目标图像I构成查询-目标图像对作为模型的输入，新的查询图像P'的标签信息与原查询图像P的标签信息一致，新的目标图像I'的标签信息与原目标图像I的标签信息一致。具体的，步骤S5具体为：S501、在步骤S2构造的基类查询-目标图像对集合中随机选择一对查询-目标图像对，目标图像为I，查询图像为P；S502、生成一个随机数rand，如果随机数大于0.5，根据步骤S4的数据增强模块对输入图像对进行变换，生成新的查询-目标图像对作为输入；S503、将步骤S501的目标图像I与查询图像P分别送入步骤S3构造的小样本目标检测模型中的特征提取模块得到对应的目标图像特征F(I)与查询图像特征F(P)；S504、将步骤S503得到的目标图像特征F(I)作为小样本目标检测模型RPN区域生成网络的输入，用RPN区域生成网络生成anchors，对anchors进行裁剪过滤，然后通过softmax对anchors进行二分类，判断属于前景或者后景，使用边界框回归修正anchors的位置信息；S505、将步骤S504修正后的anchors位置信息映射到目标图像特征F(I)，使用ROIPooling获取候选框集合对应的特征集合F(bboxesi)；S506、将步骤S505第i个候选框特征F(bboxesi)与查询图像特征F(P)拼接在一起，送入小样本目标检测模型的度量模块中，输出目标图像本文档来自技高网...

【技术保护点】
1.基于目标互换和度量学习的小样本目标检测方法，其特征在于，包括以下步骤：/nS1、对类别集合C进行划分，根据类别划分得到基类类别与新类类别，并根据基类类别与新类类别划分图像数据集为基类图像数据集与新类图像数据集；/nS2、根据步骤S1得到的基类图像数据集和新类图像数据集分别构造形式为查询图像-目标图像的成对的基类数据集与新类数据集；/nS3、使用Faster R-CNN作为检测模型的主框架，构造基于度量学习的小样本目标检测模型；/nS4、构造基于目标互换的数据增强模块，在步骤S2构造的成对的基类数据集中随机选择成对的查询图像-目标图像及其对应的标签信息作为数据增强模块的输入，根据标签信息，将目标图像中与查询图像属于同一类别的实例对象所在的区域裁剪下来作为新的查询图像，并将原查询图像嵌入到对应实例对象所在的区域中，与原目标图像组成新的目标图像，构造新的查询-目标图像；/nS5、使用步骤S2构造的成对的基类数据集作为训练数据集，对于每批作为输入的查询-目标图像对设置一个随机数rand，如果随机数rand大于0.5，则根据步骤S4中的数据增强模块生成新的查询-目标图像对，如果随机数rand小于0.5，保留原输入图像对，然后将图像对与对应的标签信息分批次输入步骤S3中构造的小样本目标检测模型中进行训练，每批次大小为K；/nS6、在步骤S2中构造的成对的新类数据集或基类数据集中随机选择查询-目标图像对，输入步骤S5训练后的小样本目标检测模型中，得到对于新类或基类的检测结果，即在目标图像找到与查询图像属于同类别的目标实例。/n...

【技术特征摘要】
1.基于目标互换和度量学习的小样本目标检测方法，其特征在于，包括以下步骤：
S1、对类别集合C进行划分，根据类别划分得到基类类别与新类类别，并根据基类类别与新类类别划分图像数据集为基类图像数据集与新类图像数据集；
S2、根据步骤S1得到的基类图像数据集和新类图像数据集分别构造形式为查询图像-目标图像的成对的基类数据集与新类数据集；
S3、使用FasterR-CNN作为检测模型的主框架，构造基于度量学习的小样本目标检测模型；
S4、构造基于目标互换的数据增强模块，在步骤S2构造的成对的基类数据集中随机选择成对的查询图像-目标图像及其对应的标签信息作为数据增强模块的输入，根据标签信息，将目标图像中与查询图像属于同一类别的实例对象所在的区域裁剪下来作为新的查询图像，并将原查询图像嵌入到对应实例对象所在的区域中，与原目标图像组成新的目标图像，构造新的查询-目标图像；
S5、使用步骤S2构造的成对的基类数据集作为训练数据集，对于每批作为输入的查询-目标图像对设置一个随机数rand，如果随机数rand大于0.5，则根据步骤S4中的数据增强模块生成新的查询-目标图像对，如果随机数rand小于0.5，保留原输入图像对，然后将图像对与对应的标签信息分批次输入步骤S3中构造的小样本目标检测模型中进行训练，每批次大小为K；
S6、在步骤S2中构造的成对的新类数据集或基类数据集中随机选择查询-目标图像对，输入步骤S5训练后的小样本目标检测模型中，得到对于新类或基类的检测结果，即在目标图像找到与查询图像属于同类别的目标实例。


2.根据权利要求1所述的方法，其特征在于，步骤S1中，将COCO2017数据集中的80个类别划分为4组，将包含三组类别作为基类，其包含基类类别的目标的图像组成基类数据集全部用于模型训练，b为基类，Mb为基类图像的数量；将剩余一个类别作为新类，将包含剩余类别目标的图像组成新类数据集用于测试；Xm∈RN×N，R表示实数域，Ym＝{(cj,Ij),j＝1,...,Nm}，cj为图像Xm中包含的第j个目标的类别信息，Ij为其位置信息。


3.根据权利要求1所述的方法，其特征在于，步骤S2中，使用预训练好的MaskR-CNN对步骤S1中的新类数据集和基类数据集中包的图像，使用预训练好的MaskR-CNN对图像进行过滤，然后只使用MaskR-CNN检测能够检测出的目标标签信息进行训练，训练时随机选择一幅图像，然后获取对应图像上的目标的标签信息，根据位置标签进行裁剪缩放作为查询图像P，然后随机选择包含查询图像中目标类别的其它图像作为目标图像I，构造查询-目标图像对作为小样本目标检测模型的输入。


4.根据权利要求1所述的方法，其特征在于，步骤S3中，小样本目标检测模型包括特征提取网络F、候选区域生成网络RPN和度量模块M；采用ResNet-50作为特征提取模块的骨干网络，用于提取查询图像与目标图像的特征F(P)和F(I)，候选区域生成网络RPN用于生成包含前景对象的候选框区域；度量模块M使用两层的MLP网络，并以softmax二分类为结尾；度量模块M的输入是经过ROIPooling后目标图像上每个候选框的特征和查询图像的目标特征。


5.根据权利要求1所述的方法，其特征在于，步骤S4具体为：
S401、在步骤S2构造的成对的基类数据集中随机选择一对查询-目标图像对，根据目标图像I与查询图像P的标签信息，在目标图像I中选择一个与查询图像P属于同类的目标i；
S402、根据步骤S401选择的目标i在目标图像上的位置信息loci计算对应目标的像素面积，裁剪像素面积大于502的目标图像并缩放到与查询图像同等的大小作为新的查询图像P'；
S403、将原来的查询图像缩放到与所选择的目标图像中目标i一样的像素面积大小，并将缩放后的查询图像替换目标i到原目标图像中所选择的目标边界框对应的区域中构成新的目标图像I'；
S404、将通过步骤S402构成的新的查询图像P'与通过步骤S403构成的新的目标图像I'作为新的查询-目标图像对，替换原查询图像P与原目标图像I构成查询-目标图像对作为模型的输入，新的查询图像P'的标签信息与原查询图像P的标签信息一致，新的目标图像I'的标签信息与原目标图像I的标签信息一致。


6.根据权利要求1所述的方法，其特征在于，步骤S5具体为：
S501、在步骤S2构造的基类查询-目标图像对集合中随机选择一对查询-目标图像对，目标图像为I，查询图像为P；
S502、生成一个随机数rand，如果随机数大于0.5，根据步骤S4的数据增强模块对输入图像对进行变换，生成新的查询-目标图像对作为输入；
S503、将步骤S501的目标图像I与查询图像P分别送入...

【专利技术属性】
技术研发人员：刘芳，焦李成，刘静，刘旭，李鹏芳，李玲玲，郭雨薇，古晶，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61