一种基于支撑样本特征增强的小样本目标检测方法及装置制造方法及图纸

本发明专利技术提出一种基于支撑样本特征增强的小样本目标检测方法及装置，小样本目标检测方法具体包括：模型初始化阶段；元训练第一阶段：在基类数据中采样待检测图片与支撑样本，按照模型的元训练方式进行训练；元训练第二阶段：将所有的基类数据作为支撑样本输入模型，计算并存储每一类别下所有支撑样本的类特征向量的均值，将其作为类特征向量计算的辅助监督信号，重复元训练第一阶段的训练；元测试阶段：根据新类标签的数目，从基类数据中进行采样，构造平衡数据集，采样待检测图片与支撑样本，并重复元训练第二阶段的训练；新类目标检测阶段。与传统的小样本目标检测方法相比，本发明专利技术可得到更高质量的支撑样本特征，提高对新类的检测准确率。检测准确率。检测准确率。

【技术实现步骤摘要】
一种基于支撑样本特征增强的小样本目标检测方法及装置


[0001]本专利技术涉及计算机视觉和图像处理领域，特别是一种基于支撑样本特征增强的小样本目标检测方法及装置。

技术介绍

[0002]目标检测(ObjectDetection)任务指的是给定任意大小的输入图像，在输出图像中包括预先定义的一类或多类物体的具体类别与位置。目标检测是计算机视觉领域最基本与最重要的问题之一：一方面，它是众多下游视觉任务的基础任务，如单/多目标跟踪、实例分割、关键点检测等；另一方面，它也具体广泛的应用场景，如工业质检、安防、自动驾驶等。因此，目标检测一直都是计算机视觉领域的重点研究问题。
[0003]当前主流的目标检测模型主要采用全监督的训练方式，即在大量的标注数据上训练深度神经网络。训练数据往往包含数以千万计的标签，有助于检测模型充分学习到各类别的特征，如果某一类别的训练数据较少，那么最终的模型对该类别的检测能力也将显著降低。然而，收集并标注足够的训练数据需要消耗大量的时间、人力与财力，对于一些稀有类别的物体，充分收集训练数据甚至是不可能的。这种局限性极大地限制了目标检测模型在实际场景中的应用。
[0004]本专利技术的背景部分可以包含关于本专利技术的问题或环境的背景信息，而不一定是描述现有技术，因此，在
技术介绍
部分中包含的内容并不是申请人对现有技术的承认。

技术实现思路

[0005]为了提高现有小样本目标检测的检测准确率，本专利技术提出一种基于支撑样本特征增强的小样本目标检测方法及装置。
[0006]为此，本专利技术提出的基于支撑样本特征增强的小样本目标检测方法具体包括如下步骤：
[0007]S1、模型初始化阶段：构造任一基于元学习的目标检测模型；
[0008]S2、元训练第一阶段：在基类数据中采样待检测图片与支撑样本，并按照模型初始化中所选取的模型的原有的元训练方式进行训练；
[0009]S3、元训练第二阶段：将所有的基类数据作为支撑样本输入模型，计算并存储每一类别下所有支撑样本的类特征向量的均值，随后以该均值作为类特征向量计算的辅助监督信号，并重复元训练第一阶段的训练；
[0010]S4、元测试阶段：根据新类标签的数目，从基类数据中进行采样，构造得到所有类别包含相等数目标签的平衡数据集，随后从该平衡数据集中采样待检测图片与支撑样本，并重复元训练第二阶段的训练；
[0011]S5、新类目标检测阶段：将新类标签作为支撑样本，对输入图像进行目标检测，得到输入图像中属于新类的目标的位置和具体类别。
[0012]进一步地，在步骤S1中，选用MetaYOLO作为目标检测模型，所述MetaYOLO由特征提
取器、重加权模块和预测层组成。
[0013]进一步地，在步骤S2中，在每一训练批次中，采样待检测图片与支撑样本，支撑样本的采样方式为对于每一基类类别，采样一个属于该类别的边界框，并得到该边界框所在的图像，随后在图像原有的RGB通道的基础上增加一个0
‑
1掩模，指示边界框的位置，将待检测图片输入特征提取器，将支撑样本输入重加权模块。
[0014]进一步地，在步骤S2中，设批次大小为B，设基类类别数为N，训练集中图片数目为D，D张图片包含的边界框标签总数为A，首先从D张图片中随机采样B张图片，作为待检测图像输入特征提取器，随后，对于N个基类，每一类别都从A个边界框标签中随机采样一个属于该类的边界框，并得到该边界框所在的图片，对于所在图片，在RGB通道的基础上，增加一个掩模通道，掩模通道在边界框覆盖的区域处值为1，其他区域为0，N个四通道图片会作为支撑样本输入重加权模块，重加权模块的N个输出会对每一张待检测图片对应的特征进行加权，得到N个特征图，随后N个特征图输入预测层，用来判定所选待检测图片中是否包含与对应支撑样本类别一致的物体。
[0015]进一步地，在步骤S3中，对于每一基类类别，遍历其所有的边界框标签，并将其作为支撑样本输入重加权模块，得到该类别所有支撑样本的类特征向量的均值，随后重复所述元训练第一阶段的训练，但是在新预测的类特征向量与先前保存的类特征向量之间，增加一个SmoothL1损失函数,促进由单个支撑样本计算得到的类特征向量逼近多个支撑样本计算得到的类特征向量均值。
[0016]进一步地，在步骤S4中，根据每一新类类别包含的边界框标签数目，从每一基类类别中采样得到等量的标签，构成平衡数据集，随后在平衡数据集上进行所述元训练第二阶段的训练。
[0017]进一步地，在步骤S4中，设新类类别总数为N
’
,新类每一类别包含的标签数为K，首先在A个基类边界框标签中，对每个基类采样K个边界框，从而得到(N+N
’
)*K个边界框，N为基类类别总数，采集这些边界框所在的图片，构造得到平衡数据集，随后，在平衡数据集上重复所述元训练第二阶段的训练。
[0018]进一步地，在步骤S5中，将新类支撑样本输入重加权模块，计算得到新类每一类别的类特征向量，将待检测图片输入特征提取器，并利用新类的每一类的类特征向量对输出特征图进行重加权，并将加权后的特征图输入后续的检测层，用于检测新类。
[0019]本专利技术提出的基于支撑样本特征增强的小样本目标检测装置具体包括中央处理器和存储器，所述存储器中存储有能够被所述中央处理器执行的计算机程序，所述中央处理器通过执行所述计算机程序能够实现上述基于支撑样本特征增强的小样本目标检测方法。
[0020]本专利技术提出的计算机可读存储介质存储有能够被中央处理器执行的计算机程序，所述中央处理器通过执行所述计算机程序能够实现上述基于支撑样本特征增强的小样本目标检测方法。
[0021]相对于现有技术，本专利技术具有如下有益效果：
[0022]与其他传统的全监督目标检测模型相比，利用本申请可以在待检测物体仅包含极少量标注训练样本时，实现较好的检测性能，并且通过支撑样本增强，使得极少量支撑样本的特征能够接近足量支撑样本的特征，从而缓解由数据过少导致的类特征质量的降低问
题。
附图说明
[0023]图1是本专利技术实施例基于支撑样本特征增强的小样本目标检测方法的流程图；
[0024]图2是本专利技术实施例采用MetaYOLO目标检测模型时小样本目标检测方法的训练流程示意图。
具体实施方式
[0025]为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图说明本专利技术的具体实施方式。
[0026]小样本目标检测旨在通过极少量的标签(如每一类别仅包含1
‑
10个标签)训练检测模型。主流的小样本目标检测主要依靠元学习的方法，其训练目标在于让模型“学会学习”。在现有的已标注的数据集上，基于元学习的小样本目标检测模型会在训练中构造小样本学习的情景：在每一训练批次中，对每一待检测类别采样一个样本(支撑样本)，并通过该样本中包含的信息来对待检测图像进行分类和定位。通过这种训练范式，目标检测模型能够学习从极少量的样本中挖掘到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于支撑样本特征增强的小样本目标检测方法，其特征在于,具体包括如下步骤：S1、模型初始化阶段：构造任一基于元学习的目标检测模型；S2、元训练第一阶段：在基类数据中采样待检测图片与支撑样本，并按照模型初始化中所选取的模型的原有的元训练方式进行训练；S3、元训练第二阶段：将所有的基类数据作为支撑样本输入模型，计算并存储每一类别下所有支撑样本的类特征向量的均值，随后以该均值作为类特征向量计算的辅助监督信号，并重复元训练第一阶段的训练；S4、元测试阶段：根据新类标签的数目，从基类数据中进行采样，构造得到所有类别包含相等数目标签的平衡数据集，随后从该平衡数据集中采样待检测图片与支撑样本，并重复元训练第二阶段的训练；S5、新类目标检测阶段：将新类标签作为支撑样本，对输入图像进行目标检测，得到输入图像中属于新类的目标的位置和具体类别。2.根据权利要求1所述的小样本目标检测方法，其特征在于，在步骤S1中，选用Meta YOLO作为目标检测模型，所述Meta YOLO由特征提取器、重加权模块和预测层组成。3.根据权利要求2所述的小样本目标检测方法，其特征在于，在步骤S2中，在每一训练批次中，采样待检测图片与支撑样本，支撑样本的采样方式为对于每一基类类别，采样一个属于该类别的边界框，并得到该边界框所在的图像，随后在图像原有的RGB通道的基础上增加一个0
‑
1掩模，指示边界框的位置，将待检测图片输入特征提取器，将支撑样本输入重加权模块。4.根据权利要求3所述的小样本目标检测方法，其特征在于，在步骤S2中，设批次大小为B，设基类类别数为N，训练集中图片数目为D，D张图片包含的边界框标签总数为A，首先从D张图片中随机采样B张图片，作为待检测图像输入特征提取器，随后，对于N个基类，每一类别都从A个边界框标签中随机采样一个属于该类的边界框，并得到该边界框所在的图片，对于所在图片，在RGB通道的基础上，增加一个掩模通道，掩模通道在边界框覆盖的区域处值为1，其他区域为0，N个四通道图片会作为支撑样本输入重加权模块，重加权模块的N个输出会对每一张待检测图片对应的特征进行加权，得到N个特征图，随后N个特征图输入预测层，...

【专利技术属性】
技术研发人员：王好谦，王颢涵，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：