一种适用于目标检测算法小样本学习任务的数据增强方法及系统技术方案

本发明专利技术涉及基于深度学习的目标检测技术领域，尤其涉及一种适用于目标检测算法小样本学习任务的数据增强方法及系统。为了解决传统目标检测算法在小样本学习问题上会随着数据集数量的减少而逐渐失效的缺陷，本发明专利技术提供一种适用于目标检测算法小样本学习任务的数据增强方法及系统。本发明专利技术方法基于copy and paste算法以及U2Net图像分割工具的目标检测数据集扩容方法，对检测目标的实例进行剪切、复制、增强、粘贴等操作以扩容训练样本集，同时采用预训练U2Net图像分割算法剔除目标实例的背景，使目标实例可以融合于新的图像场景，最终实现标注实例数量及样本多样性的同步提升。终实现标注实例数量及样本多样性的同步提升。终实现标注实例数量及样本多样性的同步提升。

【技术实现步骤摘要】
一种适用于目标检测算法小样本学习任务的数据增强方法及系统


[0001]本专利技术涉及基于深度学习的目标检测
，尤其涉及一种适用于目标检测算法小样本学习任务的数据增强方法及系统。

技术介绍

[0002]数据增强是提升数据利用效率的最直接方式，是各类深度学习算法中的关键组件。在目标检测领域，常用的数据增强方法包含图像仿射变换、切割等基础算法，也包括集成在目标检测算法框架内的Mosaic，MixUp等方法。这些算法本质上更通用，并不是针对于小样本学习问题而单独设计的，因此这些算法也会随着数据集数量的减少而逐渐失效。对于小样本学习场景，传统的copy and paste算法由于无法删除目标实例的背景，仅通过复制粘贴对待增强数据的增强效果不佳，很难实现实例数量及样本多样性的同步提升。

技术实现思路

[0003]针对上述问题，本专利技术提供一种适用于目标检测算法小样本学习任务的数据增强方法及系统，旨在通过对检测目标实例的剪切、复制、增强和粘贴等操作扩容训练样本集，最终实现标注实例数量及样本多样性的同步提升。
[0004]一种适用于目标检测算法小样本学习任务的数据增强方法，包括以下步骤：
[0005]S1、统计训练数据中每个类别的标注实例数量，根据该数量定义头类和尾类；
[0006]S2、开始一轮训练，按顺序读取训练数据，将当前读取的训练数据定义为待增强数据，随机抽选另一个训练数据，定义为源数据；
[0007]S3、通过随机裁剪、随机旋转、随机尺度和随机剪切改变所述待增强数据的图像，并修改其标注信息；
[0008]S4、利用源数据的标注信息从源数据的图像中裁剪标注实例，将所有标注实例记为源实例图像集合I，并根据各类别的标注实例数量，将源实例图像集合I中属于头类的实例集合记为I
L
；属于尾类的实例集合记为I
S
；
[0009]S5、通过随机裁剪、随机旋转、随机尺度和随机剪切改变所述I
S
的实例图像；
[0010]S6、随机抽选所述I
L
中预定数量的实例，删除未选中的实例；
[0011]S7、利用U2Net检测并识别步骤S5与步骤S6得到的I
S
和I
L
内所有实例图像的前景和背景，并将每个实例图像的背景剔除；
[0012]S8、将剔除背景的实例图像粘贴到所述待增强数据中，并修改对应标注信息；
[0013]S9、重复步骤S2至步骤S8，直至遍历当前轮次所有训练数据；
[0014]S10、利用增强后的训练数据集训练模型，完成当前训练轮次，判断训练轮次是否达到预设次数，若是，则结束训练，否则，回到步骤S2。
[0015]进一步地，所述步骤S1定义头类和尾类的方法为：统计训练数据中所有类别的标注实例数量，判断某个类别的标注实例数量是否小于标注实例数量最大的类别的标注实例
数量的预设阈值，若是则将该类别定义为尾类，否则定义为头类。
[0016]进一步地，所述训练数据包含训练图像、训练图像尺度、训练图像格式、训练图像地址和标注信息。其中，所述标注信息包括：检测/分割任务类型、标注属性、标注类别、标注框坐标和标注框类别。
[0017]进一步地，所述随机裁剪步骤通过四个随机值R1、R2、R3、R4定义其裁剪方法，其中R1、R2为布尔值0或1，R1＝0、1分别代表矩形实例从左、右方向开始裁剪；R2＝0、1分别代表矩形实例从上、下开始裁剪；R3、R4为(0，1)内的随机小数值，用来定义裁剪范围，其中R3定义水平方向的裁剪范围，裁剪范围等于当前实例的宽度乘以R3；R4定义实例垂直方向的裁剪范围，裁剪范围等于当前实例的高度乘以R4。
[0018]进一步地，所述步骤S5中的图像增强顺序固定，依次为随机裁剪、随机旋转、随机尺度和随机剪切。
[0019]进一步地，所述步骤S7中识别I
L
和I
S
内所有实例的前景及背景具体方法为：选用通过COCO数据集训练得到的U2Net模型，输入修改后的源实例图像，利用预训练的U2Net对修改后的源实例图像进行目标分割，将图像内背景区域标记为0，其余部分标记为1，同时保存实例图及对应的分割图，其中分割图为二值图。
[0020]进一步地，所述步骤S8具体包括：
[0021]粘贴前，首先判断当前源实例图像是否覆盖在待增强数据的图像的某个实例图像上，若实例图像之间没有重叠，则将待增强数据的图像中的对应区域替换为实例图像；
[0022]若当前实例图像与待增强数据的图像中的实例图像重叠，且重叠像素点的数量大于当前实例图像总像素点数量的预设比例，则取消上述粘贴操作；
[0023]若重叠像素点的数量小于等于当前实例图像总像素点数量的所述预设比例，则只将非重叠区域替换为实例图像；
[0024]若当前实例图像超出待增强数据的图像范围，则只保留当前实例图像位于所述待增强数据的图像范围内的部分；
[0025]粘贴时，删除被覆盖的实例图像，添加源实例图像，同时修改源实例和待增强数据图像的标注信息。
[0026]本专利技术还提供一种适用于目标检测算法小样本学习任务的数据增强系统，包括：
[0027]遍历模块，用于遍历训练数据集，并根据各类别的标注实例数量将训练数据分为头类与尾类；
[0028]训练轮次开始模块，用于开始当前训练轮次；
[0029]读取模块，用于读取一个训练数据作为待增强数据，并同步随机抽选另一个训练数据作为源数据；
[0030]增强模块，用于通过图像增强方法增强待增强数据图像和源数据中的尾类实例图像；
[0031]裁剪模块，用于裁剪源数据中的实例图像；
[0032]抽选模块，用于抽选源数据中的头类实例图像；
[0033]背景消除模块，通过U2Net目标分割算法识别并删除头类实例图像和尾类实例图像的背景；
[0034]粘贴模块，用于将头类实例图像和尾类实例图像粘贴到待增强数据图像中；
[0035]训练轮次结束模块，用于结束当前训练轮次，开始下一训练轮次。
[0036]本专利技术对比现有技术，具有以下优点：
[0037]1、本专利技术基于copy and paste算法对标注实例进行复制、裁剪、增强、分割、粘贴操作对训练样本集扩容，能够实现标注实例数量及样本多样性的同步提升；
[0038]2、本专利技术采用了U2Net图像分割算法剔除目标实例的背景，使目标实例可以融合于新场景，显著提升实例的多样性；
[0039]3、本专利技术针对训练集标注实例数量不均的问题，根据样本类别对头类及尾类的训练实例分别采用不同的增强策略，实现训练数据集人工平衡；
[0040]4、本算法框架只针对数据增强环节，因此可嵌入至任意一种目标检测框架，兼具创新性与实用性。
附图说明
[0041]图1为本专利技术步骤S1训练数据中每个类别的标注实例数量统计示意图；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于目标检测算法小样本学习任务的数据增强方法，其特征在于，包括以下步骤：S1、统计训练数据中每个类别的标注实例数量，根据该数量定义头类和尾类；S2、开始一轮训练，按顺序读取训练数据，将当前读取的训练数据定义为待增强数据，随机抽选另一个训练数据，定义为源数据；S3、通过随机裁剪、随机旋转、随机尺度和随机剪切改变所述待增强数据的图像，并修改其标注信息；S4、利用源数据的标注信息从源数据的图像中裁剪标注实例，将所有标注实例记为源实例图像集合I，并根据各类别的标注实例数量，将源实例图像集合I中属于头类的实例集合记为I
L
；属于尾类的实例集合记为I
S
；S5、通过随机裁剪、随机旋转、随机尺度和随机剪切改变所述I
S
的实例图像；S6、随机抽选所述I
L
中预定数量的实例，删除未选中的实例；S7、利用U2Net检测并识别步骤S5与步骤S6得到的I
S
和I
L
内所有实例图像的前景和背景，并将每个实例图像的背景剔除；S8、将剔除背景的实例图像粘贴到所述待增强数据中，并修改对应标注信息；S9、重复步骤S2至步骤S8，直至遍历当前轮次所有训练数据；S10、利用增强后的训练数据集训练模型，完成当前训练轮次，判断训练轮次是否达到预设次数，若是，则结束训练，否则，回到步骤S2。2.根据权利要求1所述的一种适用于目标检测算法小样本学习任务的数据增强方法，其特征在于，所述步骤S1定义头类和尾类的方法为：统计训练数据中所有类别的标注实例数量，判断某个类别的标注实例数量是否小于标注实例数量最大的类别的标注实例数量的预设阈值，若是则将该类别定义为尾类，否则定义为头类。3.根据权利要求1所述的一种适用于目标检测算法小样本学习任务的数据增强方法，其特征在于，所述训练数据包含训练图像、训练图像尺度、训练图像格式、训练图像地址和标注信息，其中，所述标注信息包括：检测/分割任务类型、标注属性、标注类别、标注框坐标和标注框类别。4.根据权利要求1所述的一种适用于目标检测算法小样本学习任务的数据增强方法，其特征在于，所述随机裁剪步骤通过四个随机值R1、R2、R3、R4定义其裁剪方法，其中R1、R2为布尔值0或1，R1＝0、1分别代表矩形实例从左、右方向开始裁剪；R2＝0、1分别代表矩形实例从上、下开始裁剪；R3、R4为(0，1)内的随机小...

【专利技术属性】
技术研发人员：严鼎天，黄季涛，熊俊峰，张剑，郑荣，张黎，陈国润，徐玉清，
申请(专利权)人：上海理想信息产业集团有限公司，
类型：发明
国别省市：