一种基于数据增强的生活垃圾数据集生成方法技术

一种基于Copy

【技术实现步骤摘要】
一种基于数据增强的生活垃圾数据集生成方法


[0001]本专利技术涉及深度学习及生活垃圾识别领域，尤其涉及一种基于Copy
‑
Paste数据增强的生活垃圾数据集生成方法。

技术介绍

[0002]在计算机图像识别领域，基于深度学习的图像目标检测目标成为了重要的研究方向，近年来，深度学习技术在生活垃圾分类与识别方面得到了广泛应用，然而数据样本量不足和数据样本类别不均衡成为制约深度学习在生活垃圾目标识别中的重要因素，在构建用于分类的大量标记数据集时，需要一个专业人员对每个图像进行标注，会出现标记数据很耗时和标记数据可能很昂贵的问题。
[0003]此外，在一个特定的场景中找到一个包含实例的大型标记数据集是不大可能的，一旦场景改变，原来的模型便无法准确检测物体，所以每一个具有新实例的新环境又需要进行数据重新收集和注释。而在工程应用上需要的是一个标准化的系统，能够高效快速地获取大量的有效数据集供模型进行训练。
[0004]在此之前，解决这类问题一个较为成功的研究方向是使用合成渲染的场景和对象作为数据集来进行训练。然而这种方法需要耗费很大的工作量来使得场景及对象尽可能地逼真，确保高质量的全局和局部一致性。另外，通过这种合成数据集训练的模型泛化能力很差。
[0005]因此，现有技术需要一种基于Copy
‑
Paste数据增强的生活垃圾数据集生成方法，在真实图像中粘贴真实对象的掩膜，从而减少对图形渲染的依赖。

技术实现思路

[0006]为了解决现有技术存在的上述问题，本专利技术提出一种基于Copy
‑
Paste数据增强的生活垃圾数据集生成方法，能够快速高效地扩充标注的生活垃圾数据集，代替人工标注，节省人力和成本，并且提高深度学习模型检测的性能，进一步提升生活垃圾识别的准确率。
[0007]本专利技术采用如下技术方案：
[0008]一种基于Copy
‑
Paste数据增强的生活垃圾数据集生成方法，方法具体步骤如下：
[0009]将生活垃圾分作若干批次，每一批次为相同类别，并且分批将生活垃圾稀疏放置在传送带上；
[0010]使用RGB
‑
D采集系统对物体进行彩色图和高度图的图像采集；
[0011]利用高度图中物体的轮廓信息和高度信息，对彩色图进行自动标注；
[0012]通过Copy
‑
Paste将N个物体随机粘贴到图像模板上，N为整数，生成第一批生活垃圾数据集A1；
[0013]使用第一批生活垃圾数据集A1对深度学习模型进行训练；
[0014]使用训练好的深度学习模型对未标注的生活垃圾数据集D进行预测；
[0015]以带有伪标签的数据集作为图像模板，通过Copy
‑
Paste对第一批生活垃圾数据集
A1进行数据增强，从而生成第二批生活垃圾数据集A2；
[0016]合并第一批生活垃圾数据集A1和第二批生活垃圾数据集A2，形成合并生活垃圾数据集B1。
[0017]具体地，使用RGB
‑
D采集系统对物体进行彩色图和高度图的图像采集；所述的RGB
‑
D采集系统分为彩色成像模块和高度成像模块，所述的彩色成像模块，由Linea Color Camera和同轴光源组成，用于采集物体的彩色图；所述的高度成像模块，为Laser Line
‑
Scaning Sensor，其内部包含一个激光发射器和两台单色相机，用于采集物体的深度图；所述的图像采集为RGB
‑
D系统使用编码器将输送带的位移按固定的比例转换为脉冲信号，然后同时触发彩色成像模块和高度成像模块进行数据的采集；
[0018]具体地，所述的利用高度图中物体的轮廓信息和高度信息，对彩色图进行自动标注，包括如下步骤：
[0019]读取需要进行自动标注的生活垃圾图像，获取采集的高度图中物体的轮廓信息以及高度信息；
[0020]利用高度图的高度信息将传送带上的干扰物进行去除；
[0021]通过高度图生成物体的掩膜图像，得到物体的轮廓标签。
[0022]具体地，所述的获得物体的轮廓标签是对高度图生成的掩膜图像使用OpenCV的findContours函数得到物体的轮廓标签。
[0023]对同一批次的物体进行自动标注类别，并将标签信息保存在json文件中。
[0024]具体地，所述的深度学习模型包括但不限于实例分割模型和目标检测模型。
[0025]具体地，所述的生活垃圾数据集Copy
‑
Paste数据增强，包括如下步骤：
[0026]读取需要进行Copy
‑
Paste数据增强的生活垃圾数据集的标签，分离出生活垃圾数据集中每个物体以及物体的标签信息；
[0027]选择所要粘贴的图像模板并生成分布点，将N个物体随机粘贴到所选的图像模板上，同时将该N个物体的标签信息存入该模板对应的标签文件当中，N为整数；
[0028]最后，移除图像模板中被完全遮挡的对象，并更新被部分遮挡的对象的掩膜和矩形框。
[0029]具体地，所述标签信息包括物体的轮廓信息以及物体的类别信息。
[0030]具体地，所述分分离出生活垃圾数据集中每个物体以及物体的标签信息生活垃圾数据集有如下步骤：
[0031]读取图像的标签文件，所述标签文件为json格式；
[0032]根据物体的轮廓点集生成包围每个物体的矩形框、x横坐标，y纵坐标、以及w宽、h高；
[0033]将物体的轮廓点集减去x横坐标、y纵坐标得到分离好的物体轮廓标签；
[0034]根据x横坐标、y纵坐标、w宽、h高以及物体的轮廓点集，将图像中的物体裁剪出来。
[0035]具体地，所述的图像模板选择含带有伪标签的生活垃圾传送带背景。
[0036]具体地，所述使用深度学习模型对第一批生活垃圾数据集A1进行训练，包括以下步骤：
[0037]对需要进行训练的生活垃圾数据集进行线上数据增强，包括但不限于：裁剪、水平翻转、竖直翻转、旋转、改变图像亮度和对比度和部分像素置零；
[0038]使用SGD优化器进行训练，使用的学习率策略为带预热的余弦退火。
[0039]由上述对本专利技术的描述可知，与现有技术相比，本专利技术具有如下有益效果：
[0040](1)本专利技术提出的一种基于Copy
‑
Paste数据增强的生活垃圾数据集生成方法，首先将生活垃圾分作若干批次，每一批次为相同类别，并且分批将生活垃圾稀疏放置在传送带上；使用RGB
‑
D采集系统对物体进行彩色图和高度图的图像采集；利用高度图中物体的轮廓信息和高度信息，对彩色图进行自动标注；通过Copy
‑
Paste将N个物体随机粘贴到图像模板上，N为整数，生成第一批生活垃圾数据集A1；使用深度学习模型对第一批生活垃圾数据集A1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据增强的生活垃圾数据集生成方法，其特征在于，方法具体步骤如下：将生活垃圾分作若干批次，每一批次为相同类别，并且分批将生活垃圾稀疏放置在传送带上；使用RGB
‑
D采集系统对物体进行彩色图和高度图的图像采集；所述的RGB
‑
D采集系统分为彩色成像模块和高度成像模块，所述的彩色成像模块，由Linea Color Camera和同轴光源组成，用于采集物体的彩色图；所述的高度成像模块，为Laser Line
‑
Scaning Sensor，其内部包含一个激光发射器和两台单色相机，用于采集物体的深度图；所述的图像采集为RGB
‑
D系统使用编码器将输送带的位移按固定的比例转换为脉冲信号，然后同时触发彩色成像模块和高度成像模块进行数据的采集；利用高度图中物体的轮廓信息和高度信息，对彩色图进行自动标注；通过Copy
‑
Paste将N个物体随机粘贴到图像模板上，N为整数，生成第一批生活垃圾数据集A1；使用第一批生活垃圾数据集A1对深度学习模型进行训练；使用训练好的深度学习模型对未标注的生活垃圾数据集D进行预测；以带有伪标签的数据集作为图像模板，通过Copy
‑
Paste对第一批生活垃圾数据集A1进行数据增强，生成第二批生活垃圾数据集A2；合并第一批生活垃圾数据集A1和第二批生活垃圾数据集A2，形成合并生活垃圾数据集B1。2.根据权利要求1所述的一种基于Copy
‑
Paste数据增强的生活垃圾数据集生成方法，其特征在于，所述的利用高度图中物体的轮廓信息和高度信息，对彩色图进行自动标注，包括如下步骤：读取需要进行自动标注的生活垃圾图像，获取采集的高度图中物体的轮廓信息以及高度信息；利用高度图的高度信息将传送带上的干扰物进行去除；通过高度图生成物体的掩膜图像，得到物体的轮廓标签；对同一批次的物体进行自动标注类别，并将标签信息保存在json文件中。3.根据权利要求2所述的一种基于Copy
‑
Paste数据增强的生活垃圾数据集生成方法，其特征在于，对高度图生成的掩膜图像使用OpenCV的findContours函数得到物体的轮廓标签，并标注类别。4.根据权利要求1所述的一种基于Copy
‑
Paste数据增强的生活垃圾数据集生成方法，其特征在于，所述...

【专利技术属性】
技术研发人员：杨建红，蔡振兴，李建涛，房怀英，陈伟鑫，计天晨，杨天成，胡杨洋，汪鑫，黄斐智，冀效胜，
申请(专利权)人：华侨大学，
类型：发明
国别省市：