用于视觉概念检测的自监督数据增强方法、系统、设备技术方案

本发明专利技术属于图像处理技术领域，公开了一种用于视觉概念检测的自监督数据增强方法、系统、设备，用于视觉概念检测的自监督数据增强方法包括：对数据集中的图像数据进行预处理，进行数据集的初步扩充；对图像对应标注信息进行修改与新增；新增旋转后图像对应的标注文件信息。本发明专利技术使用自监督中图像自身旋转的方法处理了MSCOCO数据集中的所有图像(包括训练集、验证集、测试集)。本发明专利技术修改并增加了MSCOCO数据集中用于目标检测与实例分割的标注信息。将本发明专利技术处理好的数据集应用于YOLOv3模型上，证明了处理后标注信息的可用性，并实现旋转后图像的检测，得到理想的检测效果。得到理想的检测效果。得到理想的检测效果。

【技术实现步骤摘要】
用于视觉概念检测的自监督数据增强方法、系统、设备


[0001]本专利技术属于图像处理
，尤其涉及一种用于视觉概念检测的自监督数据增强方法、系统、设备。

技术介绍

[0002]近年来，深度神经网络(Deep neural network，DNN)在目标检测、图像分类等计算机视觉任务上得到了广泛应用并取得了显著成果。然而，目标检测领域存在检测图像有一定角度的倾斜或者检测图像中的目标有一定角度倾斜的问题，从而导致此类图像检测精准度较低。目前，解决这一问题的可行方法是在不影响检测精度的情况下对数据集进行有效的数据增强操作。数据增强是一种常见的数据处理方法，并在处理目标检测模型上展现其显著优势，增强模型的泛化能力。
[0003]图像数据增强即让一张图片变得更加多样，数据增强是人工扩充数据集的一种方法，让有限的数据产生更多有价值的数据。通过寻找这些样本中的相似特征，放入神经网络中进行训练从而提高网络模型的鲁棒性，降低外界因素对目标检测的影响，解决模型过拟合等问题。图像的数据增强操作包含水平翻转、平移、旋转、裁剪、视角变换、jpeg压缩、尺度变换、颜色变换、cutout等。自监督任务是一种基于数据变换的任务，也是一种数据增强的方法，自监督学习的出发点是考虑在缺少标签或者没有标签的情况下，依然能够学习到原始图像中有意义的特征。在数据增强的过程中，这些常用的变换方法可以被全部使用。然而还要考虑图像中目标的标注框(box)位置变换的情况。
[0004]目标检测任务是把图像输入到网络中，经特征提取后输出目标的类别及位置信息。目标检测比较流行的算法可以分为两类，一类是基于Region Proposal的R
‑
CNN系算法(R
‑
CNN，Fast R
‑
CNN，Faster R
‑
CNN等)，首先生成候选区域，然后对候选区域进行分类和调整，最终获得检测结果。而另一类是Yolo，SSD等算法，其仅仅使用一个卷积神经网络CNN直接预测不同目标的类别与位置信息。目标检测有两个主要任务：物体分类和定位。检测过程中，需要依赖于图像的标注文件，其中的标注信息(annotations)主要包括图像中目标物体的矩形标注框、标注框对应的坐标值、目标类别、图像名字及目标类别等。
[0005]现有技术的缺陷如下：MSCOCO数据集中物体尺度占比均衡，即small、middle、large object的尺度占比平均；MSCOCO数据集相比于其他数据集而言，bounding box的数量几乎是ImageNet Det数据集中的两倍，而图像数量不足ImageNet Det中的三分之一，说明MSCOCO数据集中每张图像上存在多个目标。在实际的检测任务中出现检测精度低及漏检的问题，导致MSCOCO数据集在目标检测任务上检测效果不理想。
[0006]现有方法存在严重的标签依赖性，当待检图像存在倾斜或图像中的目标倾斜时，目标物体的标注框(标注信息)位置改变从而导致标注信息(标签)缺失，进而影响检测的精度。
[0007]通过上述分析，现有技术存在的问题及缺陷为：现有的数据增强方法存在严重的标签依赖性，且无法精准的进行数据集的扩充。
[0008]解决以上问题及缺陷的难度为：在自监督旋转的基础上，如何把原始数据集中每张图片上涉及到的所有object坐标信息进行准确的标注，且坐标信息格式符合原始数据集格式。
[0009]解决以上问题及缺陷的意义为：随着神经网络规模的增加，需要学习的参数也会与之俱增，从而导致拟合现象的发生，当数据集较小时，过多的参数会拟合数据集的所有特征，而非特征之间存在的共性信息。神经网络可以高度拟合训练数据的分布情况，但是对于测试数据来说精准度很低，缺乏泛化能力。为了防止过拟合现象，需要对数据进行增强处理。

技术实现思路

[0010]针对现有技术存在的问题，本专利技术提供了一种用于视觉概念检测的自监督数据增强方法、系统、设备。
[0011]本专利技术是这样实现的，一种用于视觉概念检测的自监督数据增强方法，所述用于视觉概念检测的自监督数据增强方法包括：
[0012]使用自监督中图像自身旋转的方法对图像进行处理，修改并增加图像中用于目标检测与实例分割的标注信息。
[0013]进一步，所述用于视觉概念检测的自监督数据增强方法包括以下步骤：
[0014]步骤一，对数据集中的图像数据进行预处理，进行数据集的初步扩充；
[0015]步骤二，对图像对应标注信息进行修改与新增；新增旋转后图像对应的标注文件信息。
[0016]对图像数据进行预处理后，再将所有处理后的图像所对应的标注文件信息进行补充，积极的作用在于，使所有图像数据存在各自对应的标签，解决数据扩充带来的标签缺失问题，同时为后续的检测模型提供精准的数据。
[0017]进一步，步骤一中，所述对数据集中的图像数据进行预处理包括：
[0018]对图像分别进行四个角度的旋转处理，并对应修改图像的名称。
[0019]进一步，所述四个角度分别为：0
°
、90
°
、180
°
、270
°
。
[0020]进一步，所述对图像对应标注信息进行修改与新增包括：将图像标注文件中的images字段与annotations字段进行修改与新增。
[0021]进一步，所述对图像对应标注信息进行修改与新增包括以下步骤：
[0022]1)将images字段中file_name的值修改为图像名称一致；当图像置为90
°
和270
°
时，交换images字段中height与width的值；
[0023]2)根据images字段中id与annotations中image_id的对应关系，找到每张图像中的所有object的bbox，分别根据四个旋转角度将bbox的坐标信息进行修改。
[0024]进一步，所述分别根据四个旋转角度将bbox的坐标信息进行修改包括：
[0025]根据height与width的值计算标注框旋转中心，把旋转中心设为新的坐标轴原点；计算基于新原点的坐标值；利用两点连线与x坐标轴的正向的夹角正弦/余弦值，计算当前坐标点到新的原点即旋转中心的直线距离；旋转一定角度后，将旋转角度与原始夹角相加，计算所有旋转后对应角度的坐标值；将坐标轴原点从旋转中心转换到原始左上角。
[0026]进一步，所述对图像对应标注信息进行修改与新增还包括：将每张图片相应的id
与image_id进行统一修改。
[0027]进一步，所述新增旋转后图像对应的标注文件信息包括：
[0028]对图像相应的目标检测与实例分割的标注信息进行四种旋转角度的修改。
[0029]进一步，所述用于视觉概念检测的自监督数据增强方法还包括：
[0030]将增强后的数据部署在YOLOv3模型上进行实验验证，确定数据增强处理的有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于视觉概念检测的自监督数据增强方法，其特征在于，所述用于视觉概念检测的自监督数据增强方法使用自监督中图像自身旋转的方法对图像进行处理，修改并增加图像中用于目标检测与实例分割的标注信息。2.如权利要求1所述用于视觉概念检测的自监督数据增强方法，其特征在于，所述用于视觉概念检测的自监督数据增强方法包括以下步骤：步骤一，对数据集中的图像数据进行预处理，进行数据集的初步扩充；步骤二，对图像对应标注信息进行修改与新增；新增旋转后图像对应的标注文件信息。3.如权利要求2所述用于视觉概念检测的自监督数据增强方法，其特征在于，步骤一中，所述对数据集中的图像数据进行预处理包括：对图像分别进行四个角度的旋转处理，并对应修改图像的名称。4.如权利要求3所述用于视觉概念检测的自监督数据增强方法，其特征在于，所述四个角度分别为：0
°
、90
°
、180
°
、270
°
。5.如权利要求2所述用于视觉概念检测的自监督数据增强方法，其特征在于，所述对图像对应标注信息进行修改与新增包括：将图像标注文件中的images字段与annotations字段进行修改与新增。6.如权利要求5所述用于视觉概念检测的自监督数据增强方法，其特征在于，所述对图像对应标注信息进行修改与新增包括以下步骤：1)将images字段中file_name的值修改为图像名称一致；当图像置为90
°
和270
°
时，交换images字段中height与width的值；2)根据images字段中id与annotations中image_id的对应关系，找到每张图像中的所有object的bbox，分别根据四个旋转角...

【专利技术属性】
技术研发人员：韩笑，杜方，余振华，宋丽娟，陈宇，王海鹏，
申请(专利权)人：宁夏大学，
类型：发明
国别省市：