一种图像数据增强方法、装置、介质及设备制造方法及图纸

本发明专利技术公开了一种图像数据增强方法、装置、介质及设备，包括根据图像训练集对深度学习网络进行训练得到软标签生成器，图像训练集包含K个类别的图像样本集；获取第一图像样本的软标签和类别，软标签表征第一图像样本与K个类别的类别关联度；根据软标签生成器获取K

【技术实现步骤摘要】
一种图像数据增强方法、装置、介质及设备


[0001]本专利技术涉及人工智能
，具体涉及一种图像数据增强方法、装置、介质及设备。

技术介绍

[0002]随着人工智能的发展，深度学习模型已广泛应用到各行各业，在各个场景发挥着非常重要的作用。深度学习网络模型需要大量样本数据进行训练，而在样本的数据量不足的情况下模型的训练则会出现过拟合的情况。因此，提出了对训练数据的数据增强方法，也即通过在现有样本数据的基础上进行几何变换和颜色变换等操作以生成更多的样本数据。
[0003]在计算机视觉领域，针对图像分类网络和图像训练样本，还提出了混合样本的数据增强方法，比如Mixup、Cutout和CutMix，混合样本后的图像可以如图1所示。这三种方法皆通过生成难例的方式提升深度学习分类网络的泛化性，但是上述方法都是从训练集中随机抽取两个样本进行融合而合成难例新样本，对类别之间的关联性缺乏考虑，这导致难以衡量与控制合成后的样本对网络模型训练的难易程度。以CutMix为例，利用单车和猫的图片进行融合，模型会很容易分辨出单车和猫两个类别，但是如果样本是利用猫和狗的图片融合得到，模型将很难准确判断图片中的这两个类别，因为狗相对于单车，在外形上和猫更为相似。

技术实现思路

[0004]为了解决现有技术的问题，本专利技术提供了一种图像数据增强方法、装置、介质及设备。所述技术方案如下：
[0005]第一方面，本专利技术提供了一种图像数据增强方法，所述方法包括：
[0006]根据图像训练集对深度学习网络进行训练，得到软标签生成器，所述图像训练集包含K个类别的图像样本集；
[0007]获取第一图像样本，根据所述软标签生成器获取所述第一图像样本的软标签和类别，所述软标签表征所述第一图像样本与所述K个类别的类别关联度；
[0008]根据所述软标签生成器获取K-1个类别的图像样本集中图像样本的类别代表性，所述K-1个类别中不包含所述第一图像样本的类别；
[0009]根据所述第一图像样本的软标签和所述图像样本的类别代表性，在所述K-1个类别的图像样本集中选取至少一个图像样本作为第二图像样本；
[0010]将所述第一图像样本和所述第二图像样本进行融合，得到目标图像样本，完成对所述图像训练集的图像数据增强。
[0011]进一步地，所述根据所述软标签生成器获取K-1个类别的图像样本集中图像样本的类别代表性包括：
[0012]通过所述软标签生成器将所述K-1个类别的图像样本集中的图像样本映射至同一个特征空间；
[0013]获取在所述特征空间中所述K-1个类别的图像样本空间向量集；
[0014]根据所述K-1个类别的图像样本空间向量集进行计算，得到在所述特征空间中所述K-1个类别的中心向量；
[0015]根据所述K-1个类别的中心向量，计算所述K-1个类别的图像样本集中的图像样本的类别代表性。
[0016]进一步地，所述根据所述K-1个类别的中心向量，计算所述K-1个类别的图像样本集中的图像样本的类别代表性包括：
[0017]确定所述K-1个类别中目标类别的中心向量和图像样本空间向量集；
[0018]基于向量相似度度量算法，对所述目标类别的图像样本空间向量集中的每一个图像样本空间向量，计算与所述目标类别的中心向量的相似度；
[0019]根据所述相似度确定所述目标类别的图像样本集中图像样本的类别代表性。
[0020]进一步地，所述根据所述第一图像样本的软标签和所述图像样本的类别代表性，在所述K-1个类别的图像样本集中选取至少一个图像样本作为第二图像样本包括：
[0021]根据所述第一图像样本的软标签，在K-1个类别中选取满足第一关联度的类别作为可选类别；
[0022]获取所述可选类别的图像样本集和所述可选类别的图像样本集中图像样本的类别代表性；
[0023]在所述可选类别的图像样本集中，选取至少一个图像样本作为第二图像样本，所述至少一个图像样本的类别代表性满足第二关联度。
[0024]进一步地，所述根据所述第一图像样本的软标签和所述图像样本的类别代表性，在所述K-1个类别的图像样本集中选取至少一个图像样本作为第二图像样本还包括：
[0025]根据所述第一图像样本的软标签对所述图像样本进行类间排序，得到第一序列；
[0026]根据所述图像样本的类别代表性对所述图像样本进行类内排序，得到第二序列；
[0027]根据所述第一序列和所述第二序列，得到所述图像样本的综合序列；
[0028]根据所述图像样本的综合排序选取至少一个图像样本作为第二图像样本，所述第二图像样本在所述综合序列中的序列位置满足预设阈值。
[0029]进一步地，所述将所述第一图像样本和所述第二图像样本进行融合，得到目标图像样本包括：
[0030]通过插值方式或填充方式将所述第一图像样本和所述第二图像样本进行融合，得到目标图像样本；
[0031]通过所述软标签生成器获取所述第二图像样本的软标签；
[0032]将所述第一图像样本的软标签和所述第二图像样本的软标签进行计算，得到所述目标图像样本的标签。
[0033]进一步地，所述获取第一图像样本，根据所述软标签生成器获取所述第一图像样本的软标签和类别包括：
[0034]从所述K个类别的样本集中抽取图像样本作为所述第一图像样本；
[0035]根据所述软标签生成器获取所述第一图像样本的软标签；
[0036]根据所述第一图像样本的软标签，计算判定所述第一图像样本的类别，所述第一图像样本的类别为所述K个类别中的任一类别。
[0037]第二方面，本专利技术提供了一种图像数据增强装置，所述装置包括：
[0038]训练模块，用于根据图像训练集对深度学习网络进行训练，得到软标签生成器，所述图像训练集包含K个类别的图像样本集；
[0039]第一获取模块，用于获取第一图像样本，根据所述软标签生成器获取所述第一图像样本的软标签和类别，所述软标签表征所述第一图像样本与所述K个类别的类别关联度；
[0040]第二获取模块，根据所述软标签生成器获取K-1个类别的图像样本集中图像样本的类别代表性，所述K-1个类别中不包含所述第一图像样本的类别；
[0041]选择模块，用于根据所述第一图像样本的软标签和所述图像样本的类别代表性，在所述K-1个类别的图像样本集中选取至少一个图像样本作为第二图像样本；
[0042]融合模块，用于将所述第一图像样本和所述第二图像样本进行融合，得到目标图像样本，完成对所述图像训练集的图像数据增强。
[0043]第三方面，本专利技术提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如第一方面所述的一种图像数据增强方法。
[0044]第四方面，本专利技术提供了一种计算机设备，所述设备包括处理器和存储器，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像数据增强方法，其特征在于，所述方法包括：根据图像训练集对深度学习网络进行训练，得到软标签生成器，所述图像训练集包含K个类别的图像样本集；获取第一图像样本，根据所述软标签生成器获取所述第一图像样本的软标签和类别，所述软标签表征所述第一图像样本与所述K个类别的类别关联度；根据所述软标签生成器获取K-1个类别的图像样本集中图像样本的类别代表性，所述K-1个类别中不包含所述第一图像样本的类别；根据所述第一图像样本的软标签和所述图像样本的类别代表性，在所述K-1个类别的图像样本集中选取至少一个图像样本作为第二图像样本；将所述第一图像样本和所述第二图像样本进行融合，得到目标图像样本，完成对所述图像训练集的图像数据增强。2.根据权利要求1所述的一种图像数据增强方法，其特征在于，所述根据所述软标签生成器获取K-1个类别的图像样本集中图像样本的类别代表性包括：通过所述软标签生成器将所述K-1个类别的图像样本集中的图像样本映射至同一个特征空间；获取在所述特征空间中所述K-1个类别的图像样本空间向量集；根据所述K-1个类别的图像样本空间向量集进行计算，得到在所述特征空间中所述K-1个类别的中心向量；根据所述K-1个类别的中心向量，计算所述K-1个类别的图像样本集中的图像样本的类别代表性。3.根据权利要求2所述的一种图像数据增强方法，其特征在于，所述根据所述K-1个类别的中心向量，计算所述K-1个类别的图像样本集中的图像样本的类别代表性包括：确定所述K-1个类别中目标类别的中心向量和图像样本空间向量集；基于向量相似度度量算法，对所述目标类别的图像样本空间向量集中的每一个图像样本空间向量，计算与所述目标类别的中心向量的相似度；根据所述相似度确定所述目标类别的图像样本集中图像样本的类别代表性。4.根据权利要求1所述的一种图像数据增强方法，其特征在于，所述根据所述第一图像样本的软标签和所述图像样本的类别代表性，在所述K-1个类别的图像样本集中选取至少一个图像样本作为第二图像样本包括：根据所述第一图像样本的软标签，在K-1个类别中选取满足第一关联度的类别作为可选类别；获取所述可选类别的图像样本集和所述可选类别的图像样本集中图像样本的类别代表性；在所述可选类别的图像样本集中，选取至少一个图像样本作为第二图像样本，所述至少一个图像样本的类别代表性满足第二关联度。5.根据权利要求1所述的一种图像数据增强方法，其特征在于，所述根据所述第一图像样本的软标签和所述图像样本的类别代表性，在所述K-1个类别的图像样本集中选取至少一个图像样本作为第二图像样本还包括：根据所述...

【专利技术属性】
技术研发人员：李悦翔，陈嘉伟，魏东，何楠君，马锴，郑冶枫，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：