生成图像分类网络与图像分类方法、装置、设备及介质制造方法及图纸

本公开提供了一种生成图像分类网络及图像分类方法、装置、电子设备及存储介质，该生成图像分类网络的方法包括：获取本轮训练的图像样本集合；将图像样本集合分别输入第一图像分类网络以及第二图像分类网络，得到第一图像分类网络输出的第一输出结果及第二图像分类网络输出的第二输出结果；基于第一输出结果以及每张样本图像对应的真实类别标签，确定预设的第一损失函数的第一损失；基于本轮训练的第一输出结果以及历史第二输出结果，确定预设的第二损失函数的第二损失；基于第一损失及第二损失对第一图像分类网络进行参数调整；重复多轮训练，获得训练完成的第一图像分类网络。本申请实施例，可以提升第一图像分类网络的训练精度。度。度。

【技术实现步骤摘要】
生成图像分类网络与图像分类方法、装置、设备及介质


[0001]本公开涉及计算机视觉
，具体而言，涉及一种生成图像分类网络的方法、图像分类方法、装置、电子设备和存储介质。

技术介绍

[0002]随着计算机技术的发展，各类深度学习模型逐渐开始在各个领域得到应用。其中，图像分类被认为是计算机视觉中最基本的任务，通常基于图像分类的结果进行各种下游任务，比如物体检测、视频分析或者语义分割等。因此，如何提高图像分类精度显得尤为重要。

技术实现思路

[0003]本公开实施例至少提供一种生成图像分类网络的方法、图像分类方法、装置、电子设备及存储介质。
[0004]本公开实施例提供了一种生成图像分类网络的方法，包括：
[0005]在每一轮训练中，获取本轮训练的图像样本集合；所述图像样本集合包括至少两张样本图像，每张所述样本图像标注有所述每张样本图像的真实类别标签；
[0006]将所述图像样本集合分别输入第一图像分类网络以及第二图像分类网络，得到本轮训练所述第一图像分类网络输出的第一输出结果以及所述第二图像分类网络输出的第二输出结果，所述第二图像分类网络基于已完成的至少一轮训练中获得的调整参数后的所述第一图像分类网络得到；
[0007]基于本轮训练得到的第一输出结果以及所述每张样本图像对应的真实类别标签，确定预设的第一损失函数的第一损失；
[0008]基于本轮训练的第一输出结果以及历史第二输出结果，确定预设的第二损失函数的第二损失，所述第二损失函数表征第一输出结果与历史第二输出结果中相似度大于预设阈值的样本图像之间的距离；所述历史第二输出结果包括本轮训练之前的至少一轮历史训练中获得的第二输出结果；
[0009]基于所述第一损失及所述第二损失对所述第一图像分类网络进行参数调整；
[0010]重复多轮所述训练，获得训练完成的第一图像分类网络。
[0011]本公开实施例中，由于同时根据第一损失函数以及第二损失函数对网络参数进行调整，也即，将传统的类中心向量与对比学习结合的方式进行网络训练，不仅可将同类图像样本之间的距离拉近，还可以在将同类图像样本之间的距离的同时，将更加相似的同类图像样本拉近，如此，可以达到让同类特征更加紧致的目标，进而有利于提升第一图像分类网络的图像分类精度。
[0012]在一种可能的实施方式中，所述基于所述第一损失及所述第二损失对所述第一图像分类网络进行参数调整之前，所述方法还包括：
[0013]基于本轮训练的第二输出结果以及所述历史第二输出结果，生成本轮训练中所述图像样本集合的虚拟类别标签；
[0014]基于本轮训练的第一输出结果和所述虚拟类别标签之间的差异，确定预设的第三损失函数的第三损失；
[0015]所述基于所述第一损失及所述第二损失对所述第一图像分类网络进行参数调整，包括：
[0016]基于所述第一损失、所述第二损失以及所述第三损失的加权和对所述第一图像分类网络进行参数调整。
[0017]本公开实施例中，由于基于三个损失函数来对第一图像分类网络进行约束，也即，除了第一损失函数以及第二损失函数之外，还通过第三损失函数对第一输出结果和虚拟类别标签进行约束，如此，可以进一步提升第一图像分类网络的图像分类精度。
[0018]在一种可能的实施方式中，所述第二图像分类网络通过对所述已完成的至少一轮训练中获得的调整参数后的第一图像分类网络进行滑动平均得到。
[0019]本公开实施例中，第二图像分类网络是通过对第一图像分类网络以较慢的速度进行积累和迭代得到的，这样可以保证历史第二输出结果的时效性，进而可以提高第二损失函数的确定精度，从而有利于提升第一图像分类网络的分类精度。
[0020]在一种可能的实施方式中，所述本轮训练的第一输出结果包括本轮训练的每张样本图像的第一特征以及本轮训练的所述每张样本图像的第一预测概率分布，所述第一预测概率分布表征所述每张样本图像属于预设的多个类别中的每个类别的概率的分布；
[0021]所述基于本轮训练的第一输出结果以及所述每张样本图像对应的真实类别标签，确定预设的第一损失函数的第一损失，包括：
[0022]基于所述本轮训练的每张样本图像的第一预测概率分布以及所述本轮训练的每张样本图像对应的真实类别标签，确定所述第一损失函数的第一损失。
[0023]本实施方式中，通过每张样本图像的第一预测概率分布以及每张样本图像对应的真实类别标签，确定所述第一损失函数的第一损失，可以提升第一损失的确定精度，进而有利于提升第一图像分类网络的图像分类精度。
[0024]在一种可能的实施方式中，所述历史第二输出结果包括历史至少一轮训练中获取的每张样本图像的第二特征；
[0025]所述基于所述本轮训练的第一输出结果以及历史第二输出结果，确定预设的第二损失函数的第二损失，包括：
[0026]基于所述本轮训练的每张样本图像的第一特征以及所述历史至少一轮训练中获取的每张样本图像的第二特征，确定所述第二损失函数的第二损失。
[0027]本实施方式中，通过每张样本图像的第一特征以及所述历史至少一轮训练中获取的每张样本图像的第二特征，来确定所述第二损失函数的第二损失，可以提升第二损失的确定精度，进而有利于提升第一图像分类网络的图像分类精度。
[0028]在一种可能的实施方式中，所述本轮训练的第一输出结果包括本轮训练的每张图片的第一预测概率分布，所述本轮训练的第二输出结果包括本轮训练的每张样本图像的第二特征，所述历史第二输出结果包括历史至少一轮训练中第二图像分类网络输出的每张样本图像的第二特征以及每张样本图像的第二预测概率分布，所述第二预测概率分布表征所述每张样本图像属于预设的多个类别中的每个类别的概率的分布；
[0029]所述基于本轮训练的第二输出结果以及所述历史第二输出结果，生成本轮训练中
所述图像样本集合的虚拟类别标签，包括：
[0030]针对本轮训练的每张样本图像，确定所述本轮训练的图像样本的第二特征相对于所述历史第二输出结果中的每张样本图像的第二特征之间的相似度分布；
[0031]基于所述相似度分布对所述历史第二输出结果中的每张样本图像的第二概率分布进行加权处理，得到所述本轮训练的图像样本的虚拟类别标签；
[0032]所述基于本轮训练的第一输出结果和所述虚拟类别标签之间的差异，确定预设的第三损失函数的第三损失，包括：
[0033]基于所述本轮训练的每张样本图像的虚拟类别标签以及所述本轮训练的每张样本图像的第一预测概率分布，确定所述第三函数的第三损失。
[0034]本公开实施例中，在对第一图像分类网络训练的过程中，还通过第三损失函数对相似的图像样本的第一预测概率分布进行约束，使得相似的图像样本预测出相似的概率分布，进而可以进一步的将相似样本的特征学的更加紧致，提升了第一图像分类网络的图像分类能力。
[0035]在一种可能的实施方式中，在基于本轮训练的第一输出结果以及历史第二输出结本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成图像分类网络的方法，其特征在于，包括：在每一轮训练中，获取本轮训练的图像样本集合；所述图像样本集合包括至少两张样本图像，每张所述样本图像标注有所述每张样本图像的真实类别标签；将所述图像样本集合分别输入第一图像分类网络以及第二图像分类网络，得到本轮训练所述第一图像分类网络输出的第一输出结果以及所述第二图像分类网络输出的第二输出结果，所述第二图像分类网络基于已完成的至少一轮训练中获得的调整参数后的所述第一图像分类网络得到；基于本轮训练得到的第一输出结果以及所述每张样本图像对应的真实类别标签，确定预设的第一损失函数的第一损失；基于本轮训练的第一输出结果以及历史第二输出结果，确定预设的第二损失函数的第二损失，所述第二损失函数表征第一输出结果与历史第二输出结果中相似度大于预设阈值的样本图像之间的距离；所述历史第二输出结果包括本轮训练之前的至少一轮历史训练中获得的所述第二输出结果；基于所述第一损失及所述第二损失对所述第一图像分类网络进行参数调整；重复多轮所述训练，获得训练完成的第一图像分类网络。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一损失及所述第二损失对所述第一图像分类网络进行参数调整之前，所述方法还包括：基于本轮训练的第二输出结果以及所述历史第二输出结果，生成本轮训练中所述图像样本集合的虚拟类别标签；基于本轮训练的第一输出结果和所述虚拟类别标签之间的差异，确定预设的第三损失函数的第三损失；所述基于所述第一损失及所述第二损失对所述第一图像分类网络进行参数调整，包括：基于所述第一损失、所述第二损失以及所述第三损失的加权和对所述第一图像分类网络进行参数调整。3.根据权利要求1或2所述的方法，其特征在于，所述第二图像分类网络通过对所述已完成的至少一轮训练中获得的调整参数后的第一图像分类网络进行滑动平均得到。4.根据权利要求1所述的方法，其特征在于，所述本轮训练的第一输出结果包括本轮训练的每张样本图像的第一特征以及本轮训练的所述每张样本图像的第一预测概率分布，所述第一预测概率分布表征所述每张样本图像属于预设的多个类别中的每个类别的概率的分布；所述基于本轮训练的第一输出结果以及所述每张样本图像对应的真实类别标签，确定预设的第一损失函数的第一损失，包括：基于所述本轮训练的每张样本图像的第一预测概率分布以及所述本轮训练的每张样本图像对应的真实类别标签，确定所述第一损失函数的第一损失。5.根据权利要求4所述的方法，其特征在于，所述历史第二输出结果包括历史至少一轮训练中获取的每张样本图像的第二特征；所述基于所述本轮训练的第一输出结果以及历史第二输出结果，确定预设的第二损失函数的第二损失，包括：
基于所述本轮训练的每张样本图像的第一特征以及所述历史至少一轮训练中获取的每张样本图像的第二特征，确定所述第二损失函数的第二损失。6.根据权利要求2所述的方法，其特征在于，所述本轮训练的第一输出结果包括本轮训练的每张图片的第一预测概率分布，所述本轮训练的第二输出结果包括本轮训练的每张样本图像的第二特征，所述历史第二输出结果包括历史至少一轮训练中第二图像分类网络输出的每张样本图像的第二特征以及每张样本图像的第二预测概率分布，所述第二预测概率分布表征所述每张样本图像属于预设的多个类别中的每个类别的概率的分布；所述基于本轮训练的第二输出结果以及所述历史第二输出结果，生成本轮训练中所述图像样本集合的虚拟类别标签，包括：针对本轮训练的每张样本图像，确定所述本轮训练的图像样本的第二特征相对于所述历史第二输出结果中的每张样本图像的第二特...

【专利技术属性】
技术研发人员：郑明凯，游山，王飞，钱晨，
申请(专利权)人：上海商汤临港智能科技有限公司，
类型：发明
国别省市：