一种基于均衡互补熵的长尾图像分类方法及系统技术方案

本发明专利技术公开了一种基于均衡互补熵的长尾图像分类方法及系统，其方法包括如下步骤：针对获取的长尾图像训练集，读取图像数据及标签；随机初始化卷积神经网络参数，采用mini

【技术实现步骤摘要】
一种基于均衡互补熵的长尾图像分类方法及系统


[0001]本专利技术涉及深度学习图像分类
，具体涉及一种基于均衡互补熵的长尾图像分类方法及系统。

技术介绍

[0002]近年来，基于深度学习的图像分类技术取得巨大的成功，但大多数性能优越的图像分类技术依赖类别平衡的数据集，导致在类别不平衡的数据集中无法发挥较好的分类性能。在现实场景下，类别不平衡的数据集更趋向于长尾分布，其中数量占优势的类别称为头类，不具优势的类别称为尾类。若直接将长尾分布的数据集用于模型训练，由于头类和尾类的样本数量差异较大，传统的图像分类技术模型容易偏向于训练样本较多的头类，忽视样本数量较少的尾类，进而造成分类性能下降。为了解决这一问题，目前较为常用的解决方法有重采样(re
‑
sampling)技术和重加权(re
‑
weighting)技术。最基本的重采样技术通过过采样(over
‑
sampling)随机增加尾类的样本数量，或通过欠采样(under
‑
sampling)随机减少头部类的样本数量，使得长尾数据集的分布变得相对均衡。重加权技术为损失函数设计一个权重因子，以平衡不同类别间的损失值。然而，这两种常用的技术也存在一定的弊端。例如，重采样技术容易造成模型的过拟合或者欠拟合现象，而重加权技术需要精心地设计一个权重因子才能有效地提高模型分类性能。

技术实现思路

[0003]针对上述问题，本专利技术提出一种基于均衡互补熵的长尾图像分类方法及系统，通过新的均衡互补熵的训练算法能够解决长尾图像的分类问题，带来更好的分类效果，拥有更好的泛化能力。
[0004]本专利技术采用如下技术方法来实现：
[0005]一种基于均衡互补熵的长尾图像分类方法，包括以下步骤：
[0006]步骤1、获取长尾图像训练集，针对长尾图像训练集，读取图像数据及标签；
[0007]步骤2、随机初始化卷积神经网络参数，采用mini
‑
batch的方式对提取的图像数据进行前向计算，得到全连接层输出，并计算Softmax预测概率；
[0008]步骤3、设计均衡互补熵损失函数，通过在归一化的互补熵损失函数中引入一个自适应权重系数，得到均衡互补熵损失函数，然后利用Softmax预测概率计算互补类的损失；
[0009]步骤4、联合交叉熵损失函数和均衡互补熵损失函数对分类模型进行训练，引导网络模型参数更新，得到图像分类模型。
[0010]一种基于均衡互补熵的长尾图像分类系统，其包括如下步骤：
[0011]数据集处理模块，用于获取长尾图像训练集，针对长尾图像训练集，读取图像数据及标签；
[0012]预测概率计算模块，用于随机初始化卷积神经网络参数，采用mini
‑
batch的方式对提取的图像数据进行前向计算，得到全连接层输出，并计算Softmax预测概率；
[0013]均衡互补熵训练模块，用于设计均衡互补熵损失函数，通过在归一化的互补熵损失函数中引入一个自适应权重系数，得到均衡互补熵损失函数，然后利用Softmax预测概率计算互补类的损失；
[0014]分类模型获取模块，用于联合交叉熵损失函数和均衡互补熵损失函数对分类模型进行训练，引导网络模型参数更新，得到图像分类模型。
[0015]本专利技术的提供的基于均衡互补熵的长尾图像分类方法及系统，其相比于现有的技术，具有如下优点：
[0016]1、本专利技术提供的基于均衡互补熵的长尾图像分类方法及系统，该方法在不改变原始数据分布的前提下，能够充分利用各类样本的特征信息。在本专利技术中，我们利用交叉熵损失函数对主要目标(即ground
‑
truth类)进行分类训练。同时，利用互补熵对次要目标(即互补类)进行信息熵的运算以获取有用的特征信息。与只使用交叉熵损失进行训练的传统算法相比，这种针对互补类的训练能够有效地避免模型在训练的过程中，因One
‑
Hot编码而导致大量的互补类样本信息被忽视的情况。
[0017]2、本专利技术通过在互补熵损失函数中设计一个简单但有效的权重系数，能够将互补类损失进行均衡化处理，减少互补类对真值类的抑制作用。通过实验证明，本专利技术提出的均衡互补熵的训练算法能够在现有的技术上进一步地解决长尾图像的分类问题，与传统的方法相比，能够带来更好的分类效果，且拥有更好的泛化能力。
附图说明
[0018]利用附图对本专利技术作进一步说明，但附图中的实施例不构成对本专利技术的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
[0019]图1是本专利技术实施例提供的基于均衡互补熵的长尾图像分类方法流程示意图。
具体实施方式
[0020]下面结合附图对本专利技术的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本专利技术，但并不构成对本专利技术的限定。此外，下面所描述的本专利技术各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
[0021]实施例：
[0022]参见图1，本实施例提供的基于均衡互补熵的长尾图像分类方法，包括如下步骤：
[0023]S101、获取长尾图像训练集，针对长尾图像训练集，读取图像数据及标签。
[0024]读取输入图像的像素矩阵，用于后续的图像视觉特征处理。
[0025]S102、随机初始化卷积神经网络参数，采用mini
‑
batch的方式对提取的图像数据进行前向计算，得到全连接层输出，并计算Softmax预测概率。
[0026]利用卷积神经网络模型提取S101中输入图像的像素矩阵，进行卷积层、激活函数层和池化层等处理，得到全连接层输入X；将全连接层输入X与分类器权重W进行矩阵相乘，得到全连接层输出其中b
j
为偏置；然后对全连接层输出进行Softmax计算，得到图像被分类为各个类别的预测概率，其中Softmax激活函数的输出结果为一个K
×
1的向量，且Softmax的预测概率总和为1，K为类别数；
[0027]S103、设计均衡互补熵损失函数，通过在归一化的互补熵损失函数中引入一个自适应权重系数，得到均衡互补熵损失函数，然后利用Softmax预测概率计算互补类的损失。
[0028]本实施例设计一个自适应的权重因子以平衡不同互补类的损失值。该自适应权重因子通过为样本数量较多的互补类赋予较小的权重，同时为样本数量较少的互补类赋予较大的权重，使得不同互补类的损失值达到相对平衡，从而提高尾类被正确分类的概率。
[0029]在本实施例中，所设计的自适应权重系数的表达式为：
[0030][0031]其中，w
j
表示互补类j的权重系数，n
j
表示互补类j的样本数，n
sum
表示全部样本数，α是一个超参数设置。
[0032]在本实施例中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于均衡互补熵的长尾图像分类方法，其特征在于，包括：步骤1、获取长尾图像训练集，针对长尾图像训练集，读取图像数据及标签；步骤2、随机初始化卷积神经网络参数，采用mini
‑
batch的方式对提取的图像数据进行前向计算，得到全连接层输出，并计算Softmax预测概率；步骤3、设计均衡互补熵损失函数，通过在归一化的互补熵损失函数中引入一个自适应权重系数，得到均衡互补熵损失函数，然后利用Softmax预测概率计算互补类的损失；步骤4、联合交叉熵损失函数和均衡互补熵损失函数对分类模型进行训练，引导网络模型参数更新，得到图像分类模型。2.根据权利要求1所述的基于均衡互补熵的长尾图像分类方法，其特征在于，所述读取图像数据，包括：读取输入图像的像素矩阵，用于后续的图像视觉特征处理。3.根据权利要求1所述的基于均衡互补熵的长尾图像分类方法，其特征在于，所述得到全连接层输出，并计算Softmax预测概率，包括：采用卷积神经网络模型提取步骤1中输入长尾图像的像素矩阵，进行卷积层、激活函数层和池化层等前向计算处理，得到全连接层输入，根据全连接层输入得到全连接层输出，然后采用Softmax激活函数计算得到图像的Softmax预测概率。4.根据权利要求1所述的基于均衡互补熵的长尾图像分类方法，其特征在于，所述自适应权重系数表达式为：其中，w
j
表示互补类(不正确类)j的权重系数，n
j
表示互补类j的样本数，n
sum
表示全部样本数，α是一个超参数设置。5.根据权利要求1所述的基...

【专利技术属性】
技术研发人员：杨钊，胡陆宇，李嘉壕，罗名凯，曹任龙，
申请(专利权)人：广州大学，
类型：发明
国别省市：