一种面向类别不平衡数据集的序数回归问题解决方法技术

本发明专利技术涉及一种面向类别不平衡数据集的序数回归问题解决方法，包括：获取数据集，构建神经网络，数据集包括多个样本，每个样本带有标签，标签用于表示样本所属的类别，神经网络的损失函数为weight kappa loss损失函数；自数据集中选择一个batch，将该batch的所有样本送入神经网络，神经网络的输出为各个样本属于各个类别的预测概率；基于神经网络的输出统计概率混淆矩阵，并计算概率混淆矩阵的两个边缘分布的距离；基于两个边缘分布的距离更新损失函数；计算网络误差，反向传播更新神经网络参数。与现有技术相比，本发明专利技术通过对边缘分布进行惩罚，解决了混淆矩阵的全零列问题，消除了某种类别无法被检出的严重后果，提升了神经网络模型的性能。络模型的性能。络模型的性能。

【技术实现步骤摘要】
一种面向类别不平衡数据集的序数回归问题解决方法


[0001]本专利技术涉及类别不平衡的序数回归问题领域，尤其是涉及一种面向类别不平 衡数据集的序数回归问题解决方法。

技术介绍

[0002]近年来机器学习技术蓬勃发展的趋势尤为显著，在机器学习领域，分类 (classification)问题是最基础且最重要的研究方向，很多AI应用都可以从分类问题 演变而来，同时许多问题也可以转化成分类问题，例如计算机视觉中自然场景的图 像分割可以转化为对每个像素点进行分类后赋予相应的标签。
[0003]序数回归问题，又称序数分类问题，是一种典型的机器学习任务。序数回归问 题的类别之间存在固有的顺序，比如每个类别的含义按照时间、空间、程度等递增。 序数回归问题介于分类问题和回归问题之间。与分类问题相比，序数回归问题的类 别之间并不是独立的，而是有一定的顺序关系。与回归问题相比，序数回归问题的 每一类之间是离散的而非连续的。很多的实际问题都可以归纳为序数回归问题，包 括年龄估计、糖尿病性视网膜病变分级、图像年代估计、面部表情强度估计、单目 深度估计等。
[0004]类别不平衡是指分类问题中不同类别的样本数量差别很大。常见的分类问题的 解决方法往往假设各个类别的样本数量相当。如果不同类别的样本数量稍有差别， 通常对算法性能的影响不大可以忽略。但若不同类别的样本数量差距很大，则训练 过程容易陷入局部最优解，比如模型将所有样本预测为数量较多的类等。
[0005]weighted kappa loss是一种序数回归问题常用的损失函数，可以使神经网络模 型达到更高的分类性能。然而，使用weighted kappa loss作为序数回归问题的损失 函数时，在类别不平衡的数据集上，weighted kappa loss在训练过程中容易陷入局 部最优解，导致其训练出的神经网络模型的混淆矩阵出现全零列，使得训练好的模 型性能差，不能达到预期目标。混淆矩阵出现全零列将导致某种类别根本无法被预 测到，这在很多实际问题中都是非常不合理的。目前，基于类别不平衡的数据集求 解序数回归问题时，尚无较可靠的方法解决全零列问题。

技术实现思路

[0006]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种面向类别不 平衡数据集的序数回归问题解决方法。
[0007]本专利技术的目的可以通过以下技术方案来实现：
[0008]一种面向类别不平衡数据集的序数回归问题解决方法，包括以下步骤：
[0009]S1、获取数据集，构建神经网络，所述数据集包括多个样本，共分为K个类别， K>1，每个样本带有标签，所述标签用于表示样本所属的类别，所述神经网络的损 失函数为weight kappa loss损失函数；如果数据集不是类别不平衡数据集，则正常 进行神经网络训练，否则，执行步骤S2；
[0010]S2、自数据集中选择一个batch，一个batch中包含M个样本，M>0，将该batch 的所有样本送入神经网络，神经网络的输出为各个样本属于各个类别的预测概率；
[0011]S3、基于神经网络的输出统计概率混淆矩阵，并计算概率混淆矩阵的两个边 缘分布的距离；
[0012]S4、基于两个边缘分布的距离更新损失函数；
[0013]S5、基于当前batch中各个样本所属的类别、神经网络的输出和损失函数计算 网络误差，反向传播更新神经网络参数，重复步骤S2，直至神经网络训练完成。
[0014]进一步的，步骤S1中，如果数据集的不平衡比大于预设置的平衡阈值，则数 据集为类别不平衡数据集，所述不平衡比ρ的计算公式为：
[0015][0016]其中，A表示数据集中样本数量最多的类别，B表示数据集中样本数量最少的 类别，C
i
表示数据集中属于类别i的样本的数量。
[0017]进一步的，预设置的平衡阈值为1.5。
[0018]进一步的，步骤S3中统计概率混淆矩阵具体为：
[0019]建立概率混淆矩阵W，W∈R
K
×
K
，将概率混淆矩阵W初始化为全零矩阵；将 神经网络的输出表示为输出矩阵O，O∈R
M
×
K
，输出矩阵O第p行第q列的元素O
p,q
的 值为第p个样本属于类别q的预测概率，1≤p≤M，1≤q≤K；基于输出矩阵O更新 概率混淆矩阵W的各个元素，1≤i≤K，1≤j≤K，其中，概率混淆矩阵W第i行第j列 的元素W
i,j
的值更新为：
[0020][0021]其中，t
p
表示第p个样本的ground truth，ground truth即基于第p个样本的标签 确定的第p个样本所属的类别。
[0022]进一步的，步骤S3中计算概率混淆矩阵的两个边缘分布具体为：
[0023]计算概率混淆矩阵W行累积的边缘分布r和列累积的边缘分布c：
[0024][0025][0026][0027][0028][0029][0030]其中，r为概率混淆矩阵W行累积的边缘分布，c为概率混淆矩阵W列累积的边 缘分
布。
[0031]进一步的，边缘分布r和边缘分布c是长度为K的向量，两个边缘分布的距离定 义为两个向量的KL散度。
[0032]进一步的，将两个边缘分布的距离与损失函数相加得到新的损失函数：
[0033][0034]其中，表示更新后的损失函数，f(QWK)表示weight kappa loss 损失函数，D(r,c)表示两个边缘分布的距离。
[0035]进一步的，输出矩阵O中，第p行第q列的元素O
p,q
的值小于等于1，第p行的K个 元素的值的总和为1。
[0036]进一步的，步骤S5中，当前batch中各个样本所属的类别和神经网络的输出 作为参数输入到损失函数中，损失函数计算出的函数值为网络误差。
[0037]进一步的，反向传播更新网络参数具体为：将网络误差逐步逆向传播到神经网 络的每一层，对神经网络每一层的参数进行调整。
[0038]与现有技术相比，本专利技术通过对边缘分布进行惩罚，解决了混淆矩阵的全零列 问题，消除了某种类别无法被检出的严重后果，提升了神经网络模型的性能。
附图说明
[0039]图1为本专利技术的流程图；
[0040]图2为基于网络的输出统计概率混淆矩阵及计算边缘分布距离的示意图；
[0041]图3为添加边缘分布惩罚前后的混淆矩阵示意图。
具体实施方式
[0042]下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方 案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范 围不限于下述的实施例。
[0043]实施例1：
[0044]糖尿病性视网膜病变(DR)是糖尿病常见并发症之一。长期的高血糖环境会 损坏视网膜，引起微血管瘤、软性渗出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向类别不平衡数据集的序数回归问题解决方法，其特征在于，包括以下步骤：S1、获取数据集，构建神经网络，所述数据集包括多个样本，共分为K个类别，K＞1，每个样本带有标签，所述标签用于表示样本所属的类别，所述神经网络的损失函数为weight kappa loss损失函数；如果数据集不是类别不平衡数据集，则正常进行神经网络训练，否则，执行步骤S2；S2、自数据集中选择一个batch，一个batch中包含M个样本，M＞0，将该batch的所有样本送入神经网络，神经网络的输出为各个样本属于各个类别的预测概率；S3、基于神经网络的输出统计概率混淆矩阵，并计算概率混淆矩阵的两个边缘分布的距离；S4、基于两个边缘分布的距离更新损失函数；S5、基于当前batch中各个样本所属的类别、神经网络的输出和损失函数计算网络误差，反向传播更新神经网络参数，重复步骤S2，直至神经网络训练完成。2.根据权利要求1所述的一种面向类别不平衡数据集的序数回归问题解决方法，其特征在于，步骤S1中，如果数据集的不平衡比大于预设置的平衡阈值，则数据集为类别不平衡数据集，所述不平衡比ρ的计算公式为：其中，A表示数据集中样本数量最多的类别，B表示数据集中样本数量最少的类别，C
i
表示数据集中属于类别i的样本的数量。3.根据权利要求2所述的一种面向类别不平衡数据集的序数回归问题解决方法，其特征在于，预设置的平衡阈值为1.5。4.根据权利要求1所述的一种面向类别不平衡数据集的序数回归问题解决方法，其特征在于，步骤S3中统计概率混淆矩阵具体为：建立概率混淆矩阵W，W∈R
K
×
K
，将概率混淆矩阵W初始化为全零矩阵；将神经网络的输出表示为输出矩阵O，O∈R
M
×
K
，输出矩阵O第p行第q列的元素O
p，q
的值为第p个样本属于类别q的预测概率，1≤p≤M，1≤q≤K；基于输出矩阵O更新概率混淆矩阵W的各个元素，1≤i≤...

【专利技术属性】
技术研发人员：赵生捷，杨冰洁，张荣庆，
申请(专利权)人：同济大学，
类型：发明
国别省市：