损失函数动态加权的方法、装置、设备和存储介质制造方法及图纸

本发明专利技术公开了一种损失函数动态加权的方法、装置、设备和存储介质，包括：获取样本集内每个类别的先验概率；根据所述先验概率和当次模型训练中所输出的每个类别的预测概率，确定每个类别的难易权值；基于所述每个类别的难易权值对预设的损失函数中的权值变量进行更新，得到难易权值更新后的损失函数，实现了动态调整损失函数的权值变量，避免人为划分的难易权值在所选取的损失函数中效果不佳的现象，这样，在利用更新后的损失函数，确定当次模型训练的损失值后，对模型的超参数进行更新，使得越难的类别损失占比越大，越简单的类别损失占比越小，从而提高了模型训练效果。从而提高了模型训练效果。从而提高了模型训练效果。

【技术实现步骤摘要】
损失函数动态加权的方法、装置、设备和存储介质


[0001]本专利技术属于机器学习
，具体涉及一种损失函数动态加权的方法、装 置、设备和存储介质。

技术介绍

[0002]近年来，随着人工智能浪潮的涌起，人工智能、机器学习在学术界乃至工业 界所占分量越来越大。
[0003]传统的模型训练中，通常利用损失函数计算预测分布与真实分布之间的差距 作为损失值，并利用损失值对模型进行调整，使得模型收敛。
[0004]在真实的环境中，往往各类别的学习难度不同，有的类别有比较简单固定的 模式，较容易训练，而有的类别的样本，模式复杂多变，模型学习难度大。对于 难易类别，一种较理想的加权方案是：给难类别加一个较大权值，给简单类别加 一个较小权值，这样便可以增加难类别的损失占比。
[0005]但是这种方法需要事先知道类别的难易，而类别难易是一个相对概念，每个 训练集中的类别都有相对难易，但是不同类别的难易差距可能不同，因此采用同 一种区分方式可能会导致同一个损失函数在某一个类别上取得较好的效果，在另 一个类别上却取得很差的效果。因此，训练集中各类别的难易程度，很难在模型 训练前准确定量估计，导致模型训练效果较差。

技术实现思路

[0006]本专利技术的主要目的是提供一种损失函数动态加权的方法、装置、设备和存储 介质，以解决现有技术中训练集中各类别的难易程度，很难在模型训练前准确定 量估计，导致模型训练效果较差的技术问题。
[0007]针对上述问题，本专利技术提供了一种损失函数动态加权的方法，包括：
[0008]获取样本集内每个类别的先验概率；
[0009]根据所述先验概率和当次模型训练中所输出的每个类别的预测概率，确定每 个类别的难易权值；
[0010]基于所述每个类别的难易权值对预设的损失函数中的权值变量进行更新，得 到难易权值更新后的损失函数，以利用更新后的损失函数，确定当次模型训练的 损失值。
[0011]进一步地，上述所述的损失函数动态加权的方法中，获取类别集内每个类别 的先验概率，包括：
[0012]利用预设的先验概率计算式，获取样本集内每个类别的先验概率；
[0013]所述先验概率计算式为：
[0014][0015]其中，p(c
i
)表示先验概率，c
i
表示第i个类别，n
i
表示c
i
对应的样本数量， K表示样
本集中类别的数量，n
k
表示第k个类别对应的样本数量，γ表示类别难 易控制参数，γ为常数。
[0016]进一步地，上述所述的损失函数动态加权的方法中，根据所述先验概率和当 次模型训练中所输出的每个类别的预测概率，确定每个类别的难易权值，包括：
[0017]将所述先验概率和当次模型训练中所输出的每个类别的预测概率代入预设 的难易权值计算式，计算每个类别的难易权值；
[0018]所述难易权值计算式为：
[0019]W
d
＝(p(c
i
)
‑
p)2[0020]其中，W
d
表示难易权值，p(c
i
)表示先验概率，p表示预测概率。
[0021]进一步地，上述所述的损失函数动态加权的方法中，基于所述每个类别的难 易权值对预设的损失函数中的权值变量进行更新，得到难易权值更新后的损失函 数，包括：
[0022]将所述每个类别的难易权值代入预设的权值变量更新计算式中，得到难易权 值更新后的损失函数；
[0023]所述权值变量更新计算式为：
[0024]Loss＝
‑
W
d
＊logp
[0025]其中，Loss表示更新后的损失函数，W
d
表示难易权值，
‑
logp表示预设 的损失函数。
[0026]本专利技术还提供了一种损失函数动态加权的装置，包括：
[0027]获取模块，用于获取样本集内每个类别的先验概率；
[0028]确定模块，用于根据所述先验概率和当次模型训练中所输出的每个类别的预 测概率，确定每个类别的难易权值；
[0029]更新模块，用于基于所述每个类别的难易权值对预设的损失函数中的权值变 量进行更新，得到难易权值更新后的损失函数，以利用更新后的损失函数，确定 当次模型训练的损失值。
[0030]进一步地，上述所述的损失函数动态加权的装置中，所述获取模块，具体用 于：
[0031]利用预设的先验概率计算式，获取类别集内每个类别的先验概率；
[0032]所述先验概率计算式为：
[0033][0034]其中，p(c
i
)表示先验概率，c
i
表示第i个类别，n
i
表示c
i
对应的样本数量， K表示样本集中类别的数量，n
k
表示第k个类别对应的样本数量，Y表示类别难 易控制参数，γ为常数。
[0035]进一步地，上述所述的损失函数动态加权的装置中，所述确定模块，具体用 于：
[0036]将所述先验概率和当次模型训练中所输出的每个类别的预测概率代入预设 的难易权值计算式，计算每个类别的难易权值；
[0037]所述难易权值计算式为：
[0038]W
d
＝(p(c
i
)
‑
p)2[0039]其中，W
d
表示难易权值，p(c
i
)表示先验概率，p表示预测概率。
[0040]进一步地，上述所述的损失函数动态加权的装置中，所述更新模块，具体用 于：
[0041]将所述每个类别的难易权值代入预设的权值变量更新计算式中，得到难易权 值更新后的损失函数；
[0042]所述权值变量更新计算式为：
[0043]Loss＝
‑
W
d
＊logp
[0044]其中，Loss表示更新后的损失函数，W
d
表示难易权值，
‑
logp表示预设 的损失函数。
[0045]本专利技术还提供了一种损失函数动态加权的设备，包括存储器和控制器；
[0046]所述存储器上存储有计算机程序，所述计算机程序被控制器执行时实现如上 任一项所述的损失函数动态加权的方法的步骤。
[0047]本专利技术还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被 处理器执行时实现如上任一项所述的损失函数动态加权的方法的步骤。
[0048]与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益 效果：
[0049]本专利技术的损失函数动态加权的方法、装置、设备和存储介质，通过获取样本 集内每个类别的先验概率；根据所述先验概率和当次模型训练中所输出的每个类 别的预测概率，确定每个类别的难易权值；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种损失函数动态加权的方法，其特征在于，包括：获取样本集内每个类别的先验概率；根据所述先验概率和当次模型训练中所输出的每个类别的预测概率，确定每个类别的难易权值；基于所述每个类别的难易权值对预设的损失函数中的权值变量进行更新，得到难易权值更新后的损失函数，以利用更新后的损失函数，确定当次模型训练的损失值。2.根据权利要求1所述的损失函数动态加权的方法，其特征在于，获取类别集内每个类别的先验概率，包括：利用预设的先验概率计算式，获取样本集内每个类别的先验概率；所述先验概率计算式为：其中，p(c
i
)表示先验概率，c
i
表示第i个类别，n
i
表示c
i
对应的样本数量，K表示样本集中类别的数量，n
k
表示第k个类别对应的样本数量，Y表示类别难易控制参数，Y为常数。3.根据权利要求1所述的损失函数动态加权的方法，其特征在于，根据所述先验概率和当次模型训练中所输出的每个类别的预测概率，确定每个类别的难易权值，包括：将所述先验概率和当次模型训练中所输出的每个类别的预测概率代入预设的难易权值计算式，计算每个类别的难易权值；所述难易权值计算式为：W
d
＝(p(c
i
)
‑
p)2其中，W
d
表示难易权值，p(c
i
)表示先验概率，p表示预测概率。4.根据权利要求1所述的损失函数动态加权的方法，其特征在于，基于所述每个类别的难易权值对预设的损失函数中的权值变量进行更新，得到难易权值更新后的损失函数，包括：将所述每个类别的难易权值代入预设的权值变量更新计算式中，得到难易权值更新后的损失函数；所述权值变量更新计算式为：Loss＝
‑
W
d
＊log p其中，Loss表示更新后的损失函数，W
d
表示难易权值，
‑
log p表示预设的损失函数。5.一种损失函数动态加权的装置，其特征在于，包括：获取模块，用于获取样本集内每个类别的先验概率；确定模块，用于根据所述先验...

【专利技术属性】
技术研发人员：周开龙，陈颖辉，王范萍，张玥，
申请(专利权)人：上海小零网络科技有限公司，
类型：发明
国别省市：