本说明书公开了一种模型训练的方法、装置、存储介质和电子设备，将获取的样本业务数据输入第一模型，获得第一模型输出的第一风控结果，将该样本业务数据分别输入各第二模型，确定该样本业务数据的特征，将该特征输入适应层，确定每个第二模型分别对应的权重，并获得每个第二模型输出的第二风控结果，利用该权重及该第二风控结果确定伪标签，根据该伪标签以及该第一风控结果，对该适应层及该第一模型进行训练，训练后的第一模型用于对待风控业务数据进行风险判断。本方法通过适应层确定各第二模型的权重，根据权重及第二风控结果确定伪标签，根据伪标签及第一风控结果，训练适应层及第一模型，提高了第一模型输出结果的准确性。提高了第一模型输出结果的准确性。提高了第一模型输出结果的准确性。
【技术实现步骤摘要】
一种模型训练的方法、装置、存储介质及电子设备
[0001]本说明书涉机器学习领域，尤其涉及一种模型训练的方法、装置、存储介质及电子设备。
技术介绍
[0002]随着互联网技术的发展，人们能够利用训练的模型对用户执行的各类业务进行风控，其中，训练模型所使用的训练样本可能包含个人隐私数据。通常情况下，训练的模型可部署在服务器或者客户端上，若将训练的模型部署在客户端上，则要求模型尽量轻量化，减轻客户端的计算负担。例如，将模型结构较为复杂的模型作为教师模型，将模型结构较为简单的模型作为学生模型，通过教师模型对学生模型进行蒸馏，将蒸馏后的学生模型部署在客户端上，用于对用户执行的各类业务进行风控。
[0003]此外，在模型的实际应用过程中，可能不仅需要确定用户执行的业务是否具有风险，还需要确定用户执行的业务具有何种类型的风险，因此，需要多种模型判断用户执行的业务是否具有风险，以及确定各模型输出结果中准确性较高的结果对应的风险类型，也就是说，需要多个教师模型对一个学生模型进行蒸馏。由于教师模型的输出结果会影响学生模型输出的结果，因此，如何在多个教师模型的输出结果作为监督信号的条件下，使得学生模型的输出结果的更加准确是个亟待解决的问题。
[0004]基于此，本说明书提供一种模型训练的方法。
技术实现思路
[0005]本说明书提供一种模型训练的方法、装置、存储介质及电子设备，以至少部分的解决现有技术存在的上述问题。
[0006]本说明书采用下述技术方案：
[0007]本说明书提供一种模型训练的方法，包括：
[0008]获取样本业务数据；
[0009]将所述样本业务数据输入第一模型，获得第一模型输出的对所述业务数据的第一风控结果；并，将所述样本业务数据分别输入各第二模型，以通过所述各第二模型确定所述样本业务数据的特征，将所述特征输入适应层，以通过所述适应层确定每个第二模型在所述样本业务数据作为输入的条件下分别对应的权重，并基于所述特征获得每个第二模型输出的对所述样本业务数据的第二风控结果；
[0010]利用所述权重对所述第二风控结果进行加权，作为伪标签；
[0011]根据所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练，训练后的第一模型用于对待风控业务数据进行风险判断。
[0012]可选地，根据所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练，具体包括：
[0013]根据所述伪标签以及所述第一风控结果，确定所述伪标签以及所述第一风控结果
的差异，作为第一损失；
[0014]以最小化所述第一损失为训练目标，调整所述适应层及所述第一模型的参数。
[0015]可选地，根据所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练，具体包括：
[0016]根据所述样本业务数据，确定所述样本业务数据对应的业务的风险类型的真标签；
[0017]根据所述真标签、所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练。
[0018]可选地，根据所述真标签、所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练，具体包括：
[0019]根据所述伪标签以及所述第一风控结果，确定所述伪标签以及所述第一风控结果的差异，作为第一损失；
[0020]根据所述真标签以及所述第一风控结果，确定所述真标签以及所述第一风控结果的差异，作为第二损失；
[0021]根据所述第一损失及所述第二损失，对所述适应层及所述第一模型进行训练。
[0022]可选地，根据所述第一损失及所述第二损失，对所述适应层及所述第一模型进行训练，具体包括：
[0023]根据所述第一损失及所述第二损失，确定结果损失；
[0024]以最小化所述结果损失为训练目标，调整所述适应层及所述第一模型的参数。
[0025]可选地，针对每个第二模型，该第二模型包括特征提取层和输出层；
[0026]所述特征提取层用于确定输入该第二模型的样本业务数据的特征，并将所述特征输入所述输出层；
[0027]所述输出层用于根据输入的样本业务数据的特征，输出对所述样本业务数据的第二风控结果；
[0028]所述特征提取层还用于将所述特征输入所述适应层；
[0029]所述适应层用于输出该第二模型在所述样本业务数据作为输入的条件下对应的权重。
[0030]可选地，所述方法还包括：
[0031]当接收到所述待风控业务数据时，将所述待风控业务数据输入训练后的第一模型；
[0032]通过所述训练后的第一模型输出所述待风控业务数据对应的业务的风险类型。
[0033]本说明书提供了一种模型训练的装置，所述装置包括：
[0034]样本业务数据获取模块，用于获取样本业务数据；
[0035]风控结果确定模块，用于将所述样本业务数据输入第一模型，获得第一模型输出的对所述业务数据的第一风控结果；并，将所述样本业务数据分别输入各第二模型，以通过所述各第二模型确定所述样本业务数据的特征，将所述特征输入适应层，以通过所述适应层确定每个第二模型在所述样本业务数据作为输入的条件下分别对应的权重，并基于所述特征获得每个第二模型输出的对所述样本业务数据的第二风控结果；
[0036]伪标签模块，用于利用所述权重对所述第二风控结果进行加权，作为伪标签；
[0037]模型训练模块，用于根据所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练，训练后的第一模型用于对待风控业务数据进行风险判断。
[0038]可选地，所述模型训练模块具体用于，根据所述伪标签以及所述第一风控结果，确定所述伪标签以及所述第一风控结果的差异，作为第一损失；以最小化所述第一损失为训练目标，调整所述适应层及所述第一模型的参数。
[0039]可选地，所述模型训练模块具体用于，根据所述样本业务数据，确定所述样本业务数据对应的业务的风险类型的真标签；根据所述真标签、所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练。
[0040]可选地，所述模型训练模块具体用于，根据所述伪标签以及所述第一风控结果，确定所述伪标签以及所述第一风控结果的差异，作为第一损失；根据所述真标签以及所述第一风控结果，确定所述真标签以及所述第一风控结果的差异，作为第二损失；根据所述第一损失及所述第二损失，对所述适应层及所述第一模型进行训练。
[0041]可选地，所述模型训练模块具体用于，根据所述第一损失及所述第二损失，确定结果损失；以最小化所述结果损失为训练目标，调整所述适应层及所述第一模型的参数。
[0042]可选地，针对每个第二模型，该第二模型包括特征提取层和输出层；所述特征提取层用于确定输入该第二模型的样本业务数据的特征，并将所述特征输入所述输出层；所述输出层用于根据输入的样本业务数据的特征，输出对所述样本业务数据的第二风控结果；所述特征提取层本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型训练的方法，所述方法包括：获取样本业务数据；将所述样本业务数据输入第一模型，获得第一模型输出的对所述样本业务数据的第一风控结果；并，将所述样本业务数据分别输入各第二模型，以通过所述各第二模型确定所述样本业务数据的特征，将所述特征输入适应层，以通过所述适应层确定每个第二模型在所述样本业务数据作为输入的条件下分别对应的权重，并基于所述特征获得每个第二模型输出的对所述样本业务数据的第二风控结果；利用所述权重对所述第二风控结果进行加权，作为伪标签；根据所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练，训练后的第一模型用于对待风控业务数据进行风险判断。2.如权利要求1所述的方法，根据所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练，具体包括：根据所述伪标签以及所述第一风控结果，确定所述伪标签以及所述第一风控结果的差异，作为第一损失；以最小化所述第一损失为训练目标，调整所述适应层及所述第一模型的参数。3.如权利要求1所述的方法，根据所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练，具体包括：根据所述样本业务数据，确定所述样本业务数据对应的业务的风险类型的真标签；根据所述真标签、所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练。4.如权利要求3所述的方法，根据所述真标签、所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练，具体包括：根据所述伪标签以及所述第一风控结果，确定所述伪标签以及所述第一风控结果的差异，作为第一损失；根据所述真标签以及所述第一风控结果，确定所述真标签以及所述第一风控结果的差异，作为第二损失；根据所述第一损失及所述第二损失，对所述适应层及所述第一模型进行训练。5.如权利要求4所述的方法，根据所述第一损失及所述第二损失，对所述适应层及所述第一模型进行训练，具体包括：根据所述第一损失及所述第二损失，确定结果损失；以最小化所述结果损失为训练目标，调整所述适应层及所述第一模型的参数。6.如权利要求1所述的方法，针对每个第二模型，该第二模型包括特征提取层和输出层；所述特征提取层用于确定输入该第二模型的样本业务数据的特征，并将所述特征输入所述输出层；所述输出层用于根据输入的样本业务数据的特征，输出对所述样本业务数据的第二风控结果；所述特征提取层还用于将所述特征输入所述适应层；所述适应层用于输出该第二模型在所述样本业务数据作为输入的条件下对应的权重。
7.如权利要求1所述的方法，所述方法还包括：当接收到所述待风控业务数据时，将所述待风控业务数据输入训练后的第一模型；通过所述训练后的第一模型输出所述待风控业务数据对应的业务的风险类型。8.一种模型训练的装置，所述装置包括：样本获取模块，用于获取样本业...
【专利技术属性】
技术研发人员：苗书宇，郑霖，金宏，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。