模型训练方法、装置、存储介质、服务器、终端及系统制造方法及图纸

本说明书一个或者多个实施例公开了一种模型训练方法、装置、存储介质、服务器、终端及系统。根据各特征训练终端中第一模型输出的第一输出层数据，可以求得服务器中第二模型输出的第二输出层数据，那么根据标签训练终端基于第二输出层数据返回的真实损失函数，可以求得真实损失函数关于服务器中第二模型的第二输出层数据的第一梯度，进而基于第一梯度可以求得第二模型的第一模拟损失函数，那么就可以基于第一模拟损失函数对第二模型进行更新，也可以实现对第一模型进行更新。以实现对第一模型进行更新。以实现对第一模型进行更新。

【技术实现步骤摘要】
模型训练方法、装置、存储介质、服务器、终端及系统


[0001]本说明书涉及机器学习
，尤其涉及一种模型训练方法、装置、存储介质、服务器、终端及系统。

技术介绍

[0002]随着人工智能技术的发展，深度学习已逐渐应用于风险评估、语音识别、人脸识别和自然语言处理等领域，其中，深度神经网络(Deep Neural Networks，DNN)是深度学习的基础。
[0003]在相关技术中，为了解决深度学习中的数据孤岛问题，可以对深度神经网络模型拆分至不同设备中进行拆分学习训练，但是在拆分学习训练过程中需要提供一种计算效率更高的模型训练方法。

技术实现思路

[0004]本说明书一个或者多个实施例提供一种模型训练方法、装置、存储介质、服务器、终端及系统，可以提高深度神经网络模型在拆分学习训练过程中的计算效率。
[0005]本说明书一个或者多个实施例提供一种模型训练方法，应用于服务器，所述方法包括：
[0006]获取各特征训练终端中第一模型输出的第一输出层数据，基于各第一输出层数据进行所述服务器中第二模型的向前传播，得到所述第二模型输出的第二输出层数据；
[0007]将所述第二输出层数据发送至标签训练终端，以及从所述标签训练终端获取真实损失函数关于所述第二输出层数据的第一梯度；
[0008]根据所述第一梯度和所述第二输出层数据求得所述第二模型的第一模拟损失函数，基于所述第一模拟损失函数对所述第二模型进行更新；
[0009]计算所述第一模拟损失函数关于各第一输出层数据的第二梯度，将各第二梯度发送至各特征训练终端，以使得各特征训练终端基于各第二梯度对各第一模型进行更新。
[0010]本说明书一个或者多个实施例提供一种模型训练方法，应用于特征训练终端，所述方法包括：
[0011]基于特征数据集合中特征数据进行所述特征训练终端中第一模型的向前传播，得到所述第一模型输出的第一输出层数据；
[0012]将所述第一输出层数据发送至服务器，以及从所述服务器获取关于所述第一输出层数据的第二梯度；
[0013]基于所述第二梯度对所述第一模型进行更新；
[0014]其中，所述第二梯度为所述服务器基于所述第一输出层数据进行所述服务器中第二模型的向前传播，得到所述第二模型输出的第二输出层数据，将所述第二输出层数据发送至标签训练终端，以及从所述标签训练终端获取真实损失函数关于所述第二输出层数据的第一梯度，根据所述第一梯度和所述第二输出层数据求得所述第二模型的第一模拟损失
函数，计算所述第一模拟损失函数关于所述第一输出层数据的梯度。
[0015]本说明书一个或者多个实施例提供一种模型训练装置，应用于服务器，所述装置包括：
[0016]服务器传播模块，用于获取各特征训练终端中第一模型输出的第一输出层数据，基于各第一输出层数据进行所述服务器中第二模型的向前传播，得到所述第二模型输出的第二输出层数据；
[0017]第一梯度获取模块，用于将所述第二输出层数据发送至标签训练终端，以及从所述标签训练终端获取真实损失函数关于所述第二输出层数据的第一梯度；
[0018]第二模型更新模块，用于根据所述第一梯度和所述第二输出层数据求得所述第二模型的第一模拟损失函数，基于所述第一模拟损失函数对所述第二模型进行更新；
[0019]第二梯度发送模块，用于计算所述第一模拟损失函数关于各第一输出层数据的第二梯度，将各第二梯度发送至各特征训练终端，以使得各特征训练终端基于各第二梯度对各第一模型进行更新。
[0020]本说明书一个或者多个实施例提供一种模型训练装置，应用于特征训练终端，所述装置包括：
[0021]终端向前传播模块，用于基于特征数据集合中特征数据进行所述特征训练终端中第一模型的向前传播，得到所述第一模型输出的第一输出层数据；
[0022]第二梯度获取模块，用于将所述第一输出层数据发送至服务器，以及从所述服务器获取关于所述第一输出层数据的第二梯度；
[0023]第一模型更新模块，用于基于所述第二梯度对所述第一模型进行更新；
[0024]其中，所述第二梯度为所述服务器基于所述第一输出层数据进行所述服务器中第二模型的向前传播，得到所述第二模型输出的第二输出层数据，将所述第二输出层数据发送至标签训练终端，以及从所述标签训练终端获取真实损失函数关于所述第二输出层数据的第一梯度，根据所述第一梯度和所述第二输出层数据求得所述第二模型的第一模拟损失函数，计算所述第一模拟损失函数关于所述第一输出层数据的梯度。
[0025]本说明书一个或多个实施例提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机或处理器上运行时，使得所述计算机或所述处理器执行执行上述的方法的步骤。
[0026]本说明书一个或多个实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法的步骤。
[0027]本说明书一个或多个实施例提供一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序适于由处理器加载并执行上述的方法的步骤。
[0028]本说明书一个或多个实施例提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序适于由处理器加载并执行上述的方法的步骤。
[0029]本说明书一个或者多个实施例提供一种模型训练系统，包括上述服务器及上述终端。
[0030]本说明书一个或者多个实施例一些实施例提供的技术方案带来的有益效果至少
包括：
[0031]本说明书一个或者多个实施例提供一种型训练方法，获取各特征训练终端中第一模型输出的第一输出层数据，基于各第一输出层数据进行服务器中第二模型的向前传播，得到第二模型输出的第二输出层数据；将第二输出层数据发送至标签训练终端，以及从标签训练终端获取真实损失函数关于第二输出层数据的第一梯度；根据第一梯度和第二输出层数据求得第二模型的第一模拟损失函数，基于第一模拟损失函数对第二模型进行更新；计算第一模拟损失函数关于各第一输出层数据的第二梯度，将各第二梯度发送至各特征训练终端，以使得各特征训练终端基于各第二梯度对各第一模型进行更新。由于在获取真实损失函数关于第二输出层数据的第一梯度之后，可以求得第二模型的第一模拟损失函数，以及基于第一模拟损失函数对第二模型进行更新，进而实现对第一模型进行更新，可以减少对模型进行更新时的计算量，有效提高在拆分学习训练过程中对模型的训练效率。
附图说明
[0032]为了更清楚地说明本说明书一个或者多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或者多个实施例的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]图1为本说明书一示例性实施例提供的一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，应用于服务器，所述方法包括：获取各特征训练终端中第一模型输出的第一输出层数据，基于各第一输出层数据进行所述服务器中第二模型的向前传播，得到所述第二模型输出的第二输出层数据；将所述第二输出层数据发送至标签训练终端，以及从所述标签训练终端获取真实损失函数关于所述第二输出层数据的第一梯度；根据所述第一梯度和所述第二输出层数据求得所述第二模型的第一模拟损失函数，基于所述第一模拟损失函数对所述第二模型进行更新；计算所述第一模拟损失函数关于各第一输出层数据的第二梯度，将各第二梯度发送至各特征训练终端，以使得各特征训练终端基于各第二梯度对各第一模型进行更新。2.根据权利要求1所述的方法，所述将各第二梯度发送至各特征训练终端，以使得各特征训练终端基于各第二梯度对各第一模型进行更新，包括：将各第二梯度发送至各特征训练终端，以使得各特征训练终端根据各第二梯度和各第一模型输出的第一输出层数据求得各第一模型的第二模拟损失函数，以及基于各第二模拟损失函数对各第一模型进行更新。3.根据权利要求1所述的方法，所述根据所述第一梯度和所述第二输出层数据求得所述第二模型的第一模拟损失函数，包括：基于各第一输出层对应的预设特征数据数量对所述第二输出层数据以及所述第一梯度进行拆分，分别得到第二输出层数据集合以及第一梯度集合；基于所述第二输出层数据集合以及所述第一梯度集合，计算所述第二模型的第一模拟损失函数。4.根据权利要求3所述的方法，所述基于所述第二输出层数据集合以及所述第一梯度集合，计算所述第二模型的第一模拟损失函数，包括：获取所述第二输出层数据集合中第二输出层子数据以及所述第一梯度集合中第一子梯度；分别计算各第一子梯度的转置，以及分别计算各第二输出层子数据与各第一子梯度的转置的乘积；根据各乘积之和得到所述第二模型的第一模拟损失函数。5.根据权利要求1至4任一项所述的方法，所述基于所述第一模拟损失函数对所述第二模型进行更新，包括：基于所述第一模拟损失函数对所述第二模型求梯度，得到所述第二模型的第二模型梯度；基于所述第二模型梯度对所述第二模型进行更新。6.根据权利要求1所述的方法，所述基于各第一输出层数据进行所述服务器中第二模型的向前传播，包括：基于各第一输出层数据得到所述服务器中第二模型输入的输入层数据，以及基于所述第二模型输入的输入层数据进行所述第二模型的向前传播。7.根据权利要求6所述的方法，所述计算所述第一模拟损失函数关于各第一输出层数据的第二梯度，包括：根据所述第一模拟损失函数关于所述第二模型输入的输入层数据的梯度，计算第一模
拟损失函数关于各第一输出层数据的第二梯度。8.根据权利要求1所述的方法，所述将所述第二输出层数据发送至标签训练终端，包括：将所述第二输出层数据发送至标签训练终端，以使得所述标签训练终端基于所述第二输出层数据进行所述标签训练终端中第三模型的向前传播，并得到所述第三模型输出的第三输出层数据，以及使得所述标签训练终端基于所述第三输出层数据以及标签数据集合计算真实损失函数，并计算所述真实损失函数关于所述第二输出层数据的第一梯度，并将所述第一梯度发送至所述服务器。9.一种模型训练方法，应用于特征训练终端，所述方法包括：基于特征数据集合中特征数据进行所述特征训练终端中第一模型的向前传播，得到所述第一模型输出的第一输出层数据；将所述第一输出层数据发送至服务器，以及从所述服务器获取关于所述第一输出层数据的第二梯度；基于所述第二梯度对所述第一模型进行更新；其中，所述第二梯度为所述服务器基于所述第一输出层数据进行所述服务器中第二模型的向前传播，得到所述第二模型输出的第二输出层数据，将所述第二输出层数据发送至标签训练终端，以及从所述标签训练终端获取真实损失函数关于所述第二输出层数据的第一梯度，根据所述第一梯度和所述第二输出层数据求得所述第二模型的第一模拟损失函数，计算所述第一模拟损失函数关于所述...

【专利技术属性】
技术研发人员：郑龙飞，胡晓龙，王力，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：