模型构建优化方法、设备、存储介质及程序产品技术

本发明专利技术公开了一种模型构建优化方法、设备、存储介质及程序产品，方法包括：将第一样本数据输入至第一编码器编码得到第一编码特征；获取第二参与方设备将第二样本数据输入至第二编码器编码得到的第二编码特征；将第一编码特征和第二编码特征融合后输入至解码器得到重构样本数据；基于重构样本数据与第一样本数据之间的误差更新第一编码器以及计算中间结果，将中间结果发送给第二参与方设备更新第二编码器，根据更新后的第一编码器和第二编码器进行纵向联邦学习得到目标模型。本发明专利技术实现了利用无标签数据进行模型预训练，以使得无标签数据能够用于参与纵向联邦学习，进而能够帮助提高纵向联邦学习得到的模型的预测准确度。提高纵向联邦学习得到的模型的预测准确度。提高纵向联邦学习得到的模型的预测准确度。

【技术实现步骤摘要】
模型构建优化方法、设备、存储介质及程序产品


[0001]本专利技术涉及人工智能
，尤其涉及一种模型构建优化方法、设备、存储介质及程序产品。

技术介绍

[0002]纵向联邦学习用于解决金融领域多方联合构建业务模型的数据孤岛问题。纵向联邦学习的应用场景是各参与方用户重叠多，而特征重叠少的情况，不同参与方拥有用户的不同领域/不同角度的信息。一个典型场景是，各方通过用户匹配发现重叠的用户比例较高，然而各方拥有的相应的标签比例较低，因此可以实际用于训练的样本较少，如何能够利用无标签的数据是一个具有重要实际意义的问题。

技术实现思路

[0003]本专利技术的主要目的在于提供一种模型构建优化方法、设备、存储介质及程序产品，旨在提出一种纵向联邦学习场景中采用无标签数据进行模型预训练的方法，以使得无标签数据能够用于参与纵向联邦学习，进而能够帮助提高纵向联邦学习得到的模型的预测准确度。
[0004]为实现上述目的，本专利技术提供一种模型构建优化方法，所述方法应用于参与纵向联邦学习的第一参与方设备，所述第一参与方设备部署第一编码器和解码器，参与纵向联邦学习的第二参与方设备部署第二编码器，所述方法包括以下步骤：
[0005]将第一样本数据输入至所述第一编码器进行编码得到第一编码特征；
[0006]获取第二编码特征，其中，所述第二编码特征由所述第二参与方设备将第二样本数据输入至所述第二编码器进行编码得到的；
[0007]将所述第一编码特征和所述第二编码特征进行融合后输入至所述解码器进行解码得到重构样本数据；
[0008]基于所述重构样本数据与所述第一样本数据之间的误差更新所述第一编码器以及计算得到用于更新所述第二编码器的中间结果，将所述中间结果发送给所述第二参与方设备以供所述第二参与方设备更新所述第二编码器；
[0009]在对所述第一编码器和所述第二编码器进行至少一轮迭代更新后，基于更新后的所述第一编码器和所述第二编码器与所述第二参与方设备进行纵向联邦学习得到目标模型。
[0010]可选地，所述将第一样本数据输入至所述第一编码器进行编码得到第一编码特征的步骤包括：
[0011]对第一样本数据中的部分数据进行变换，将经过变换后的第一样本数据输入至所述第一编码器进行编码得到第一编码特征。
[0012]可选地，所述重构样本数据为针对所述第一样本数据中被变换的部分数据的重构数据，所述基于所述重构样本数据与所述第一样本数据之间的误差更新所述第一编码器以
及计算得到用于更新所述第二编码器的中间结果的步骤包括：
[0013]计算表征所述重构样本数据与所述第一样本数据中被变换的部分数据之间误差的自损失函数；
[0014]计算所述自损失函数相对于所述第一编码器中参数的第一梯度值，以及计算所述自损失函数相对于所述第二编码特征的第二梯度值；
[0015]根据所述第一梯度值更新所述第一编码器中的参数以更新所述第一编码器；
[0016]将所述第二梯度值作为用于更新所述第二编码器的中间结果。
[0017]可选地，所述对第一样本数据中的部分数据进行变换的步骤包括：
[0018]当所述第一样本数据包括多个属性值时，将所述第一样本数据中的部分属性值变换为预设值或添加随机噪声；
[0019]当所述第一样本数据为图像数据时，将所述图像数据中的部分像素点的像素值变换为预设像素值；
[0020]当所述第一样本数据为文本数据时，将所述文本数据中的部分词语变换为预设词语。
[0021]可选地，所述第一参与方设备中还部署投影模型，所述将所述第一编码特征和所述第二编码特征进行融合后输入至所述解码器进行解码得到重构样本数据的步骤包括：
[0022]将所述第一编码特征和所述第二编码特征输入至所述投影模型进行特征交叉处理，将经特征交叉处理后得到的融合特征输入至所述解码器进行解码得到重构样本数据。
[0023]可选地，所述第一参与方设备还部署预测器，所述在对所述第一编码器和所述第二编码器进行至少一轮迭代更新后，基于更新后的所述第一编码器和所述第二编码器与所述第二参与方设备进行纵向联邦学习得到目标模型步骤包括：
[0024]基于带标签的第三样本数据联合所述第二参与方设备中与所述第三样本数据对齐的第四样本数据，对所述预测器和更新后的所述第一编码器、所述第二编码器进行纵向联邦学习，以得到包括训练后的所述第一编码器、所述第二编码器和所述预测器的目标模型。
[0025]为实现上述目的，本专利技术还提供一种模型构建优化方法，所述方法应用于参与纵向联邦学习的第二参与方设备，参与纵向联邦学习的第一参与方设备部署第一编码器和解码器，所述第二参与方设备部署第二编码器，所述方法包括以下步骤：
[0026]将第二样本数据输入至所述第二编码器进行编码得到第二编码特征；
[0027]将所述第二编码特征发送给所述第一参与方设备，以供所述第一参与方设备将第一编码特征和所述第二编码特征进行融合后输入至所述解码器进行解码得到重构样本数据，并基于所述重构样本数据与所述第一样本数据之间的误差更新所述第一编码器以及计算得到用于更新所述第二编码器的中间结果，其中，所述第一编码特征由所述第一参与方设备将第一样本数据输入至所述第一编码器进行编码得到的；
[0028]获取所述中间结果，根据所述中间结果更新所述第二编码器；
[0029]在对所述第一编码器和所述第二编码器进行至少一轮迭代更新后，基于更新后的所述第一编码器和所述第二编码器与所述第一参与方设备进行纵向联邦学习得到目标模型。
[0030]为实现上述目的，本专利技术还提供一种模型构建优化设备，所述模型构建优化设备
包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的模型构建优化程序，所述模型构建优化程序被所述处理器执行时实现如上所述的模型构建优化方法的步骤。
[0031]此外，为实现上述目的，本专利技术还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有模型构建优化程序，所述模型构建优化程序被处理器执行时实现如上所述的模型构建优化方法的步骤。
[0032]此外，为实现上述目的，本专利技术还提出一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的模型构建优化方法的步骤。
[0033]本专利技术中，通过在参与纵向联邦学习的第一参与方设备部署第一编码器和解码器，在第二参与方设备部署第二编码器，通过第一参与方设备将第一样本数据输入至第一编码器进行编码得到第一编码特征，并获取第二参与方设备将第二样本数据输入至第二编码器进行编码得到的第二编码特征，将第一编码特征和第二编码特征进行融合后输入至解码器进行解码得到重构样本数据，基于重构样本数据与第一样本数据之间的误差更新第一编码器以及计算得到用于更新第二编码器的中间结果，将中间结果发送给第二参与方设备以使得第二参与方设备对第二编码器进行更新，在对第一编码器和第二编码器进行至少一轮迭代更新后，基于更新后的第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型构建优化方法，其特征在于，所述方法应用于参与纵向联邦学习的第一参与方设备，所述第一参与方设备部署第一编码器和解码器，参与纵向联邦学习的第二参与方设备部署第二编码器，所述方法包括以下步骤：将第一样本数据输入至所述第一编码器进行编码得到第一编码特征；获取第二编码特征，其中，所述第二编码特征由所述第二参与方设备将第二样本数据输入至所述第二编码器进行编码得到的；将所述第一编码特征和所述第二编码特征进行融合后输入至所述解码器进行解码得到重构样本数据；基于所述重构样本数据与所述第一样本数据之间的误差更新所述第一编码器以及计算得到用于更新所述第二编码器的中间结果，将所述中间结果发送给所述第二参与方设备以供所述第二参与方设备更新所述第二编码器；在对所述第一编码器和所述第二编码器进行至少一轮迭代更新后，基于更新后的所述第一编码器和所述第二编码器与所述第二参与方设备进行纵向联邦学习得到目标模型。2.如权利要求1所述的模型构建优化方法，其特征在于，所述将第一样本数据输入至所述第一编码器进行编码得到第一编码特征的步骤包括：对第一样本数据中的部分数据进行变换，将经过变换后的第一样本数据输入至所述第一编码器进行编码得到第一编码特征。3.如权利要求2所述的模型构建优化方法，其特征在于，所述重构样本数据为针对所述第一样本数据中被变换的部分数据的重构数据，所述基于所述重构样本数据与所述第一样本数据之间的误差更新所述第一编码器以及计算得到用于更新所述第二编码器的中间结果的步骤包括：计算表征所述重构样本数据与所述第一样本数据中被变换的部分数据之间误差的自损失函数；计算所述自损失函数相对于所述第一编码器中参数的第一梯度值，以及计算所述自损失函数相对于所述第二编码特征的第二梯度值；根据所述第一梯度值更新所述第一编码器中的参数以更新所述第一编码器；将所述第二梯度值作为用于更新所述第二编码器的中间结果。4.如权利要求2所述的模型构建优化方法，其特征在于，所述对第一样本数据中的部分数据进行变换的步骤包括：当所述第一样本数据包括多个属性值时，将所述第一样本数据中的部分属性值变换为预设值或添加随机噪声；当所述第一样本数据为图像数据时，将所述图像数据中的部分像素点的像素值变换为预设像素值；当所述第一样本数据为文本数据时，将所述文本数据中的部分词语变换为预设词语。5.如权利要求1所述的模型构建优化方法，其特征在于，所述第一参与方设备中还部署投影模型，所述将所述第一编码特征和所述第二编码特征进行融合后输入至所述解码器进行解码得到重构样本数据的步骤包括：将所述第一编码特征和所述第二...

【专利技术属性】
技术研发人员：何元钦，康焱，骆家焕，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：