联合建模方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例涉及一种联合建模方法、装置、电子设备及存储介质，所述方法包括：根据主导方的第一原始数据集和各参与方的第二原始数据集确定联邦学习样本集，所述联邦学习样本集至少包括所述第一原始数据集、各所述第二原始数据集中的部分数据；利用所述联邦学习样本集对初始模型进行迭代训练，得到目标联合模型。由此，可以实现在多方联合场景下构建出高性能的联合模型，在更为广泛的场景下实现对大数据的利用。数据的利用。数据的利用。

【技术实现步骤摘要】
联合建模方法、装置、电子设备及存储介质


[0001]本专利技术实施例涉及计算机
，尤其涉及一种联合建模方法、装置、电子设备及存储介质。

技术介绍

[0002]随着国家对信息安全和隐私保护的重视，不同企业/机构之间的数据如何规范和打通已经成为了行业热点。
[0003]现有技术中，最经常使用的就是联邦学习(Federated Transfer Learning，简称FL)和联邦迁移学习(Federated Transfer Learning，简称FTL)。利用联邦学习方法，可以在合法合规的前提下有效地利用各公司相互独立的数据，实现对大数据的利用。
[0004]然而，当前联邦学习方法主要针对双方联合建模的场景，并不涉及多方联合建模场景，也就是说，目前无法在多方联合场景下构建出高性能的联合模型，从而无法在更为广泛的场景下实现对大数据的利用。

技术实现思路

[0005]鉴于此，为解决现有技术中无法在多方联合场景下构建出高性能的联合模型，从而无法在更为广泛的场景下实现大数据的利用的技术问题，本专利技术实施例提供一种联合建模方法、装置、电子设备及存储介质。
[0006]第一方面，本专利技术实施例提供一种联合建模方法，包括：
[0007]根据主导方的第一原始数据集和各参与方的第二原始数据集确定联邦学习样本集，所述联邦学习样本集至少包括所述第一原始数据集、各所述第二原始数据集中的部分数据；
[0008]利用所述联邦学习样本集对初始模型进行迭代训练，得到目标联合模型。
>[0009]在一个可能的实施方式中，所述根据主导方的第一原始数据集和各参与方的第二原始数据集确定联邦学习样本集，包括：
[0010]针对每一所述参与方，得到所述参与方与所述第一原始数据集对应的目标数据集，所述目标数据集是由所述参与方根据所述第一原始数据集和所述参与方的第二原始数据集确定的；
[0011]将所述第一原始数据集和各所述参与方与所述第一原始数据集对应的目标数据集，确定为联邦学习样本集。
[0012]在一个可能的实施方式中，所述得到所述参与方与所述第一原始数据集对应的目标数据集，包括：
[0013]确定所述第一原始数据集的第一标签集；
[0014]将所述第一标签集发送给参与方，以使所述参与方针对所述第一标签集中的每一标签，以所述标签为关键字查找所述参与方的第二原始数据集，得到包含所述标签的目标第二原始数据，将多个所述目标第二原始数据确定为所述参与方与所述第一原始数据集对
应的目标数据集。
[0015]在一个可能的实施方式中，所述利用所述联邦学习样本集对初始模型进行迭代训练，得到目标联合模型，包括：
[0016]利用所述联邦学习样本集中的所述第一原始数据集对初始模型进行训练，得到当前的联合模型；
[0017]按照预设的组合方式将所述第一原始数据集和各所述第二原始数据集中的部分数据进行组合，得到多个子样本集；
[0018]按照以下步骤进行迭代训练，直至满足预设的迭代停止条件：
[0019]从所述多个子样本集中选择一个目标子样本集；
[0020]利用所述目标子样本集对当前的联合模型进行训练；
[0021]迭代结束后，将最后一次训练得到的联合模型确定为目标联合模型。
[0022]在一个可能的实施方式中，所述按照预设的组合方式将所述第一原始数据集和各所述第二原始数据集中的部分数据进行组合，得到多个子样本集，包括：
[0023]依次将所述第一原始数据集和i个所述第二原始数据集中的部分数据进行组合，得到多个子样本集；所述i为小于或者等于S的自然数，所述S为所述参与方的数量。
[0024]在一个可能的实施方式中，所述迭代停止条件，包括：
[0025]当前的联合模型的损失函数最小化；或者，
[0026]迭代次数达到预设次数。
[0027]在一个可能的实施方式中，所述方法还包括：
[0028]对主导方的第一原始数据集和各参与方的第二原始数据集进行预处理，以使所述第一原始数据集和各所述第二原始数据集的数据格式保持一致；
[0029]利用预处理后的主导方的第一原始数据集和各参与方的第二原始数据集执行所述根据主导方的第一原始数据集和各参与方的第二原始数据集确定联邦学习样本集的步骤。
[0030]第二方面，本专利技术实施例提供一种联合建模装置，包括：
[0031]确定模块，用于根据主导方的第一原始数据集和各参与方的第二原始数据集确定联邦学习样本集，所述联邦学习样本集至少包括所述第一原始数据集、各所述第二原始数据集中的部分数据；
[0032]训练模块，用于利用所述联邦学习样本集对初始模型进行迭代训练，得到目标联合模型。
[0033]第三方面，本专利技术实施例提供一种电子设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的联合建模程序，以实现第一方面中任一项所述的联合建模方法。
[0034]第四方面，本专利技术实施例提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现第一方面中任一项所述的联合建模方法。
[0035]本专利技术实施例提供的技术方案，通过根据主导方的第一原始数据集和各参与方的第二原始数据集确定联邦学习样本集，上述联邦学习样本集至少包括第一原始数据集、各第二原始数据集中的部分数据，然后利用联邦学习样本集对初始模型进行迭代训练，得到
目标联合模型。由于是联邦学习样本集包括了来自主导方的第一原始数据集中的所有数据和各第二原始数据集中的部分数据，进一步利用联邦学习样本集对初始模型进行迭代训练，这相较于现有技术中，样本量更大，迭代训练得到的目标联合模型也比仅对初始模型进行训练得到的模型性能更高，从而实现了在多方联合场景下构建出高性能的联合模型，在更为广泛的场景下实现对大数据的利用。
附图说明
[0036]图1为本专利技术实施例提供的一种联合建模方法的实施例流程图；
[0037]图2为本专利技术实施例提供的另一种联合建模方法的实施例流程图；
[0038]图3为本专利技术实施例提供的一种确定联邦学习样本集的示意图；
[0039]图4(a)为现有技术中一种确定联邦学习样本集的示意图；
[0040]图4(b)为现有技术中另一种确定联邦学习样本集的示意图；
[0041]图4(c)为现有技术中又一种确定联邦学习样本集的示意图；
[0042]图5为本专利技术实施例提供的又一种联合建模方法的实施例流程图；
[0043]图6为本专利技术实施例提供的一种神经网络流程的示意图；
[0044]图7为本专利技术实施例提供的另一种神经网络流程的示意图；
[0045]图8为本专利技术实施例提供的一种梯度下降法的示意图；
[0046]图9为本专利技术实施例提供的一种联合建模装置的实施例框图；
[0047]图10为本专利技术实施例提供的一种电子设备的结构示意图。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联合建模方法，其特征在于，包括：根据主导方的第一原始数据集和各参与方的第二原始数据集确定联邦学习样本集，所述联邦学习样本集至少包括所述第一原始数据集、各所述第二原始数据集中的部分数据；利用所述联邦学习样本集对初始模型进行迭代训练，得到目标联合模型。2.根据权利要求1所述的方法，其特征在于，所述根据主导方的第一原始数据集和各参与方的第二原始数据集确定联邦学习样本集，包括：针对每一所述参与方，得到所述参与方与所述第一原始数据集对应的目标数据集，所述目标数据集是由所述参与方根据所述第一原始数据集和所述参与方的第二原始数据集确定的；将所述第一原始数据集和各所述参与方与所述第一原始数据集对应的目标数据集，确定为联邦学习样本集。3.根据权利要求2所述的方法，其特征在于，所述得到所述参与方与所述第一原始数据集对应的目标数据集，包括：确定所述第一原始数据集的第一标签集；将所述第一标签集发送给参与方，以使所述参与方针对所述第一标签集中的每一标签，以所述标签为关键字查找所述参与方的第二原始数据集，得到包含所述标签的目标第二原始数据，将多个所述目标第二原始数据确定为所述参与方与所述第一原始数据集对应的目标数据集。4.根据权利要求1所述的方法，其特征在于，所述利用所述联邦学习样本集对初始模型进行迭代训练，得到目标联合模型，包括：利用所述联邦学习样本集中的所述第一原始数据集对初始模型进行训练，得到当前的联合模型；按照预设的组合方式将所述第一原始数据集和各所述第二原始数据集中的部分数据进行组合，得到多个子样本集；按照以下步骤进行迭代训练，直至满足预设的迭代停止条件：从所述多个子样本集中选择一个目标子样本集；利用所述目标子样本集对当前的联合模型进...

【专利技术属性】
技术研发人员：林建明，宋文甫，杜亚威，
申请(专利权)人：深圳萨摩耶数字科技有限公司，
类型：发明
国别省市：