隐私机器学习模型生成、训练方法、装置及电子设备制造方法及图纸

本说明书的实施方案提供了一种隐私机器学习模型生成、训练方法、装置及电子设备，该模型生成方法包括：获取明文机器学习模型中的静态优化器；执行所述静态优化器，以将所述明文机器学习模型中的原生明文算子替换为密码算子，从而生成隐私机器学习模型；其中，所述静态优化器根据密码算子优化器类创建，所述密码算子优化器类派生于所述明文机器学习框架的原生优化器类，所述明文机器学习模型基于明文机器学习框架生成。本说明书的实施方案可以降低隐私机器学习模型的实现成本。

【技术实现步骤摘要】
隐私机器学习模型生成、训练方法、装置及电子设备
本说明书涉及机器学习
，尤其是涉及一种隐私机器学习模型生成、训练方法、装置及电子设备。
技术介绍
目前机器学习(MachineLearning)已在很多领域有所应用。在一些情况下，鉴于机器学习需要使用大量的样本数据，为了可以从数据中挖掘出更大的价值，两个或更多个数据持有方会协作进行机器学习建模。但是，对于任何一个数据持有方而言，己方的隐私数据有被泄露或者是被不正当使用的风险。因此，如何将隐私数据很好地保护起来对机器学习至关重要。为了解决该问题，各种基于加密机器学习的框架(以下简称隐私机器学习框架)应运而生，如：TF-Encrypted、PySyft等。一般地，这些隐私机器学习框架是利用了明文机器学习框架(如Tensorflow、PyTorch等)的应用程序接口(API，ApplicationProgrammingInterface)的易用性，同时通过多种密码学算法对加密数据进行训练和预测，以使用户可以在并不精通密码学、分布式系统或高性能计算专业知识的情况下，也可以使用。然而，在实现本申请的过程中，本申请的专利技术人发现：这些隐私机器学习框架的实现均未使用已有的明文机器学习模型，若想要使用已有的明文机器学习模型的处理逻辑，就需要使用隐私机器学习框架特有的APIs和隐私数据类型重新编码实现，实现成本较高。
技术实现思路
本说明书的实施方案的目的在于提供一种隐私机器学习模型生成、训练方法、装置及电子设备，以降低隐私机器学习模型的实现成本。为达到上述目的，一方面，本说明书的实施方案提供了一种隐私机器学习模型生成方法，包括：获取明文机器学习模型中的静态优化器；执行所述静态优化器，以将所述明文机器学习模型中的原生明文算子替换为密码算子，从而生成隐私机器学习模型；其中，所述静态优化器根据密码算子优化器类创建，所述密码算子优化器类派生于所述明文机器学习框架的原生优化器类，所述明文机器学习模型基于明文机器学习框架生成。另一方面，本说明书的实施方案还提供了一种隐私机器学习模型生成装置，包括：获取模块，用于获取明文机器学习模型中的静态优化器；执行模块，用于执行所述静态优化器，以将所述明文机器学习模型中的原生明文算子替换为密码算子，从而生成隐私机器学习模型；其中，所述静态优化器根据密码算子优化器类创建，所述密码算子优化器类派生于所述明文机器学习框架的原生优化器类，所述明文机器学习模型基于明文机器学习框架生成。另一方面，本说明书的实施方案还提供了一种电子设备，包括存储器、处理器、以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时执行上述的隐私机器学习模型生成方法。另一方面，本说明书的实施方案还提供了一种隐私机器学习模型训练方法，包括如下步骤：基于训练样本集训练隐私机器学习模型，以生成第一模型；所述隐私机器学习模型利用上述的隐私机器学习模型生成方法生成；基于测试样本集测试所述第一模型是否满足预设条件；当所述第一模型满足所述预设条件时，将所述第一模型作为数据预测模型。另一方面，本说明书的实施方案还提供了一种隐私机器学习模型训练装置，包括：模型训练模块，用于基于训练样本集训练隐私机器学习模型，以生成第一模型；所述隐私机器学习模型利用上述的隐私机器学习模型生成方法生成；模型验证模块，用于基于测试样本集测试所述第一模型是否满足预设条件；模型确定模块，用于当所述第一模型满足素所述预设条件时，将所述第一模型作为数据预测模型。另一方面，本说明书的实施方案还提供了另一种电子设备，包括存储器、处理器、以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时执行如下步骤：基于训练样本集训练隐私机器学习模型，以生成第一模型；所述隐私机器学习模型利用上述的隐私机器学习模型生成方法生成；基于测试样本集测试所述第一模型是否满足预设条件；当所述第一模型满足所述预设条件时，将所述第一模型作为数据预测模型。由以上本说明书的实施方案提供的技术方案可见，本说明书的实施方案除了实现密码算子外，还可以实现在明文机器学习模型中导入一个静态优化器；由于静态优化器是根据密码算子优化器类创建的，而密码算子优化器类又是依据明文机器学习框架的原生优化器类和密码算子派生的；如此，当重载明文机器学习模型时，通过执行该静态优化器就可以将所述明文机器学习模型中的原生明文算子替换为密码算子，从而通过复用已有的明文机器学习模型实现了隐私机器学习模型，进而避免了现有技术因使用隐私机器学习框架特有的APIs和隐私数据类型重新编码所带来的巨大开发成本，因而本说明书的实施方案降低了隐私机器学习模型的实现成本。附图说明为了更清楚地说明本说明书的实施方案或现有技术中的技术方案，下面将对实施方案或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施方案，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：图1为本说明书的一些实施方案中隐私机器学习模型生成方法的流程图；图2为本说明书的一个示例性实施方案中，明文机器学习模型中未导入静态优化器时的计算图；图3为本说明书的一个示例性实施方案中，明文机器学习模型中导入静态优化器，并执行该静态优化器后的计算图；图4为本说明书的一个实施方案中静态优化器的处理流程图；图5为本说明书的一个示例性实施方案中多个数据持有方联合进行机器学习的结构示意图；图6为本说明书的一些实施方案中隐私机器学习模型训练方法的流程图；图7为本说明书的一些实施方案中隐私机器学习模型生成装置的结构框图；图8为本说明书的一些实施方案中隐私机器学习模型训练装置的结构框图；图9为本说明书的一些实施方案中电子设备的结构框图。具体实施方式为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书的实施方案中的附图，对本说明书的实施方案中的技术方案进行清楚、完整地描述，显然，所描述的实施方案仅仅是本说明书一部分实施方案，而不是全部的实施方案。基于本说明书中的实施方案，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方案，都应当属于本说明书保护的范围。参考图1所示，本说明书的一些实施方案的隐私机器学习模型生成方法可以包括以下步骤：S101、获取明文机器学习模型中的静态优化器；S102、执行所述静态优化器，以将所述明文机器学习模型中的原生明文算子替换为密码算子，从而生成隐私机器学习模型；其中，所述静态优化器根据密码算子优化器类创建，所述密码算子优化器类派生于所述明文机器学习框架的原生优化器类，所述明文机器学习模型基于明文机器学习框架生成。由此可见，本说明书的实施方案除了实现密码算子外，还可以实本文档来自技高网...

【技术保护点】
1.一种隐私机器学习模型生成方法，其特征在于，包括：/n获取明文机器学习模型中的静态优化器；/n执行所述静态优化器，以将所述明文机器学习模型中的原生明文算子替换为密码算子，从而生成隐私机器学习模型；/n其中，所述静态优化器根据密码算子优化器类创建，所述密码算子优化器类派生于所述明文机器学习框架的原生优化器类，所述明文机器学习模型基于明文机器学习框架生成。/n

【技术特征摘要】
1.一种隐私机器学习模型生成方法，其特征在于，包括：
获取明文机器学习模型中的静态优化器；
执行所述静态优化器，以将所述明文机器学习模型中的原生明文算子替换为密码算子，从而生成隐私机器学习模型；
其中，所述静态优化器根据密码算子优化器类创建，所述密码算子优化器类派生于所述明文机器学习框架的原生优化器类，所述明文机器学习模型基于明文机器学习框架生成。


2.如权利要求1所述的隐私机器学习模型生成方法，其特征在于，所述密码算子包括以下中的任意一种：
安全多方计算算子；
同态加密算子；
零知识证明算子。


3.如权利要求1所述的隐私机器学习模型生成方法，其特征在于，所述将所述明文机器学习模型中的原生明文算子替换为密码算子，包括：
将明文机器学习模型中的原生静态图替换为密码静态图。


4.如权利要求3所述的隐私机器学习模型生成方法，其特征在于，所述将明文机器学习模型中的原生静态图替换为密码静态图，包括：
从明文机器学习模型的变量集合中获取损失函数返回的变量名称；
确认所述损失函数返回的变量名称是否位于目标模型的变量集合中；
当所述损失函数返回的变量名称位于目标模型的变量集合中时，在所述目标模型的静态图中根据所述损失函数返回的变量名称获取张量并返回。


5.如权利要求4所述的隐私机器学习模型生成方法，其特征在于，所述将明文机器学习模型中的原生静态图替换为密码静态图，还包括：
当所述损失函数返回的变量名称未位于目标模型的变量集合中时，确认所述损失函数所返回变量的类型；
根据所述损失函数所返回变量的类型，将所述明文机器学习模型中的原生静态图替换为密码静态图。


6.如权利要求5所述的隐私机器学习模型生成方法，其特征在于，所述根据所述损失函数所返回变量的类型，将所述明文机器学习模型中的原生静态图替换为密码静态图，包括：
当所述损失函数所返回变量的类型为张量类型时，获取该张量的张量名称；
确认所述张量名称是否为占位符；
当所述张量名称是占位符时，返回该张量。


7.如权利要求6所述的隐私机器学习模型生成方法，其特征在于，所述根据所述损失函数所返回变量的类型，将所述明文机器学习模型中的原生静态图替换为密码静态图，还包括：
当所述张量名称不是占位符时，对该张量所属的原生算子进行递归替换，并返回替换后形成的新算子；
获取该张量的输出索引值，并从所述新算子中使用所述输出索引值获取输出边张量并返回。


8.如权利要求5所述的隐私机器学习模型生成方法，其特征在于，所述根据所述损失函数所返回变量的类型，将所述明文机器学习模型中的原生静态图替换为密码静态图，还包括：
当所述损失函数所返回变量的类型为算子类型时，对该算子对应的边进行递归替换，并返回替换后形成的新算子对应的边；
确认该算子对应的数据流中是否包含目标模型的模型私有数据；
当该算子对应的数据流中包含目标模型的模型私有数据时，以所述新算子对应的边作为参数，调用密码算子创建函数创建对应的密码算子，并返回所述密码算子。


9.如权利要求8所述的隐私机器学习模型生成方法，其特征在于，所述根据所述损失函数所返回变量的类型，将所述明文机器学习模型中的原生静态图替换为密码静态图，还包括：
当该算子对应的数据流中未包含目标模型的模型私有数据时，将所述明文机器学习模型的算子深度拷贝至所述目标模型中，并返回深度拷贝的算子。


10.如权利要求5所述的隐私机器学习模型生成方法，其特征在于，所述根据所述损失函数所返回变量的类型，将所述明文机器学习模型中的原生静态图替换为密码静态图，还包括：
当所述损失函数所返回变量的类型不是张量类型也不是算子类型时，抛出错误。


11.一种隐私机器学习模型生成装置，其特征在于，包括：
获取模块，用于获取明文机器学习模型中的静态优化器；
执行模块，用于执行所述静态优化器，以将所述明文机器学习模型中的原生明文算子替换为密码算子，从而生成隐私机器学习模型；
其中，所述静态优化器根据密码算子优化器类创建，所述密码算子优化器类派生于所述明文机器学习框架的原生优化器类，所述明文机器学习模型基于明文机器学习框架生成。


12.如权利要求11所述的隐私机器学习模型生成装置，其特征在于，所述密码算子包括以下中的任意一种：
安全多方计算算子；
同态加密算子；
零知识证明算子。


13.如权利要求11所述的隐私机器学习模型生成装置，其特征在于，...

【专利技术属性】
技术研发人员：陈元丰，谢翔，晏意林，黄高峰，史俊杰，李升林，孙立林，
申请(专利权)人：矩阵元技术深圳有限公司，
类型：发明
国别省市：广东;44