模型训练方法、推理方法、装置、系统、设备及存储介质制造方法及图纸

本申请实施例涉及深度学习技术领域，公开了一种模型训练方法、推理方法、装置、系统、设备及存储介质，其中，模型训练方法包括：获取密文训练数据；其中，所述密文训练数据是对采集的明文数据进行同态加密处理后得到的；利用所述密文训练数据进行模型训练，以得到目标学习模型的第一组模型参数；基于所述第一组模型参数将所述目标学习模型部署到模型部署平台。可以保证计算过程数据和模型参数安全性，从而可以在训练过程中杜绝了数据偷取攻击的可能性，也减少了存储模型参数的系统中受到攻击被盗取模型参数的风险。取模型参数的风险。取模型参数的风险。

【技术实现步骤摘要】
模型训练方法、推理方法、装置、系统、设备及存储介质


[0001]本申请涉及但不限于深度学习
，尤其涉及一种模型训练方法、推理方法、装置、系统、设备及存储介质。

技术介绍

[0002]深度学习是当前比较流行的机器学习范式。深度学习模型已应用于大量生产性机器学习系统中。
[0003]深度学习模型的训练与部署通常有如下过程：数据采集；数据存储与预处理；模型训练；模型优化与部署准备；针对部署平台的模型部署。深度学习的模型训练和推理过程中会面临数据被盗取的风险。另外，训练得到的模型参数数据在部署平台上也会面临模型盗取的风险。因此目前的深度学习数据平台面临较多数据风险。
[0004]传统对称加密技术只能对训练推理数据以及模型参数数据进行加密，由于通过对通信过程和存储系统进行加密，不能保证模型训练、模型推理、模型优化等涉及到数据计算的过程中数据的安全性。

技术实现思路

[0005]有鉴于此，本申请实施例至少提供一种模型训练方法、推理方法、装置、系统、设备及存储介质。
[0006]本申请实施例的技术方案是这样实现的：第一方面，本申请实施例提供一种模型训练方法，所述方法包括：获取密文训练数据；其中，所述密文训练数据是对采集的明文数据进行同态加密处理后得到的；利用所述密文训练数据进行模型训练，以得到目标学习模型的第一组模型参数；基于所述第一组模型参数将所述目标学习模型部署到模型部署平台。
[0007]第二方面，本申请实施例提供一种模型推理方法，所述方法包括：接收用户的推理请求；其中，所述推理请求携带利用第二公钥加密的密文推理数据；通过已训练的目标学习模型对所述密文推理数据进行预测，得到密文推理结果；其中，所述目标学习模型为利用第一方面所述的模型训练方法得到的。
[0008]第三方面，本申请实施例提供一种模型训练装置，所述装置包括：获取模块，用于获取密文训练数据；其中，所述密文训练数据是对采集的明文数据进行同态加密处理后得到的；训练模块，用于利用所述密文训练数据进行模型训练，以得到目标学习模型的第一组模型参数；部署模块，用于基于所述第一组模型参数将所述目标学习模型部署到模型部署平台。
[0009]第四方面，本申请实施例提供一种模型推理装置，所述装置包括：接收模块，用于接收用户的推理请求；其中，所述推理请求携带利用第二公钥加密
的密文推理数据；推理模块，用于通过已训练的目标学习模型对所述密文推理数据进行预测，得到密文推理结果；其中，所述目标学习模型为利用第一方面所述的模型训练方法得到的。
[0010]第五方面，本申请实施例提供一种模型服务部署系统，包括数据存储中心和模型部署平台，其中：所述数据存储中心，用于获取密文训练数据；其中，所述密文训练数据是对采集的明文数据进行同态加密处理后得到的；利用所述密文训练数据进行模型训练，以得到目标学习模型的第一组模型参数；基于所述第一组模型参数将所述目标学习模型部署到所述模型部署平台；所述模型部署平台，用于接收用户的推理请求；其中，所述推理请求携带利用第二公钥加密的密文推理数据；通过已训练的目标学习模型对所述密文推理数据进行预测，得到密文推理结果。
[0011]第六方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第一方面方法中的部分或全部步骤；或者实现上述第二方面方法中的部分或全部步骤。
[0012]第七方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面方法中的部分或全部步骤；或者实现上述第二方面方法中的部分或全部步骤。
[0013]本申请实施例中，首先获取经过同态加密的密文训练数据；然后在数据存储中心利用密文训练数据进行模型训练，以得到目标学习模型的第一组模型参数；最后基于所述第一组模型参数将所述目标学习模型部署到模型部署平台；如此，通过使用同态加密技术对数据采集过程、模型训练过程等计算过程进行加密，基于密文空间标识的第一组模型参数将目标学习模型部署到模型部署平台。这样，可以保证计算过程数据和模型参数安全性，从而可以在训练过程中杜绝了数据偷取攻击的可能性，也减少了存储模型参数的系统中受到攻击被盗取模型参数的风险。
[0014]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。
附图说明
[0015]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
[0016]图1为相关技术提供的深度学习模型的训练与部署流程示意图；图2为相关技术提供的加密后的深度学习训练与部署系统的示意图；图3为本申请实施例提供的模型训练方法的可选的流程示意图；图4为本申请实施例提供的模型推理方法的可选的流程示意图；图5本申请实施例提供的模型服务部署系统的示意图；图6A为本申请实施例提供的深度学习模型的训练与部署方法的示意图；图6B为本申请实施例提供的深度学习模型的训练与部署方法的逻辑流程图；图7为本申请实施例提供的一种模型训练装置的组成结构示意图；
图8为本申请实施例提供的一种模型推理装置的组成结构示意图；图9为本申请实施例提供的一种计算机设备的硬件实体示意图。
具体实施方式
[0017]为了使本申请的目的、技术方案和优点更加清楚，下面结合附图和实施例对本申请的技术方案进一步详细阐述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0018]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
[0019]所涉及的术语“第一/第二/第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
[0020]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请的目的，不是旨在限制本申请。
[0021]在对本申请实施例进行进一步详细说明之前，先对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
[0022]深度学习是当前比较流行的机器学习范式。深度学习模型已应用于大量生产性机器学习系统中。深度学习模型的训练与部署流程通常有如下步骤：数据采集；数据存储与预处理；模型训练；模型优化与部署准备；针对部署平台的模型部署。图1为相关技术提供的深度学习模型的训练与部署流程示意图，如图1所示，数据采集11部分采集的明文数据101存储到数据存储中心12，模型训练13部本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：获取密文训练数据；其中，所述密文训练数据是对采集的明文数据进行同态加密处理后得到的；利用所述密文训练数据进行模型训练，以得到目标学习模型的第一组模型参数；基于所述第一组模型参数将所述目标学习模型部署到模型部署平台。2.根据权利要求1所述的方法，其特征在于，所述密文训练数据是利用生成的第一公钥对所述采集的明文数据加密得到的；所述利用所述密文训练数据进行模型训练，以得到目标学习模型的第一组模型参数，包括：通过第一神经网络对所述密文训练数据进行逐层处理，得到对所述密文训练数据的预测结果；其中，所述第一神经网络中至少一层的模型参数为利用所述第一公钥进行加密的密文参数；根据所述密文训练数据的预测结果和所述密文训练数据的初始标签，确定学习损失；利用所述学习损失更新所述第一神经网络中每一层的模型参数；在满足预设训练停止条件的情况下，得到所述目标学习模型的第一组模型参数。3.根据权利要求2所述的方法，其特征在于，所述第一神经网络包括N层网络；所述N层网络中第i层的输入数据为对第i
‑
1层输出的中间结果加密得到的；其中，i为2至N中任一自然数；所述根据所述密文训练数据的预测结果和所述密文训练数据的初始标签，确定学习损失，包括：利用所述第一公钥对所述密文训练数据的初始标签进行N次加密，得到目标标签；根据所述密文训练数据的预测结果和所述目标标签，确定所述学习损失。4.根据权利要求3所述的方法，其特征在于，所述通过第一神经网络对所述密文训练数据进行逐层处理，得到对所述密文训练数据的预测结果，包括：在所述N层网络中第1层对所述密文训练数据进行处理，得到所述第1层输出的中间结果；利用所述第一公钥对所述N层网络中第i层的模型参数进行i次加密，得到第i密文参数；利用所述第一公钥对所述N层网络中第i
‑
1层输出的中间结果进行加密，得到所述第i
‑
1层的密文结果；根据所述第i密文参数和所述第i
‑
1层的密文结果，确定所述第i层输出的中间结果；在逐层迭代至i为N的情况下，将第N层的中间结果作为所述密文训练数据的预测结果。5.根据权利要求4所述的方法，其特征在于，所述利用所述学习损失更新所述第一神经网络中每一层的模型参数，包括：确定所述学习损失对于所述第一神经网络中每一层的模型参数的梯度值；根据所述每一层的模型参数的梯度值对同一层的模型参数进行参数更新。6.根据权利要求5所述的方法，其特征在于，所述确定所述学习损失对于所述第一神经网络中每一层的模型参数的梯度值，包括：根据所述第i层的输出数据的偏导和所述第i密文参数，确定所述第i层的输入偏导结果；其中，所述第N层的输出数据的偏导为所述学习损失的导数；
利用所述第一公钥对对应的第一私钥进行加密，得到私钥密文；利用所述私钥密文对所述第i层的输入偏导结果进行解密，得到第i
‑
1层的输出数据的偏导；根据所述第i
‑
1层的输出数据的偏导和第i
‑
2层的密文结果，确定所述第i
‑
1层的模型参数的梯度值。7.根据权利要求2至6任一项所述的方法，其特征在于，所述利...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：摩尔线程智能科技北京有限责任公司，
类型：发明
国别省市：