数据保护模型训练及数据保护方法、装置以及存储介质制造方法及图纸

技术编号:37668032 阅读:9 留言:0更新日期:2023-05-26 04:28
本说明书实施例公开了一种数据保护模型训练及数据保护方法、装置、存储介质以及终端,首先将各样本原始数据输入基于预设保护函数构建的初始网络模型,得到各样本输出数据;然后基于预设保护函数对各样本原始数据处理后的各标准输出数据与各样本输出数据得到第一蒸馏损失;基于各标准输出数据之间的第一相关性以及各样本输出数据之间的第二相关性,得到第二蒸馏损失;最终根据第一蒸馏损失和第二蒸馏损失对初始网络模型进行第一训练,得到第一数据保护模型。由于在第一相关性中能够体现预设保护函数处理数据时的计算特征,因此使用各标准输出数据之间的第一相关性以及各样本输出数据之间的第二相关性,来构建训练数据保护模型的损失计算。模型的损失计算。模型的损失计算。

【技术实现步骤摘要】
数据保护模型训练及数据保护方法、装置以及存储介质


[0001]本说明书实施例涉及计算机信息安全
,尤其涉及一种数据保护模型训练及数据保护方法、装置以及存储介质。

技术介绍

[0002]人工智能技术近年来发展迅速,并逐渐应用到各种日常场景中,例如自助支付场景、自动身份验证场景以及信息采集场景等,而通过各类端侧设备自动进行用户服务时,需要采集、传输、处理和存储用户的信息,用户信息中包含大量隐私数据信息,因此为了避免用户个人隐私信息泄露,需要对用户信息进行高效的管理和保护。

技术实现思路

[0003]本说明书实施例提供一种数据保护模型训练及数据保护方法、装置以及存储介质,可以解决相关技术中数据保护模型的性能较差的技术问题。
[0004]第一方面,本说明书实施例提供一种数据保护模型训练方法,该方法包括:
[0005]获取至少两个样本原始数据,将各样本原始数据输入至初始网络模型,得到各样本原始数据对应的样本输出数据,其中,所述初始网络模型基于预设保护函数构建;
[0006]获取所述预设保护函数对各样本原始数据处理后的各标准输出数据,基于各标准输出数据与各样本输出数据得到第一蒸馏损失;
[0007]计算各标准输出数据之间的第一相关性以及各样本输出数据之间的第二相关性,基于所述第一相关性和所述第二相关性得到第二蒸馏损失;
[0008]根据所述第一蒸馏损失和所述第二蒸馏损失构建第一损失函数,基于所述第一损失函数对所述初始网络模型进行第一训练,得到第一数据保护模型。
>[0009]第二方面,本说明书实施例提供一种数据保护方法,该方法包括:
[0010]响应数据加密请求,基于数据加密模型对目标原始数据进行加密处理,得到所述目标原始数据对应的目标加密数据;
[0011]响应数据解密请求,基于数据解密模型对所述目标加密数据进行解密处理,得到所述目标原始数据对应的目标解密数据;
[0012]其中,所述数据加密模型或所述数据解密模型为权利要求1至9任意一项所述的数据保护模型训练方法训练得到的数据保护模型。
[0013]第三方面,本说明书实施例提供一种数据保护模型训练装置,该装置包括:
[0014]数据获取模块,用于获取至少两个样本原始数据,将各样本原始数据输入至初始网络模型,得到各样本原始数据对应的样本输出数据,其中,所述初始网络模型基于预设保护函数构建;
[0015]第一损失计算模块,用于获取所述预设保护函数对各样本原始数据处理后的各标准输出数据,基于各标准输出数据与各样本输出数据得到第一蒸馏损失;
[0016]第二损失计算模块,用于计算各标准输出数据之间的第一相关性以及各样本输出
数据之间的第二相关性,基于所述第一相关性和所述第二相关性得到第二蒸馏损失;
[0017]第一模型训练模块,用于根据所述第一蒸馏损失和所述第二蒸馏损失构建第一损失函数,基于所述第一损失函数对所述初始网络模型进行第一训练,得到第一数据保护模型。
[0018]第四方面,本说明书实施例提供一种数据保护装置,该装置包括:
[0019]加密模块,用于响应数据加密请求,基于数据加密模型对目标原始数据进行加密处理,得到所述目标原始数据对应的目标加密数据;
[0020]解密模块,用于响应数据解密请求,基于数据解密模型对所述目标加密数据进行解密处理,得到所述目标原始数据对应的目标解密数据;
[0021]其中,所述数据加密模型或所述数据解密模型为权利要求1至9任意一项所述的数据保护模型训练方法训练得到的数据保护模型。
[0022]第五方面,本说明书实施例提供一种包含指令的计算机程序产品,当所述计算机程序产品在计算机或处理器上运行时,使得所述计算机或所述处理器执行上述的方法的步骤。
[0023]第六方面,本说明书实施例提供一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行上述的方法的步骤。
[0024]第七方面,本说明书实施例提供一种终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述计算机程序适于由处理器加载并执行上述的方法的步骤。
[0025]本说明书一些实施例提供的技术方案带来的有益效果至少包括:
[0026]本说明书实施例提供一种数据保护模型训练方法,首先基于预设保护函数构建初始网络模型,将各样本原始数据输入初始网络模型,得到各样本输出数据;然后基于预设保护函数对各样本原始数据处理后的各标准输出数据与各样本输出数据得到第一蒸馏损失;基于各标准输出数据之间的第一相关性以及各样本输出数据之间的第二相关性,得到第二蒸馏损失;最终根据第一蒸馏损失和第二蒸馏损失对初始网络模型进行第一训练,得到第一数据保护模型。由于样本原始数据经过预设保护函数的处理后,在标准输出数据之间的第一相关性中能够体现预设保护函数处理数据时的计算特征,因此使用各标准输出数据之间的第一相关性以及各样本输出数据之间的第二相关性,来构建训练数据保护模型的损失计算,可以使得数据保护模型从输出数据之间相关性的角度,更准确的拟合预设保护函数处理数据时的计算特征和计算能力,得到更加准确的数据保护模型。
附图说明
[0027]为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0028]图1为本说明书实施例提供的一种数据保护模型训练方法的示例性系统架构图;
[0029]图2为本说明书实施例提供的一种数据保护模型训练方法的流程示意图;
[0030]图3为本说明书实施例提供的一种数据保护模型训练方法的流程示意图;
[0031]图4为本说明书实施例提供的一种数据保护模型训练方法的流程示意图;
[0032]图5为本说明书实施例提供的一种数据保护方法的流程示意图;
[0033]图6为本说明书实施例提供的一种数据保护模型训练装置的结构框图;
[0034]图7为本说明书实施例提供的一种数据保护装置的结构框图;
[0035]图8为本说明书实施例提供的一种终端的结构示意图。
具体实施方式
[0036]为使得本说明书实施例的特征和优点能够更加的明显和易懂,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而非全部实施例。基于本说明书中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书实施例保护的范围。
[0037]下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书实施例相一致的所有实施方式。相反,它们仅是如所附权利要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据保护模型训练方法,所述方法包括:获取至少两个样本原始数据,将各样本原始数据输入至初始网络模型,得到各样本原始数据对应的样本输出数据,其中,所述初始网络模型基于预设保护函数构建;获取所述预设保护函数对各样本原始数据处理后的各标准输出数据,基于各标准输出数据与各样本输出数据得到第一蒸馏损失;计算各标准输出数据之间的第一相关性以及各样本输出数据之间的第二相关性,基于所述第一相关性和所述第二相关性得到第二蒸馏损失;根据所述第一蒸馏损失和所述第二蒸馏损失构建第一损失函数,基于所述第一损失函数对所述初始网络模型进行第一训练,得到第一数据保护模型。2.根据权利要求1所述的方法,所述基于各标准输出数据与各样本输出数据得到第一蒸馏损失,包括:计算各标准输出数据与各标准输出数据对应的样本输出数据之间的第一子蒸馏损失,将各第一子蒸馏损失之和作为第一蒸馏损失。3.根据权利要求1所述的方法,所述计算各标准输出数据之间的第一相关性以及各样本输出数据之间的第二相关性,包括:基于同一预设规则对各标准输出数据以及各样本输出数据进行分组,得到至少一组标准输出数据组以及各标准输出数据组对应的样本输出数据组;分别计算每一组标准输出数据组中各标准输出数据之间的第一相关性,以及分别计算每一组样本输出数据组中各样本输出数据之间的第二相关性。4.根据权利要求3所述的方法,所述基于所述第一相关性和所述第二相关性得到第二蒸馏损失,包括:计算各第一相关性与各第一相关性对应的第二相关性之间的第二子蒸馏损失,将各第二子蒸馏损失之和作为第二蒸馏损失。5.根据权利要求1至3任一项所述的方法,所述得到第一数据保护模型之后,还包括:获取所述样本原始数据,将各样本原始数据输入至所述第一数据保护模型,以及基于所述第一损失函数得到第一损失结果;基于所述第一数据保护模型中的网络参数计算所述第一数据保护模型的稀疏损失;根据所述第一损失结果以及所述稀疏损失构建第二损失函数,基于所述第二损失函数对所述第一数据保护模型进行第二训练,得到第二数据保护模型。6.根据权利要求5所述的方法,所述根据所述第一损失结果以及所述稀疏损失构建第二损失函数,包括:获取所述第一损失结果的第一损失权重以及所述稀疏损失的第二损失权重;根据所述第一损失权重与所述第一损失结果的乘积以及所述第二损失权重与所述稀疏损失的乘积,构建第二损失函数。7.根据权利要求6所述的方法,所述获取所述第一损失函数的第一损失权重以及所述稀疏损失的第二损失权重,包括:根据上一次训练过程得到的第二损失结果以及预设权重网络模型,得到所述第一损失函数的第一损失...

【专利技术属性】
技术研发人员:曹佳炯丁菁汀
申请(专利权)人:支付宝杭州信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1