本说明书实施例提供一种基于隐私保护确定目标业务模型的方法和装置，先对选定的复杂业务模型进行初始训练，得到初始业务模型，然后对初始业务模型进行修剪，并对修剪后的业务模型进行训练，得到相应模型指标。对于得到的多个子模型，通过差分隐私的指数机制，利用相应模型指标确定各个业务模型分别对应的各个采样概率，并基于采样概率对多个子模型进行采样，从而选择目标业务模型。这样，可以利用差分隐私方式获取隐私保护的压缩模型，在实现模型压缩的基础上，为模型提供隐私保护。为模型提供隐私保护。为模型提供隐私保护。
【技术实现步骤摘要】
基于隐私保护确定目标业务模型的方法及装置
[0001]本申请为2020年4月10日提交的、申请号202010276685.8的专利技术专利申请“基于隐私保护确定目标业务模型的方法及装置”的分案申请。
[0002]本说明书一个或多个实施例涉及计算机
，尤其涉及通过计算机基于隐私保护确定目标业务模型的方法和装置。
技术介绍
[0003]随着机器学习技术的发展，深度神经网络(Deep Neural Network，DNN)由于模仿人脑的思考方式，比简单的线性模型有更好的效果，而受到本领域技术人员的青睐。深度神经网络是一种具备至少一个隐层的神经网络，能够为复杂非线性系统建模，提高模型能力。
[0004]深度神经网络由于复杂的网络结构，特征和模型参数体系也非常大。例如，一个深度神经网络可以包括高达数百万个参数。因此，希望寻求模型压缩的方法，减少模型的数据量和复杂度。为此，常规技术中通常利用训练样本调整深度神经网络中的数百万个参数，然后删除或“修剪”不必要的权重，以将网络结构缩减到更易于管理的大小。减小模型尺寸有助于最大程度地减小其内存、推理和计算需求。在一些业务场景中，神经网络中的许多权重有时可以被削减多达99％，从而产生更小、更稀疏的网络。
[0005]然而，这种训练完成之后又删减的方式，需要较高的计算成本，进行了大量“无效”计算。于是设想在原始神经网络的子网络中寻找一个尽可能满足要求的网络进行训练。同时，常规技术中，较简单的神经网络更易于获取原始数据。为此，需要提供一种方法，即能够保护数据的隐私，又可以压缩模型的大小来实现实时计算和端上部署，从多方面提高模型的性能。
技术实现思路
[0006]本说明书一个或多个实施例描述了一种基于隐私保护确定目标业务模型的方法及装置，用以解决
技术介绍
提到的一个或多个问题。
[0007]根据第一方面，提供了一种基于隐私保护确定目标业务模型的方法，所述目标业务模型用于处理给定的业务数据，得到相应的业务预测结果；所述方法包括：按照预定方式为选定的业务模型确定各个模型参数分别对应的初始值，从而初始化所述选定的业务模型；使用多个训练样本训练经过初始化的所述选定的业务模型至模型参数收敛，得到初始业务模型；基于对所述初始业务模型的修剪，确定所述初始业务模型的多个子模型，其中，各个子模型各自对应有通过以下方式重新训练确定的模型参数以及模型指标：将修剪后的业务模型的模型参数重置为初始化的业务模型中的相应模型参数的初始值；将多个训练样本依次输入修剪后的业务模型，并基于相应样本标签与修剪后的业务模型的输出结果的对比，调整模型参数；基于各个子模型各自对应的模型指标，利用差分隐私的第一方式从各个子模型中选择出目标业务模型。
[0008]在一个实施例中，所述基于对所述初始业务模型的修剪，确定所述初始业务模型的多个子模型包括：按照所述初始业务模型的模型参数，对所述初始业务模型进行修剪，得到第一修剪模型；将对应有经过重新训练得到的模型参数的第一修剪模型，作为第一子模型；迭代修剪所述第一子模型得到后续子模型，直至满足结束条件。
[0009]在一个实施例中，所述结束条件包括，迭代次数达到预定次数、子模型数量达到预定数量、最后一个子模型的规模小于设定的规模阈值中的至少一项。
[0010]在一个实施例中，对模型的修剪基于以下之一的方式，按照模型参数由小到大的顺序进行：修剪掉预定比例的模型参数、修剪掉预定数量的模型参数、修剪得到规模不超过预定大小的模型。
[0011]在一个实施例中，所述差分隐私的第一方式为指数机制，所述基于各个子模型各自对应的模型指标，利用差分隐私的第一方式从各个子模型中选择出目标业务模型包括：按照各个子模型各自对应的模型指标，确定各个子模型分别对应的各个可用性系数；根据各个可用性系数，利用指数机制确定各个子模型分别对应的各个采样概率；按照各个采样概率在所述多个子模型中采样，将被采样到的子模型作为目标业务模型。
[0012]在一个实施例中，所述方法还包括：利用多个训练样本对所述目标业务模型基于差分隐私的第二方式进行训练，使得训练后的目标业务模型用于针对给定的业务数据进行保护数据隐私的业务预测。
[0013]在一个实施例中，所述多个训练样本包括第一批样本，所述第一批样本中的样本i对应有经所述目标业务模型处理后得到的损失，所述利用多个训练样本对所述目标业务模型基于差分隐私的第二方式进行训练包括：确定所述样本i对应的损失的原始梯度；利用所述差分隐私的第二方式在所述原始梯度上添加噪声，得到包含噪声的梯度；利用所述包含噪声的梯度，以最小化所述样本i对应的损失为目标，调整所述目标业务模型的模型参数。
[0014]在一个实施例中，所述差分隐私的第二方式为添加高斯噪声，所述利用所述差分隐私的第二方式在所述原始梯度上添加噪声，得到包含噪声的梯度包括：基于预设的裁剪阈值，对所述原始梯度进行裁剪，得到裁剪梯度；利用基于所述裁剪阈值确定的高斯分布，确定用于实现差分隐私的高斯噪声，其中，所述高斯分布的方差与所述裁剪阈值的平方正相关；将所述高斯噪声与所述裁剪梯度叠加，得到所述包含噪声的梯度。
[0015]在一个实施例中，所述业务数据包括图片、音频、字符中的至少一项。
[0016]根据第二方面，提供了一种基于隐私保护确定目标业务模型的装置，所述目标业务模型用于处理给定的业务数据，得到相应的业务预测结果；所述装置包括：
[0017]初始化单元，配置为按照预定方式为选定的业务模型确定各个模型参数分别对应的初始值，从而初始化所述选定的业务模型；
[0018]初始训练单元，配置为使用多个训练样本训练经过初始化的所述选定的业务模型至模型参数收敛，得到初始业务模型；
[0019]修剪单元，配置为基于对所述初始业务模型的修剪，确定所述初始业务模型的多个子模型，其中，各个子模型各自对应有通过所述初始化单元以下和所述初始训练单元重新训练确定的模型参数以及模型指标：所述初始化单元将修剪后的业务模型的模型参数重置为初始化的业务模型中的相应模型参数的初始值；所述初始训练单元将多个训练样本依次输入修剪后的业务模型，并基于相应样本标签与修剪后的业务模型的输出结果的对比，
调整模型参数；
[0020]确定单元，配置为基于各个子模型各自对应的模型指标，利用差分隐私的第一方式从各个子模型中选择出目标业务模型。
[0021]根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
[0022]根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
[0023]通过本说明书实施例提供的方法和装置，先对选定的复杂业务模型进行初始训练，得到初始业务模型，然后对初始业务模型进行修剪，并对修剪后的业务模型在参数重置回初始化状态的情形下进行训练，以考验修剪掉的模型参数是否自始本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于隐私保护确定目标业务模型的方法，所述目标业务模型用于处理给定的业务数据，得到相应的业务预测结果；所述方法包括：使用多个训练样本训练选定的业务模型至模型参数收敛，得到初始业务模型；基于对所述初始业务模型的修剪，确定所述初始业务模型的多个子模型，其中，各个子模型各自对应有通过重新训练确定的模型参数以及模型指标，所述模型指标用于评价相应子模型收敛情况下的模型性能；利用差分隐私的指数机制，基于各个子模型各自对应的模型指标，确定各个子模型分别对应的各个采样概率；按照各个采样概率对各个子模型进行采样，从而选择出目标业务模型。2.根据权利要求1所述的方法，其中，所述基于对所述初始业务模型的修剪，确定所述初始业务模型的多个子模型包括：按照所述初始业务模型的模型参数，对所述初始业务模型进行修剪，得到第一修剪模型；将对应有经过重新训练得到的模型参数的第一修剪模型，作为第一子模型；迭代修剪所述第一子模型得到后续子模型，直至满足结束条件。3.根据权利要求2所述的方法，所述结束条件包括，迭代次数达到预定次数、子模型数量达到预定数量、最后一个子模型的规模小于设定的规模阈值中的至少一项。4.根据权利要求1或2所述的方法，其中，对所述初始业务模型的修剪基于以下之一的方式，按照模型参数由小到大的顺序进行：修剪掉预定比例的模型参数、修剪掉预定数量的模型参数、修剪得到规模不超过预定大小的模型。5.根据权利要求1所述的方法，其中，所述利用差分隐私的指数机制，基于各个子模型各自对应的模型指标，确定各个子模型分别对应的各个采样概率包括：按照各个子模型各自对应的模型指标，确定各个子模型分别对应的各个可用性系数；根据各个可用性系数，利用指数机制确定各个子模型分别对应的各个采样概率。6.根据权利要求5所述的方法，其中，所述模型指标包括相对于所述初始业务模型的压缩率，以及以下中的至少一项：准确度、召回率、F1分数，所述可用性系数为所述压缩率与所述模型指标所包含的其他项的乘积。7.根据权利要求1所述的方法，其中，所述方法还包括：利用多个训练样本对所述目标业务模型基于差分隐私的第二方式进行训练，使得训练后的目标业务模型用于针对给定的业务数据进行...
【专利技术属性】
技术研发人员：熊涛，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。