基于分割神经网络的联邦学习及预测的系统、方法和设备技术方案

本申请提供一种基于分割神经网络的联邦学习及预测的系统、方法和设备。本申请的方法，通过在第一端向第二端发送中间参数之前，由第一端对中间参数进行差分隐私处理引入噪声，以增强中间参数的安全性和隐私性，并且在第一端或第二端增加降噪处理过程，对经过差分隐私处理的中间参数进行降噪处理，以减少中间参数中的噪声，基于降噪处理后的中间参数进行后续的联邦学习，能够在保护数据隐私的同时，大大提高联合学习的训练准确性，从而提高模型的准确度。度。度。

【技术实现步骤摘要】
基于分割神经网络的联邦学习及预测的系统、方法和设备


[0001]本申请涉及联邦学习技术，尤其涉及一种基于分割神经网络的联邦学习及预测的系统、方法和设备。

技术介绍

[0002]联邦学习是一种分布式机器学习技术，其目标是保证数据隐私安全及合法合规的基础上，实现多参与方联合建模。
[0003]分割神经网络(SplitNN)是一种用于训练深度神经网络模型的联邦学习方案。在基于SplitNN的联邦学习方案中，拥有特征的参与方作为客户端，拥有标签数据的一方为服务端，SplitNN被拆分为两部分神经网络分别部署于客户端和服务端，在进行前向传播时客户端将本地数据特征输入本地部署的一部分神经网络生成中间参数，并将中间参数发送至服务端。服务端基于另一部分神经网络继续前向传播得到预测结果，此后在反向传播过程中返回中间参数给客户端，完成一轮训练过程的参数迭代。整个过程双方没有进行原始数据的交换，从而在一定程度上保护了数据隐私。但是，越来越多的工作表明，中间参数中也包含数据的一些隐藏信息，可能会泄露数据隐私。为了增强隐私性，出现了一种基于差分隐私技术的SplitNN方案，通过在发送中间参数之前加入差分隐私噪声来进一步保护数据隐私。
[0004]但是，这些方案的主要缺点是需要在数据中加入较大的差分隐私噪声来保证数据的安全性，而这会影响建模的准确度，导致模型的准确度和可用性降低。

技术实现思路

[0005]本申请提供一种基于分割神经网络的联邦学习及预测的系统、方法和设备，用以解决基于分割神经网络的联邦学习中引入差分隐私噪声导致模型的准确度和可用性降低的问题。
[0006]第一方面，本申请提供一种基于分割神经网络的联邦学习方法，所述联邦学习的参与方包括第一端和第二端，所述第一端和第二端中的一端为客户端另一端为服务端，所述分割神经网络被拆分为第一子网络和第二子网络两部分，第一子网络部署在第一端，第二子网络部署在第二端，所述方法包括：
[0007]在分割神经网络的联邦学习过程中，第一端在向第二端发送通过第一子网络生成的中间参数之前，对所述中间参数进行差分隐私处理，得到包含噪声的中间参数；
[0008]对所述包含噪声的中间参数进行降噪处理，将降噪处理后的中间参数发送给第二端，以使第二端根据所述降噪处理后的中间参数基于第二子网络进行后续的联邦学习。
[0009]第二方面，本申请提供一种基于分割神经网络的联邦学习方法，所述联邦学习的参与方包括第一端和第二端，所述第一端和第二端中的一端为客户端另一端为服务端，所述分割神经网络被拆分为第一子网络和第二子网络两部分，第一子网络部署在第一端，第二子网络部署在第二端，所述方法包括：
[0010]在基于分割神经网络的联邦学习过程中，第二端接收第一端发送的经过差分隐私处理的中间参数，其中经过差分隐私处理的中间参数是第一端对通过第一子网络生成的中间参数进行差分隐私处理后得到的；
[0011]第二端对所述经过差分隐私处理的中间参数进行降噪处理；
[0012]第二端利用降噪处理后的中间参数基于第二子网络进行后续的联邦学习。
[0013]第三方面，本申请提供一种基于分割神经网络的联邦学习系统，包括：参与联邦学习的第一端和第二端，所述第一端和第二端中的一端为客户端另一端为服务端，所述分割神经网络被拆分为第一子网络和第二子网络两部分，第一子网络部署在第一端，第二子网络部署在第二端，
[0014]在分割神经网络的联邦学习过程中，第一端通过第一子网络生成中间参数，对中间参数进行差分隐私处理，得到包含噪声的中间参数；
[0015]第一端对所述包含噪声的中间参数进行降噪处理，将降噪处理后的中间参数发送给第二端；
[0016]第二端根据第一端发送的经过降噪处理后的中间参数基于第二子网络进行后续的联邦学习。
[0017]第四方面，本申请提供一种基于分割神经网络的联邦学习系统，包括：参与联邦学习的客户端和服务端，所述第一端和第二端中的一端为客户端另一端为服务端，所述分割神经网络被拆分为第一子网络和第二子网络两部分，第一子网络部署在第一端，第二子网络部署在第二端，
[0018]在分割神经网络的联邦学习过程中，第一端通过第一子网络生成中间参数，对生成的中间参数进行差分隐私处理，并将经过差分隐私处理的中间参数发送至第二端；
[0019]第二端对所述经过差分隐私处理的中间参数进行降噪处理，并利用降噪处理后的中间参数基于第二子网络进行后续的联邦学习。
[0020]第五方面，本申请提供一种基于分割神经网络的预测系统，包括：参与联邦学习的客户端和服务端，所述分割神经网络被拆分为存储于客户端的第三子网络和存储于服务端的第四子网络两部分，
[0021]响应于对目标对象的预测任务，客户端将目标对象的数据特征输入本地的第三子网络进行前向传播计算，将得到的中间参数进行差分隐私处理，得到包含噪声的中间参数，并对所述包含噪声的中间参数进行降噪处理，将降噪处理后的中间参数发送至服务端；
[0022]服务端将客户端发送的经降噪处理后的中间参数输入第四子网络进行前向传播计算，得到预测结果。
[0023]第六方面，本申请提供一种基于分割神经网络的预测系统，包括：参与联邦学习的客户端和服务端，所述分割神经网络被拆分为存储于客户端的第三子网络和存储于服务端的第四子网络两部分，
[0024]响应于对目标对象的预测任务，客户端将目标对象的数据特征输入本地的第三子网络进行前向传播计算，将得到的中间参数进行差分隐私处理，得到包含噪声的中间参数，并将包含噪声的中间参数发送至服务端；
[0025]服务端对所述包含噪声的中间参数进行降噪处理，并将降噪处理后的中间参数输入第四子网络进行前向传播计算，得到预测结果。
[0026]第七方面，本申请提供一种基于分割神经网络的联邦学习装置，所述联邦学习的参与方包括第一端和第二端，所述第一端和第二端中的一端为客户端另一端为服务端，所述分割神经网络被拆分为第一子网络和第二子网络两部分，第一子网络部署在第一端，第二子网络部署在第二端，所述装置包括：
[0027]差分隐私保护模块，用于在分割神经网络的联邦学习过程中，第一端在向第二端发送通过第一子网络生成的中间参数之前，对所述中间参数进行差分隐私处理，得到包含噪声的中间参数；
[0028]降噪模块，用于对所述包含噪声的中间参数进行降噪处理，将降噪处理后的中间参数发送给第二端，以使第二端根据所述降噪处理后的中间参数基于第二子网络进行后续的联邦学习。
[0029]第八方面，本申请提供一种基于分割神经网络的联邦学习装置，所述联邦学习的参与方包括第一端和第二端，所述第一端和第二端中的一端为客户端另一端为服务端，所述分割神经网络被拆分为第一子网络和第二子网络两部分，第一子网络部署在第一端，第二子网络部署在第二端，所述装置包括：
[0030]降噪模块，用于在基于分割神经网络的联邦学习过程中，第二端接收第一端发送的经过差分隐私处理的中间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分割神经网络的联邦学习方法，其特征在于，所述联邦学习的参与方包括第一端和第二端，所述第一端和第二端中的一端为客户端另一端为服务端，所述分割神经网络被拆分为第一子网络和第二子网络两部分，第一子网络部署在第一端，第二子网络部署在第二端，所述方法包括：在分割神经网络的联邦学习过程中，第一端在向第二端发送通过第一子网络生成的中间参数之前，对所述中间参数进行差分隐私处理，得到包含噪声的中间参数；对所述包含噪声的中间参数进行降噪处理，将降噪处理后的中间参数发送给第二端，以使第二端根据所述降噪处理后的中间参数基于第二子网络进行后续的联邦学习。2.根据权利要求1所述的方法，其特征在于，所述对所述包含噪声的中间参数进行降噪处理，包括：采用随机掩盖的方法，对所述包含噪声的中间参数进行降噪处理；或者，对所述包含噪声的中间参数进行缩小处理。3.一种基于分割神经网络的联邦学习方法，其特征在于，所述联邦学习的参与方包括第一端和第二端，所述第一端和第二端中的一端为客户端另一端为服务端，所述分割神经网络被拆分为第一子网络和第二子网络两部分，第一子网络部署在第一端，第二子网络部署在第二端，所述方法包括：在基于分割神经网络的联邦学习过程中，第二端接收第一端发送的经过差分隐私处理的中间参数，其中经过差分隐私处理的中间参数是第一端对通过第一子网络生成的中间参数进行差分隐私处理后得到的；第二端对所述经过差分隐私处理的中间参数进行降噪处理；第二端利用降噪处理后的中间参数基于第二子网络进行后续的联邦学习。4.根据权利要求3所述的方法，其特征在于，还包括：在需要向第一端发送中间参数时，第二端对待发送的中间参数进行差分隐私处理，将经过差分隐私处理后的中间参数发送至第一端。5.根据权利要求3或4所述的方法，其特征在于，所述对所述经过差分隐私处理的中间参数进行降噪处理，包括：采用随机掩盖的方法，对所述经过差分隐私处理的中间参数进行降噪处理；或者，对所述经过差分隐私处理的中间参数进行缩小处理。6.一种基于分割神经网络的联邦学习系统，其特征在于，包括：参与联邦学习的第一端和第二端，所述第一端和第二端中的一端为客户端另一端为服务端，所述分割神经网络被拆分为第一子网络和第二子网络两部分，第一子网络部署在第一端，第二子网络部署在第二端，在分割神经网络的联邦学习过程中，第一端通过第一子网络生成中间参数，对中间参数进行差分隐私处理，得到包含噪声的中间参数；第一端对所述包含噪声的中间参数进行降噪处理，将降噪处理后的中间参数发送给第二端；第二端根据第一端发送的经过降噪处理后的中间参数基于第二子网络进行后续的联
邦学习。7.一种基于分割神经网络的联邦学习系统，其特征在于，包括：参与联邦学习的第一端和第二端，所述第一端和第二端中的一端为客户端另一端为服务端，所述分割神经网络被拆分为第一子网络和第二子网络两部分，第一子网络部署在第一端，第二子网络部署在第二端，在分割神经网络的联邦学习过程中，第一端通过第一子网络生成中间参数，对生成的中间参数进行差分隐私处理，并将经过差分隐私处理的中间参数发送至第二端；第二端对所述经过差分隐私处理的中间参数进行降噪处理，并利用降噪处理后的中间参数基于第二子网络进行后续的联邦学习...

【专利技术属性】
技术研发人员：刘巍然，彭立，王嘉义，张磊，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：