一种基于差分隐私技术的问答模型联邦训练方法及系统技术方案

本文涉及人工智能技术领域，尤其是一种基于差分隐私技术的问答模型联邦训练方法及系统，包括：所述数据中心根据训练样本集的隐私等级向所述训练样本集中添加相同的扰动噪声，得到第一噪声训练样本集并发送至所述训练中心；所述训练中心接收所有银行的训练中心发送的所述第一噪声训练样本集进行问答模型的初始化训练；所述训练中心轮询所述问答模型的梯度的下降速度，并根据所述下降速度向所有所述数据中心发送若干噪声调整指令；训练中心依次接收所有银行发送的具有不同扰动噪声的第二噪声训练样本集进行问答模型的重复训练，直至训练完成问答模型并发送至所有银行，可以实现在连邦学习过程中，避免各家银行涉及隐私的训练样本遭到窃取。练样本遭到窃取。练样本遭到窃取。

【技术实现步骤摘要】
一种基于差分隐私技术的问答模型联邦训练方法及系统


[0001]本专利技术涉及人工智能
，尤其是一种基于差分隐私技术的问答模型联邦训练方法及系统。

技术介绍

[0002]但是目前客服系统中大多数问题与答案的数据来自于自己建立的FAQ知识库，回复的内容缺少多样性，智能客服系统无法表征更丰富的信息，且机器学习模型的准确率需要大量的问答数据作为支撑，鉴于安全考虑因素，各个银行间的客服问答数据是不能共享用于训练模型，导致训练出的模型效果较差。

技术实现思路

[0003]针对现有技术的上述问题，本文的目的在于，提供一种基于差分隐私技术的问答模型联邦训练方法及系统，以解决现有技术中各个银行间的客服问答数据是不能共享用于训练模型，导致训练出的模型效果较差的问题。
[0004]为了解决上述技术问题，本文的具体技术方案如下：
[0005]一方面，本文提供一种基于差分隐私技术的问答模型联邦训练方法，应用于训练中心与银行，所述训练中心与若干银行的数据中心相连，所述数据中心保存有若干训练样本，其中所述训练样本包括咨询问题以及对应的答案，包括：
[0006]所述数据中心根据训练样本集的隐私等级向所述训练样本集中添加相同的扰动噪声，得到第一噪声训练样本集并发送至所述训练中心；其中所述训练样本集中包括若干具有相同隐私等级的训练样本；
[0007]所述训练中心接收所有银行的训练中心发送的所述第一噪声训练样本集进行问答模型的初始化训练；
[0008]所述训练中心轮询所述问答模型的梯度的下降速度，并根据所述下降速度向所有所述数据中心发送若干噪声调整指令；
[0009]所述数据中心根据所述若干噪声调整指令依次减小/增大所述扰动噪声，得到若干个具有不同扰动噪声的第二噪声训练样本集并依次发送至所述训练中心；
[0010]训练中心依次接收所有银行发送的具有不同扰动噪声的第二噪声训练样本集进行问答模型的重复训练，当所述问答模型达到训练阈值时，得到训练完成的问答模型并发送至所有银行。
[0011]作为本文的一个实施例，所述数据中心根据训练样本集的隐私等级向所述训练样本集中添加相同的扰动噪声，得到第一噪声训练样本集并发送至所述训练中心，进一步包括：
[0012]根据所述训练样本的答案的种类和问题的种类确定所述训练样本集的隐私等级；
[0013]根据公式：
[0014]P(M(x)∈S)≤e
ε
P(M(x)∈S)+δ
[0015]其中P为概率，x为训练样本中的咨询问题，S为咨询问题对应的答案，M()为咨询问题与答案之间的对应关系，e
ε
和δ均为扰动噪声，ε为噪声参数；
[0016]根据所述隐私等级调整ε，得到第一噪声训练样本集并发送至所述训练中心。
[0017]作为本文的一个实施例，所述数据中心根据训练样本集的隐私等级向所述训练样本集中添加相同的扰动噪声，得到第一噪声训练样本集并发送至所述训练中心，进一步包括：
[0018]根据所述训练样本的答案的种类和问题的种类确定所述训练样本的隐私等级；
[0019]根据公式：
[0020][0021]其中P为概率，x为训练样本中的咨询问题，f(x)为添加扰动噪声的答案，λ和μ均为扰动噪声；
[0022]根据所述隐私等级调整扰动噪声，得到第一噪声训练样本集并发送至所述训练中心。
[0023]作为本文的一个实施例，所述根据所述训练样本的答案的种类和问题的种类确定所述训练样本集的隐私等级，进一步包括：
[0024]所述答案包括地址编码答案和账户金额答案；
[0025]所述问题包括地址问题和余额答案；
[0026]当所述答案为所述地址编码答案或者所述问题为所述地址问题时，所述训练样本集为第一隐私等级；
[0027]当所述答案为所述账户金额答案或者所述问题为所述余额答案时，所述训练样本集为第二隐私等级。
[0028]作为本文的一个实施例，所述训练中心轮询所述问答模型的梯度的下降速度，并根据所述下降速度向所有所述数据中心发送若干噪声调整指令，进一步包括：
[0029]所述训练中心以询问周期采样所述问答模型的梯度的绝对值的下降速度；
[0030]若所述下降速度低于第一阈值，则发送减少噪声指令；
[0031]若所述下降速度高于第二阈值，则发送增大噪声指令；
[0032]其中，所述第二阈值大于所述第一阈值。
[0033]作为本文的一个实施例，所述训练中心以询问周期采样所述问答模型的梯度的绝对值的下降速度，进一步包括：
[0034]根据公式
[0035][0036]确定所述问答模型中任一采样点的梯度θ
j
，其中θ
j
为j采样点的梯度，θ
j
‑1为j
‑
1的梯度，α为预设下降的步长，J(θ0‑
θ1)为点θ1和θ1之间的梯度，J为梯度表示符号；
[0037]根据公式，
[0038][0039]确定问答模型的梯度的绝对值的下降速度V
n
，其中j为问题模型中的j采样点，n为问答模型中采样点数量。
[0040]作为本文的一个实施例，所述数据中心根据所述若干噪声调整指令依次减小/增大所述扰动噪声，得到若干个具有不同扰动噪声的第二噪声训练样本集并依次发送至所述训练中心，进一步包括：
[0041]所述数据中心根据所述减少噪声指令减少所述扰动噪声，得到扰动噪声降低的第二噪声训练样本集并依次发送至所述训练中心；
[0042]或者，所述数据中心根据所述增大噪声指令增大所述扰动噪声，得到扰动噪声增大的第二噪声训练样本集并发送至所述训练中心。
[0043]作为本文的一个实施例，所述训练中心依次接收所有银行发送的具有不同扰动噪声的第二噪声训练样本集进行问答模型的重复训练，进一步包括：
[0044]所述训练中心将根据每一次询问周期接收到的所有的所述数据中心返回所述第二噪声集作为一代训练样本集；
[0045]所述训练中心使用所述一代训练样本集完成所述问答模型的一代训练。
[0046]另一方面，本文提供了一种基于差分隐私技术的问答模型联邦训练系统，应用于训练中心与银行，所述训练中心与若干银行的数据中心相连，所述数据中心保存有训练样本，其中所述训练样本包括咨询问题以及对应的答案，包括：
[0047]所述银行，用于根据训练样本的隐私等级向训练样本中添加扰动噪声，得到第一噪声训练样本并发送至所述训练中心；
[0048]所述训练中心，用于接收所有银行发送的所述第一噪声训练样本进行问答模型初始化训练；
[0049]所述训练中心，还用于轮询问答模型的梯度的下降速度，并根据所述下降速度向所述数据中心发送若干噪声调整指令；
[0050]所述银行，用于根据所述若干噪声调整指令减小/增大所述扰动噪声，得到若干个具有不同扰动噪声的第二噪声训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于差分隐私技术的问答模型联邦训练方法，其特征在于，应用于训练中心与银行，所述训练中心与若干银行的数据中心相连，所述数据中心保存有若干训练样本，其中所述训练样本包括咨询问题以及对应的答案，包括：所述数据中心根据训练样本集的隐私等级向所述训练样本集中添加相同的扰动噪声，得到第一噪声训练样本集并发送至所述训练中心；其中所述训练样本集中包括若干具有相同隐私等级的训练样本；所述训练中心接收所有银行的训练中心发送的所述第一噪声训练样本集进行问答模型的初始化训练；所述训练中心轮询所述问答模型的梯度的下降速度，并根据所述下降速度向所有所述数据中心发送若干噪声调整指令；所述数据中心根据所述若干噪声调整指令依次减小/增大所述扰动噪声，得到若干个具有不同扰动噪声的第二噪声训练样本集并依次发送至所述训练中心；训练中心依次接收所有银行发送的具有不同扰动噪声的第二噪声训练样本集进行问答模型的重复训练，当所述问答模型达到训练阈值时，得到训练完成的问答模型并发送至所有银行。2.根据权利要求1所述的基于差分隐私技术的问答模型联邦训练方法，其特征在于，所述数据中心根据训练样本集的隐私等级向所述训练样本集中添加相同的扰动噪声，得到第一噪声训练样本集并发送至所述训练中心，进一步包括：根据所述训练样本的答案的种类和问题的种类确定所述训练样本集的隐私等级；根据公式：P(M(x)∈S)≤e
ε
P(M(x)∈S)+δ其中P为概率，x为训练样本中的咨询问题，S为咨询问题对应的答案，M()为咨询问题与答案之间的对应关系，e
ε
和δ均为扰动噪声，ε为噪声参数；根据所述隐私等级调整ε，得到第一噪声训练样本集并发送至所述训练中心。3.根据权利要求1所述的基于差分隐私技术的问答模型联邦训练方法，其特征在于，所述数据中心根据训练样本集的隐私等级向所述训练样本集中添加相同的扰动噪声，得到第一噪声训练样本集并发送至所述训练中心，进一步包括：根据所述训练样本的答案的种类和问题的种类确定所述训练样本的隐私等级；根据公式：其中P为概率，x为训练样本中的咨询问题，f(x)为添加扰动噪声的答案，λ和μ均为扰动噪声；根据所述隐私等级调整扰动噪声，得到第一噪声训练样本集并发送至所述训练中心。4.根据权利要求2或3所述的基于差分隐私技术的问答模型联邦训练方法，其特征在于，所述根据所述训练样本的答案的种类和问题的种类确定所述训练样本集的隐私等级，进一步包括：所述答案包括地址编码答案和账户金额答案；所述问题包括地址问题和余额答案；
当所述答案为所述地址编码答案或者所述问题为所述地址问题时，所述训练样本集为第一隐私等级；当所述答案为所述账户金额答案或者所述问题为所述余额答案时，所述训练样本集为第二隐私等级。5.根据权利要求2或3所述的基于差分隐私技术的问答模型联邦训练方法，其特征在于，所述训练中心轮询所述问答模型的梯度的下降速度，并根据所述下降速度向所有所述数据中心发送若干噪声调整指令，进一步包括：所述训练中心以询问周期采样所述问答模型的梯度的绝对值的下降速度；若所述下降速度低于第一阈值，则发送减少噪声指令；若所述下降速度高于第二阈值，则发送增大噪声指令；其中，所述第二阈值大于所述第一阈值。6.根据权利要求5所述的基于差分隐私技术的问答模型联邦...

【专利技术属性】
技术研发人员：刘宇琦，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：