用于降低神经网络同态计算误差的数据处理系统及数据处理方法技术方案

本发明专利技术公开了一种用于降低神经网络同态计算误差的数据处理系统，包括明文神经网络模块、密文神经网络模块、同态密文解密模块、误差校正层训练数据搜集模块、误差校正层训练模块和误差校正模块。本发明专利技术通过对现有的典型的同态计算神经网络的结构进行改进，在密文神经网络的输出层之后再添加一层误差修正层，该层的作用是通过进行与误差模式相反的逆运算，来降低由于多项式逼近激活函数等因素而导致的误差，从而提高神经网络进行同态计算的精度。本发明专利技术还公开了一种用于降低神经网络同态计算误差的数据处理方法。误差的数据处理方法。误差的数据处理方法。

【技术实现步骤摘要】
用于降低神经网络同态计算误差的数据处理系统及数据处理方法


[0001]本专利技术涉及一种大数据的处理系统，具体涉及一种用于降低神经网络同态计算误差的数据处理系统。本专利技术还涉及一种用于降低神经网络同态计算误差的数据处理方法。

技术介绍

[0002]随着大数据和人工智能技术的发展，越来越多的企业运用各种基于人工智能技术的数据挖掘与分析方法来对企业的运营管理进行改进，通过挖掘数据中的模式和信息来创造商业价值，使企业可以更好地组织生产和更精准地进行营销。但是，由于很多企业自身并不具备进行数据挖掘和分析的技术能力和软硬件环境，因此一些相关的挖掘与分析活动需要交由第三方进行，甚至在云平台上进行。这在很大程度上增加了企业的敏感运营数据的泄漏风险。因此，数据的隐私保护技术应运而生，这类技术的运用能够在进行数据分析的同时，保护数据的机密性，降低敏感数据的泄漏风险。
[0003]同态加密是一种基础性的数据隐私保护技术。经过同态加密的数据，能够在密文状态下进行与明文相同的特定代数运算，因而可以实现“数据可算不可见”，从而避免数据的泄漏。但是，现有的同态加密方案仅支持加法和乘法运算，对于神经网络模型中的某些运算，例如非线性激活函数的计算，通常不能直接在同态加密数据上进行，往往只能采取一些能够在同态运算上进行的计算来代替。例如，CryptNet(密态神经网络)运用平方激活函数来代替常见的激活函数如Logistic函数。这是由于平方激活函数具有非线性且次数较低的特点，易于进行同态计算。但平方激活函数不利于模型的训练，因此，与等价的明文的神经网络相比，其拟合或者分类能力通常稍差。
[0004]为了减少神经网络模型进行同态计算的误差并提升模型的拟合及分类性能，可以采用运用多项式逼近的激活函数的方法。例如，CryptDL(密态深度学习)运用多项式逼近的方式来实现激活函数的近似计算，达到了比CryptNet(密态神经网络)更准确的分类效果。另外，有学者用加权的最小二乘法拟合激活函数，也实现了较好的逼近激活函数的效果。但是，由于在对激活函数进行多项式逼近计算时，不可避免地会产生逼近误差。而逼近误差会在神经网络的各层的计算中发生传递和叠加，最后形成难以用解析方式表示的复杂误差模式。而这些误差最终会导致模型性能的劣化，使得对于给定的分类或拟合问题，密文神经网络的性能要劣于对应的明文神经网络的性能。
[0005]目前，提高神经网络同态计算的精度通常可以采用以下方法：
[0006]第一，通过提高逼近多项式的阶数，以减小逼近误差。但是，提高多项式阶数一方面会使得所需的乘法深度加大，另一方面也增加了龙格现象的风险。
[0007]第二，Batching normal(批量标准化)也是有利于提高神经网络同态计算精度的方法，其基本原理是对每一层的输入数据都处理为标准正态分布数据，使得对后续神经元的输入数据的分布位于激活函数的比较理想的逼近区间。
[0008]第三，通过安全多方计算的机制，通过客户端的配合来把不便于进行同态计算的
部分放到客户端来进行，也是一种常见的改善和简化神经网络同态计算的方法。但这种方式需要客户端配合，并且与客户端交互较多，往往会影响计算性能。
[0009]以上这些方法在密文上进行神经网络的同态计算时，基本沿用了明文神经网络的结构，仅仅对明文神经网络中不适合进行同态计算的若干环节进行了相应改进。但是，由于同态密文神经网络计算的误差来源比较复杂，包括逼近误差、同态计算误差、以及各种误差在神经网络中的传播引起的误差的模式和尺度的改变，通过优化单独某个环节来进一步减小误差并提升模型性能会比较困难。

技术实现思路

[0010]本专利技术所要解决的技术问题是提供一种用于降低神经网络同态计算误差的数据处理系统，它可以提高神经网络进行同态计算的精度，减小神经网络密文计算与明文计算之间的差异，以使得同态计算神经网络的拟合及分类能力与其对应的明文模型尽可能接近。
[0011]为解决上述技术问题，本专利技术用于降低神经网络同态计算误差的数据处理系统的技术解决方案为：
[0012]包括明文神经网络模块、密文神经网络模块、同态密文解密模块、误差校正层训练数据搜集模块、误差校正层训练模块和误差校正模块，明文神经网络模块包括能够根据输入的明文数据进行训练的明文神经网络；密文神经网络模块包括密文神经网络，密文神经网络采用适合在同态密文上进行计算的多项式逼近的激活函数；同态密文解密模块的输入端连接密文神经网络模块的密文神经网络输出层，用于对密文神经网络的输出进行解密，以便对误差校正层进行训练；误差校正层训练数据搜集模块的输入端连接明文神经网络模块的明文神经网络输出层，以及同态密文解密模块的输出端；用于搜集明文神经网络和同态密文神经网络的输出数据作为训练数据，这些数据将用于误差校正层训练模块的训练；误差校正层训练模块的输入端连接误差校正层训练数据搜集模块的输出端；利用误差校正层训练数据搜集模块输出的训练数据，采用多项式函数来拟合；误差校正模块包括同态计算误差修正层，同态计算误差修正层的输入端连接误差校正层训练模块的输出端，同态计算误差修正层对神经网络同态密文计算的误差进行修正；同态计算误差修正层的输出端连接密文神经网络模块的密文神经网络输出层；同态计算误差修正层的输出端的输出为同态密文神经网络的最终输出。
[0013]在另一实施例中，所述误差校正层训练模块运用基于多项式的函数逼近方法来拟合y
i
与y
i
′
的关系；则：
[0014]y
i
＝φ(x
i
)
[0015]其中，y
i
是指明文模型根据数据集中第i输入向量x
i
的输出,向量x
i
属于给定的数据集x＝{x1,x2,
…
,x
n
}，该数据集用来训练误差校正模块；
[0016]φ(
·
)为用来描述明文神经网络模型计算过程的函数；
[0017]c
i
＝φ
HE
(x
i
)
[0018]其中，φ
HE
(
·
)为与φ(
·
)等价的进行同态计算的同态密文计算神经网络模型；
[0019]c
i
为y
i
′
对应的密文；
[0020]y
i
′
是指与明文模型等价的密文模型的输出并经过解密后的明文结果，即；
[0021]y
i
≈y
i
′
＝Dec
sk
(c
i
)
[0022]将上述符号简化，在不考虑下标i的情况下，c为同态计算模型对于给定的数据集x所输出的密文结果，对其进行解密，则得到最终的经过同态计算模型产生的明文结果y
′
；
[0023]Dec
s本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于降低神经网络同态计算误差的数据处理系统，其特征在于，包括：明文神经网络模块，明文神经网络模块包括能够根据输入的明文数据进行训练的明文神经网络；密文神经网络模块，密文神经网络模块包括密文神经网络，密文神经网络采用适合在同态密文上进行计算的多项式逼近的激活函数；同态密文解密模块，其输入端连接密文神经网络模块的密文神经网络输出层，用于对密文神经网络的输出进行解密，以便对误差校正层进行训练；误差校正层训练数据搜集模块，其输入端连接明文神经网络模块的明文神经网络输出层，以及同态密文解密模块的输出端；用于搜集明文神经网络和同态密文神经网络的输出数据作为训练数据，这些数据将用于误差校正层训练模块的训练；误差校正层训练模块，其输入端连接误差校正层训练数据搜集模块的输出端；利用误差校正层训练数据搜集模块输出的训练数据，采用多项式函数来拟合；误差校正模块，包括同态计算误差修正层，同态计算误差修正层的输入端连接误差校正层训练模块的输出端，同态计算误差修正层对神经网络同态密文计算的误差进行修正；同态计算误差修正层的输出端连接密文神经网络模块的密文神经网络输出层；同态计算误差修正层的输出端的输出为同态密文神经网络的最终输出。2.根据权利要求1所述的用于降低神经网络同态计算误差的数据处理系统，其特征在于，所述误差校正层训练模块运用基于多项式的函数逼近方法来拟合y
i
与y
i
′
的关系；则：y
i
＝φ(x
i
)其中，y
i
是指明文模型根据数据集中第i输入向量x
i
的输出，向量x
i
属于给定的数据集x＝{x1，x2，...，x
n
}，该数据集用来训练误差校正模块；φ(
·
)为用来描述明文神经网络模型计算过程的函数；c
i
＝φ
HE
(x
i
)其中，φ
HE
(
·
)为与φ(
·
)等价的进行同态计算的同态密文计算神经网络模型；c
i
为y
i
′
对应的密文；y
i
′
是指与明文模型等价的密文模型的输出并经过解密后的明文结果，即；y
i
≈y
i
′
＝Dec
sk
(c
i
)将上述符号简化，在不考虑下标i的情况下，c为同态计算模型对于给定的数据集x所输出的密文结果，对其进行解密，则得到最终的经过同态计算模型产生的明文结果y
′
；Dec
sk
(
·
)表示解密运算；则y
i
与y
i
′
的误差为：||e
HE
‖＝||y
‑
y
′
‖＝||y
‑
Dec
sk
(c)‖其中，e
HE
是指模型φ(
·
)和与之等价的同态计算模型φ
HE
(
·
)对于给定的输入x的同态计算误差。3.根据权利要求1所述的用于降低神经网络同态计算误差的数据处理系统，其特征在于，所述明文神经网络包括依次连接的明文神经网络输入层、明文神经网络隐藏层、明文神经网络输出层；明文神经网络输入层用于输入给定的输入数据集，明文神经网络输出层用于获得明文神经网络的输出数据集；和/或，所述密文神经网络包括依次连接的密文神经网络输入层、密文神经网络隐藏
层、密文神经网络输出层；密文神经网络具有与明文神经网络相同的网络结构和权重参数；密文神经网络输入层用于输入与明文神经网络相同的输入数据集，密文神经网络输出层用于获得密文神经网络的输出数据集，该密文神经网络的输出数据集为密文状态；所述密文神经网络根据与所述明文神经网络相同的输入，利用多项式逼近的方法来近似计算明文神经网络中的激活函数，输出与明文神经网络等价的密文状态的结果。4.根据权利要求1所述的用于降低神经网络同态计算误差的数据处理系统，其特征在于，所述误差校正模块将所述误差校正层训练模块所拟合的多项式误差校正函数运用到密文神经网络误差校正层，来对同态密文神经网络输出层的输出数据进行误差校正计算。5.根据权利要求1所述的用于降低神经网络同态计算误差的数据处理系统，其特征在于，所述同态计算误差修正层采用误差校正函数g(
·
)；则||e
HE
′
‖＝||y
‑
Dec
sk
(g(c))‖||e
HE
′
‖＜||e
HE
‖其中，e
HE
是指模型φ(
·
)和与之等价的同态计算模型φ
HE
(
·
)对于给定的输入x的误差；e
HE
′
表示经过误差修正之后的误差，则修正之后的误差小于修正之前的误差。6.根据权利要求5所述的用于降低神经网络同态计算误差的数据处理系统，其特征在于，所述误差校正函数g(
·
)采用如下的多项式函数P
n

【专利技术属性】
技术研发人员：陈岗，窦露，
申请(专利权)人：上海财经大学，
类型：发明
国别省市：