一种数据脱敏方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据脱敏方法、装置、电子设备及存储介质，预先训练完成有数据脱敏对抗网络模型，数据脱敏对抗网络模型包括生成模型和判别模型，所述生成模型和判别模型是通过对抗学习进行训练得到。基于数据脱敏对抗网络模型得到的脱敏后的数据安全性好。并且在生成脱敏后的数据时获取待处理的原始数据，对原始数据进行分类标记，并根据分类标记生成条件向量。生成随机分布向量后，将随机分布向量和条件向量输入数据脱敏对抗网络模型，基于数据脱敏对抗网络模型中的生成模型，输出原始数据对应的脱敏后的数据。加入条件向量优化脱敏后的数据，脱敏后的数据包括数值信息和类别信息。因此脱敏后的数据可用性好。因此脱敏后的数据可用性好。因此脱敏后的数据可用性好。

【技术实现步骤摘要】
一种数据脱敏方法、装置、电子设备及存储介质


[0001]本专利技术涉及人工智能、数据安全
，尤其涉及一种数据脱敏方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，随着大数据、人工智能和物联网技术的发展，如何能够有效的保护个人隐私，保护企业敏感数据不被泄露，已经成为越来越多安全厂商关注的焦点。随着高新信息科技与工业领域的融合发展，推动了工业数据的流通共享。但工业数据是非常敏感的，例如企业数据、APP等数据若遭到篡改、窃取等，将会严重威胁用户安全、企业安全、乃至国家安全。在此背景下数据脱敏技术应运而生，是解决上述安全问题和风险的一种行之有效的方法。
[0003]数据脱敏是指对敏感信息按照预设的规则或者变换算法进行数据变换，从而使得个人身份无法识别或者直接隐去敏感信息。脱敏后的数据会出现一定程度上的信息损耗，所以隐私泄密与数据可用性便成了天然的矛盾。
[0004]传统的结构化数据脱敏技术是基于匿名化的技术和基于扰乱的技术，这两类技术不仅信息损耗较大，更重要的是会存在原数据与脱敏数据的一对一的对应关系，这导致脱敏后的数据有极大被重标识化的风险。
[0005]如何保证脱敏后的数据的安全性和可用性，是目前亟待解决的技术问题。

技术实现思路

[0006]本专利技术实施例提供了一种数据脱敏方法、装置、电子设备及存储介质，用以保证脱敏后的数据的安全性和可用性。
[0007]本专利技术实施例提供了一种数据脱敏方法，所述方法包括：
[0008]获取待处理的原始数据，对所述原始数据进行分类标记，并根据所述分类标记生成条件向量；
[0009]生成随机分布向量，将所述随机分布向量和所述条件向量输入预先训练的数据脱敏对抗网络模型，其中，所述数据脱敏对抗网络模型包括生成模型和判别模型，所述生成模型和判别模型是通过对抗学习进行训练；
[0010]基于所述数据脱敏对抗网络模型中的生成模型，输出所述原始数据对应的脱敏后的数据，其中所述脱敏后的数据包括数值信息和类别信息。
[0011]进一步地，所述生成模型和判别模型通过对抗学习进行训练的过程包括：
[0012]针对训练集中的样本数据，对所述样本数据进行分类标记，并根据所述分类标记生成样本条件向量；
[0013]生成样本随机分布向量，将所述样本随机分布向量和所述样本条件向量输入数据脱敏对抗网络模型中的生成模型中，所述生成模型输出样本脱敏数据；
[0014]将所述样本脱敏数据和所述样本条件向量输入数据脱敏对抗网络模型中的判别模型中，所述判别模型输出所述样本脱敏数据为真样本的第一概率；
[0015]将所述样本数据和所述样本条件向量输入所述判别模型中，所述判别模型输出所述样本数据为真样本的第二概率；
[0016]根据所述第一概率和第二概率，训练所述生成模型和判别模型。
[0017]进一步地，所述根据所述第一概率和第二概率，训练所述生成模型和判别模型包括：
[0018]采用WGAN方法，计算所述第一概率和第二概率之间的Wasserstein距离，根据所述Wasserstein距离，训练所述生成模型和判别模型。
[0019]进一步地，所述判别模型的训练过程包括：
[0020]采用差分隐私算法，在参数更新之前对确定的梯度进行裁剪，并添加随机噪声；根据裁剪并添加随机噪声后的梯度进行参数更新。
[0021]进一步地，确定所述梯度的过程包括：
[0022]分别确定生成对抗网络和条件生成对抗网络的联合损失函数、包括期望和方差的统计信息损失函数和合页损失函数，根据所述联合损失函数、统计信息损失函数和合页损失函数确定目标损失函数和对应的梯度。
[0023]进一步地，所述生成模型的结构由输入侧至输出侧依次包括：全连接层、Relu层、残差网络层、全连接层、Relu层、残差网络层、全连接层和Softmax层。
[0024]进一步地，所述判别模型的结构由输入侧至输出侧依次包括：全连接层、LeakyRelu层、全连接层、LeakyRelu层和全连接层。
[0025]另一方面，本专利技术实施例提供了一种数据脱敏装置，所述装置包括：
[0026]获取模块，用于获取待处理的原始数据，对所述原始数据进行分类标记，并根据所述分类标记生成条件向量；
[0027]输入模块，用于生成随机分布向量，将所述随机分布向量和所述条件向量输入预先训练的数据脱敏对抗网络模型，其中，所述数据脱敏对抗网络模型包括生成模型和判别模型，所述生成模型和判别模型是通过对抗学习进行训练；
[0028]输出模块，用于基于所述数据脱敏对抗网络模型中的生成模型，输出所述原始数据对应的脱敏后的数据，其中所述脱敏后的数据包括数值信息和类别信息。
[0029]进一步地，所述装置还包括：
[0030]训练模块，用于针对训练集中的样本数据，对所述样本数据进行分类标记，并根据所述分类标记生成样本条件向量；生成样本随机分布向量，将所述样本随机分布向量和所述样本条件向量输入数据脱敏对抗网络模型中的生成模型中，所述生成模型输出样本脱敏数据；将所述样本脱敏数据和所述样本条件向量输入数据脱敏对抗网络模型中的判别模型中，所述判别模型输出所述样本脱敏数据为真样本的第一概率；将所述样本数据和所述样本条件向量输入所述判别模型中，所述判别模型输出所述样本数据为真样本的第二概率；根据所述第一概率和第二概率，训练所述生成模型和判别模型。
[0031]所述训练模块，具体用于采用WGAN方法，计算所述第一概率和第二概率之间的Wasserstein距离，根据所述Wasserstein距离，训练所述生成模型和判别模型。
[0032]所述训练模块，具体用于采用差分隐私算法，在参数更新之前对确定的梯度进行裁剪，并添加随机噪声；根据裁剪并添加随机噪声后的梯度进行参数更新。
[0033]所述训练模块，具体用于分别确定生成对抗网络和条件生成对抗网络的联合损失
函数、包括期望和方差的统计信息损失函数和合页损失函数，根据所述联合损失函数、统计信息损失函数和合页损失函数确定目标损失函数和对应的梯度。
[0034]另一方面，本专利技术实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
[0035]存储器，用于存放计算机程序；
[0036]处理器，用于执行存储器上所存放的程序时，实现上述任一项所述的方法步骤。
[0037]另一方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法步骤。
[0038]本专利技术实施例提供了一种数据脱敏方法、装置、电子设备及存储介质，所述方法包括：获取待处理的原始数据，对所述原始数据进行分类标记，并根据所述分类标记生成条件向量；生成随机分布向量，将所述随机分布向量和所述条件向量输入预先训练的数据脱敏本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据脱敏方法，其特征在于，所述方法包括：获取待处理的原始数据，对所述原始数据进行分类标记，并根据所述分类标记生成条件向量；生成随机分布向量，将所述随机分布向量和所述条件向量输入预先训练的数据脱敏对抗网络模型，其中，所述数据脱敏对抗网络模型包括生成模型和判别模型，所述生成模型和判别模型是通过对抗学习进行训练；基于所述数据脱敏对抗网络模型中的生成模型，输出所述原始数据对应的脱敏后的数据，其中所述脱敏后的数据包括数值信息和类别信息。2.如权利要求1所述的方法，其特征在于，所述生成模型和判别模型通过对抗学习进行训练的过程包括：针对训练集中的样本数据，对所述样本数据进行分类标记，并根据所述分类标记生成样本条件向量；生成样本随机分布向量，将所述样本随机分布向量和所述样本条件向量输入数据脱敏对抗网络模型中的生成模型中，所述生成模型输出样本脱敏数据；将所述样本脱敏数据和所述样本条件向量输入数据脱敏对抗网络模型中的判别模型中，所述判别模型输出所述样本脱敏数据为真样本的第一概率；将所述样本数据和所述样本条件向量输入所述判别模型中，所述判别模型输出所述样本数据为真样本的第二概率；根据所述第一概率和第二概率，训练所述生成模型和判别模型。3.如权利要求2所述的方法，其特征在于，所述根据所述第一概率和第二概率，训练所述生成模型和判别模型包括：采用WGAN方法，计算所述第一概率和第二概率之间的Wasserstein距离，根据所述Wasserstein距离，训练所述生成模型和判别模型。4.如权利要求2所述的方法，其特征在于，所述判别模型的训练过程包括：采用差分隐私算法，在参数更新之前对确定的梯度进行裁剪，并添加随机噪声；根据裁剪并添加随机噪声后的梯度进行参数更新。5.如权利要求4所述的方法，其特征在于...

【专利技术属性】
技术研发人员：张正欣，牟黎明，王豪，肖春亮，张宏，何坤，
申请(专利权)人：北京神州绿盟科技有限公司神州绿盟成都科技有限公司，
类型：发明
国别省市：