【技术实现步骤摘要】
本专利技术涉及人工智能大数据隐私保护，特别是涉及一种基于不可学习样本的文本数据保护方法和装置。
技术介绍
1、近年来，以深度学习为代表的人工智能技术发展迅猛，并在图像处理、文本分析、语音识别、自动驾驶等领域取得了突破性的进展，深度学习的成果离不开海量且多样的互联网数据。而随着数据量的增加，数据隐私泄露的风险也在增大，如果数据被不法分子获取，用于深度神经网络模型的训练集，可能引起严重的后果。
2、当前，针对人工智能领域中数据隐私保护技术，研究学者们已经展开了相应研究，并提出了一些解决机器学习场景下数据隐私保护问题的方法。这些方法大致可以分成三类：模型训练前的数据扰动技术即不可学习样本、训练阶段中的隐私保护技术、预测阶段的隐私保护技术。然而，训练阶段中的隐私保护技术和预测阶段的隐私保护技术适用的场景是当数据拥有者授权了数据集用于神经网络模型的训练时，如何保护数据隐私不在训练过程中和预测过程中泄露，上述方法都需要数据集拥有者耗费精力检测并追踪训练好的神经网络模型是否存在隐私泄露问题；而不可学习样本解决了数据集未被授权于训练的情况下对隐私泄露行为的预防。
3、目前不可学习样本生成技术还在初步研究阶段，当前已有的不可学习样本生成方法均针对图像数据，无法满足互联网上大量的文本数据保护需求，需要考虑针对文本数据的隐私保护方法，防止数据集在未被授权的情况下用于训练以导致泄露隐私。
4、鉴于此，克服该现有技术所存在的缺陷是本
亟待解决的问题。
技术实现思路
2、本专利技术采用如下技术方案：
3、第一方面，提供了一种基于不可学习样本的文本数据保护方法，预设文本分类模型、训练数据集以及分类错误率阈值；包括：
4、对所述训练数据集中的样本添加初始扰动；
5、将添加初始扰动后的样本输入所述文本分类模型中进行正向传播，获取当前文本分类模型的分类损失，并通过第一算法得到使所述文本分类模型分类损失最小的噪声；
6、将添加噪声后的训练数据集输入到所述文本分类模型中进行正向传播，获取所述文本分类模型的分类损失，并通过第二算法优化文本分类模型的参数；
7、重复上述所有步骤，直到所述文本分类模型的分类错误率小于给所述分类错误率阈值，以得到不可学习样本。
8、优选的，所述对所述训练数据集中的样本添加初始扰动，包括：
9、分别获取所述训练数据集的原样本中的每个单词对分类结果的影响程度，并为影响程度小于预设值的单词构建同义词集，根据所述同义词集和所述原样本得到所述原样本的至少一个替换样本；
10、获取所述原样本和各个所述替换样本之间的语义相似度，选取语义相似度符合预设条件的替换样本，根据选取的替换样本得到所述初始扰动。
11、优选的，所述分别获取所述训练数据集的原样本中的每个单词对分类结果的影响程度，并为影响程度小于预设值的单词构建同义词集，根据所述同义词集和所述原样本得到所述原样本的至少一个替换样本包括：
12、所述训练数据集的原样本中的每个单词对分类结果的影响程度的计算方式为：
13、
14、其中，j为具体类别，f(xik,yi)为文本分类模型，f(xi)j表示模型对输入的样本xi预测为第j个类别的概率，xik为原样本中第k个单词；
15、通过词汇数据库为原样本中分类影响程度最小的单词构建一个包含所有相同词性同义词的同义词集，其中，所述同义词集包括至少一个用于替换单词的候选词；
16、对于每一个所述候选词，将所述原样本中的单词替换为所述候选词，得到替换样本。
17、优选的，所述获取所述原样本和各个所述替换样本之间的语义相似度，选取语义相似度符合预设条件的替换样本，根据选取的替换样本得到所述初始扰动包括：
18、通过相似度计算方法获得替换样本与原样本的之间的语义相似度，其中，相似度计算方法的公式为：
19、
20、其中，p为替换样本的词频向量，q为原样本的词频向量，pi为替换样本的词频向量第i个分量的数值，qi为原样本的词频向量第i个分量的数值，k表示由替换样本和原样本得到的词频向量的维数；
21、选取所述语义相似度大于预设阈值的替换样本，并根据替换样本获得相应的初始扰动，所述初始扰动表示为δi＝xi′-xi，其中xi′为替换样本，xi为原样本。
22、优选的，所述将添加初始扰动后的样本输入所述文本分类模型中进行正向传播，获取当前文本分类模型的分类损失包括：
23、从所述训练数据集中抽取数量为m的训练数据，且分别对训练数据添加初始扰动；
24、将添加所述初始扰动后的训练数据集输入到所述文本分类模型中进行正向传播，以分别得到所述文本分类模型的预测概率向量
25、根据所述预测概率向量和所述训练数据集中的真实标签的独热向量l1,l2,...,lm得到交叉熵损失，以得到所述文本分类模型的分类损失l，分类损失l的表达式为：
26、
27、其中，m为训练数据的数量，lii为所述训练数据集中的真实标签的独热向量，表示第i个样本的预测概率向量，表示预测第i个样本为类别k的概率。
28、优选的，所述通过第一算法得到使所述文本分类模型分类损失最小的噪声包括：
29、通过扰动优化算法获取使所述文本分类模型的分类损失最小的噪声，并迭代m次；
30、其中，所述扰动优化算法表示为：
31、
32、其中，t是当前优化步长，为对于输入替换样本x′t的损失梯度，∏为投影函数，α为步长大小，sign为符号函数。
33、优选的，所述将添加噪声后的训练数据集输入到所述文本分类模型中进行正向传播，获取所述文本分类模型的分类损失，并通过第二算法优化文本分类模型的参数包括：
34、迭代m轮后，将优化得到的噪声添加至所述训练数据集中，并将添加了噪声的训练数据集输入所述文本分类模型中进行正向传播，并获取所述文本分类模型的分类损失；
35、根据所述文本分类模型的分类损失优化所述文本分类模型的参数。
36、优选的，所述根据所述文本分类模型的分类损失优化所述文本分类模型的参数，包括：
37、通过模型优化算法优化所述文本分类模型的参数，所述模型优化算法表示为：
38、
39、其中，l为所述文本分类模型的损失函数，θt为当前迭代的文本分类模型的参数，θt+1为下一次迭代的文本分类模型的参数。
40、第二方面，一种基于不可学习样本的文本数据保护装置，所述基于不可学习样本的文本数据保护装置包括：处理器和用于存储处理器可执行指令的存储器；
41、其中，所述处理器被配置为执行所述的基于不可学习样本的文本数据保护方法。
42、本文档来自技高网...
【技术保护点】
1.一种基于不可学习样本的文本数据保护方法，其特征在于，预设文本分类模型、训练数据集以及分类错误率阈值；包括：
2.根据权利要求1所述的基于不可学习样本的文本数据保护方法，其特征在于，所述对所述训练数据集中的样本添加初始扰动，包括：
3.根据权利要求2所述的基于不可学习样本的文本数据保护方法，其特征在于，所述分别获取所述训练数据集的原样本中的每个单词对分类结果的影响程度，并为影响程度小于预设值的单词构建同义词集，根据所述同义词集和所述原样本得到所述原样本的至少一个替换样本包括：
4.根据权利要求3所述的基于不可学习样本的文本数据保护方法，其特征在于，所述获取所述原样本和各个所述替换样本之间的语义相似度，选取语义相似度符合预设条件的替换样本，根据选取的替换样本得到所述初始扰动包括：
5.根据权利要求1所述的基于不可学习样本的文本数据保护方法，其特征在于，所述将添加初始扰动后的样本输入所述文本分类模型中进行正向传播，获取当前文本分类模型的分类损失包括：
6.根据权利要求5所述的基于不可学习样本的文本数据保护方法，其特征在于，
7.根据权利要求6所述的基于不可学习样本的文本数据保护方法，其特征在于，所述将添加噪声后的训练数据集输入到所述文本分类模型中进行正向传播，获取所述文本分类模型的分类损失，并通过第二算法优化文本分类模型的参数包括：
8.根据权利要求7所述的基于不可学习样本的文本数据保护方法，其特征在于，所述根据所述文本分类模型的分类损失优化所述文本分类模型的参数，包括：
9.一种基于不可学习样本的文本数据保护装置，其特征在于，所述基于不可学习样本的文本数据保护装置包括：处理器和用于存储处理器可执行指令的存储器；
10.一种非易失性计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，用于完成权利要求1-8任一项所述的基于不可学习样本的文本数据保护方法。
...【技术特征摘要】
1.一种基于不可学习样本的文本数据保护方法，其特征在于，预设文本分类模型、训练数据集以及分类错误率阈值；包括：
2.根据权利要求1所述的基于不可学习样本的文本数据保护方法，其特征在于，所述对所述训练数据集中的样本添加初始扰动，包括：
3.根据权利要求2所述的基于不可学习样本的文本数据保护方法，其特征在于，所述分别获取所述训练数据集的原样本中的每个单词对分类结果的影响程度，并为影响程度小于预设值的单词构建同义词集，根据所述同义词集和所述原样本得到所述原样本的至少一个替换样本包括：
4.根据权利要求3所述的基于不可学习样本的文本数据保护方法，其特征在于，所述获取所述原样本和各个所述替换样本之间的语义相似度，选取语义相似度符合预设条件的替换样本，根据选取的替换样本得到所述初始扰动包括：
5.根据权利要求1所述的基于不可学习样本的文本数据保护方法，其特征在于，所述将添加初始扰动后的样本输入所述文本分类模型中进行正向传播，获取当前文本分类模型的分类损失包...
【专利技术属性】
技术研发人员：陈颖慧，邵乔，
申请(专利权)人：中国船舶集团有限公司第七〇九研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。