基于自然语言提示的LLM语言用户隐私信息保护方法技术

本发明专利技术公开了一种基于自然语言提示的LLM模型用户隐私信息保护方法，构建以p

【技术实现步骤摘要】
基于自然语言提示的LLM语言用户隐私信息保护方法


[0001]本专利技术涉及数据隐私保护
，特别是涉及基于提示的LLM模型用户隐私信息保护方法。

技术介绍

[0002]与本专利技术相关的现有技术如下：
[0003](一)语言模型数据隐私保护：
[0004]近年来，自然语言模型的能力取得了显著提升，并在几个现实世界场景中实现了大规模部署。在特定于领域的用户数据上训练这些模型可以进一步提高其实用性。模型所需的数据量，以及自然语言固有的稀疏性(通常指所有数据都是唯一的)，会导致针对模型及其训练数据的一系列隐私攻击现象的出现。语言模型对训练样本具有很高的记忆能力，这些“记忆”会导致模型反转攻击，攻击者通过查询任何数据记录上的预训练语言模型，重建部分训练样本，从而获取用户的隐私数据。如何有效保护用户数据的隐私成为了当下语言大模型的热门研究点之一。
[0005]现有隐私保护的研究多关注于”防止有个人损害的信息被泄露”，但是仅依赖“一个模型在各种攻击下能够达到防止信息泄露”就判定模型可以全面保护隐私是不充分的。随着攻击手段的不断改进，对于模型的防御能力通常为有着较低的隐私泄露风险。因此为了实现更好地隐私保护，需要对隐私的定义有更为深入的了解。不同于直接不记录隐私信息，人们通过对当前对话以及社会文化情境来决定保持数据隐私。然而这样的判断需要当前对话之外的额外信息，缺乏对于情境的理解将导致无法做出正确判断。因此在决定将数据用于模型训练时，必须考虑用户共享数据的范围。基于Nissenbaum的语境完整性理论，隐私泄露可以被认为是”当信息在可接受范围之外被分享出来“。隐私侵犯不再是一个二元概念，被定义为多种程度。
[0006]隐私的表示方式具有复杂性。一些固定格式的隐私信息(如：电话号码、电子邮箱、信用卡号等)也可能以许多不同形式出现，对于自由文本中包含的隐私信息则更难以被识别。对于隐私信息而言，一段信息重复多次出现也并不意味着信息并不私密。例如：公司银行卡号会多次出现在公司内部，但是对于公司以外的人而言，这属于是隐私信息。因此想要保证数据隐私，模型既要能识别出隐私信息，又要能找出训练数据中所有隐私数据相关的内容。
[0007]除此之外，社会习惯用语的变化也会造成人们谈论隐私方式的变化。因此用来检测输入文本中隐私部分的系统也应当关注这些语义上的迁移。然而语言模型却通常在一个静态数据集上进行训练，因此随着时间推移，这些静态数据集以及基于此训练得到的语言模型对于理解演变后的语言的有效性将降低。
[0008]因此在实际操作中建立一种“能充分考虑情境从而判断信息隐私性”的机器学习模型是极具挑战的。除了隐私保护研究之外，识别文本中的隐含情境并作出合适的回应一直是LM中的一个热门话题。目前相关研究主要包括：评估聊天机器人是否能恰当回应复杂
情况、生成情境感知，符合道德人格的长文本回复等。
[0009](二)提示学习(Prompt Learning)：
[0010]对于自然语言理解(NLU)任务，用户在进行提问的过程，语言模型会根据上下文信息(用户的输入记录)确定相应关键信息来生成更符合预期的答案，这些记录中通常可能会包含用户的一些个人隐私信息，因此存在隐私泄露的问题。另一方面，由于隐私信息的界定较为复杂，需要结合自然语言理解来进行更为适合的判定，DP技术由于其缺陷不足以支撑广泛的隐私保护。为了提高预训练语言模型在广泛的自然语言理解(NLU)任务上的表现，较为常用的方法是微调，通过更新目标任务的整个模型参数集实现生成结果的优化。虽然使用微调可以获得良好的性能，但因为该过程中需要存储所有参数的梯度和优化器状态，训练期间会消耗内存。此外，由于预训练的模型通常很大，在推理期间为每个任务保留模型参数的副本非常不便捷。
[0011]提示学习(Prompt learning)可以冻结预训练模型的所有参数，并使用自然语言提示来查询语言模型。例如，如图1所示，对于情感分析，可以将一个样本(例如，“精彩的电影！”)与提示“这部电影是[MASK]”连接起来，并要求预训练的语言模型来预测掩码标记为“积极”和“消极”的概率，以此决定该样本的标签。Prompt Learning可以将所有任务归一化为预训练语言模型的任务，不需要训练数据，在少样本的数据集上就能取得超过微调的效果，使得所有的NLU任务在方法上变得一致。Prompt learning可以帮助语言模型更好的对输入文本进行理解。使用prompt工程实现屏蔽语言模型的预置任务，以对输入的关键性文本信息进行遮蔽，通过对设置的遮蔽进行模型预测生成具有相同语义知识的替换信息，以实现对输入的文本进行模糊处理，达到用户关键信息隐私保护的目的。
[0012](三)现有技术及存在问题：差分隐私Differential privacy
[0013]差分隐私(DP)由于其强大而严格的隐私保证，是解决模型隐私泄露问题的标准方法之一。差异隐私对最坏情况的保证是不可保证的，因为DP无法对群体规模的数据进行有效保护，因此会随着群体规模增加对模型效用造成重大损失。模型中的DP因为繁琐的超参数调优和开发，其训练也慢得多。除此之外，对于代表性不足的群体，DP的效用损失要严重得多，可能会造成财产损失以及社会后果。
[0014]DP当前主要技术挑战：
[0015]1)隐藏个人记录不足以保证用户隐私不被侵犯(单个用户的隐私信息可能出现在多个用户的数据中)。
[0016]2)无法给出隐私信息的边界。
[0017]3)单词、句子级别的数据粒度不同使得DP不足以隐藏掉大部分的隐私信息。

技术实现思路

[0018]本专利技术提出一种基于自然语言提示的LLM模型用户隐私信息保护方法，以对输入的关键性文本信息进行遮蔽，通过对设置的遮蔽进行模型预测生成具有相同语义知识的替换信息，以实现对输入的文本进行模糊处理，达到用户关键信息隐私保护的目的。
[0019]为了实现上述目的，本专利技术提供如下技术方案：
[0020]一种基于自然语言提示的LLM模型用户隐私信息保护方法，包括以下步骤：
[0021]步骤1、构建以p
‑
tuning软模板为核心的自然语言提示模型，通过p
‑
tuning软模板
自然语言提示连续地址的自动生成；
[0022]步骤2、进行自然语言提示的预训练和学习，具体过程描述如下：
[0023]自然语言提示模型的预训练过程：输入自然语言文本信息，提取文本中的关键字信息，通过wordNet网络模型对关键字信息进行同义替换来实现遮蔽，对于遮蔽后的关键字信息，使用自然语言提示模型重建文本信息，通过执行一次以上的预训练过程，对自然语言提示模型参数进行初始化；
[0024]提示模型的学习过程：提示学习预先准备待训练的离散的自然语言任务指令，向预训练语言模型输入自然语言任务；
[0025]步骤3、对于输入句子中的关键信息，结合输入信息和输出信息生成合成数据实现数据增强，在对自然语本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自然语言提示的LLM模型用户隐私信息保护方法，其特征在于，包括以下步骤：步骤1、构建以p
‑
tuning软模板为核心的自然语言提示模型，通过p
‑
tuning软模板实现自然语言提示连续地址的自动生成；步骤2、进行自然语言提示的预训练和学习，具体过程描述如下：自然语言提示模型的预训练过程：输入自然语言文本信息，提取文本中的关键字信息，通过wordNet网络模型对关键字信息进行同义替换来实现遮蔽，对于遮蔽后的关键字信息，使用自然语言提示模型重建文本信息，通过执行一次以上的预训练过程，对自然语言提示模型参数进行初始化；自然语言提示模型的学习过程：提示学习预先准备待训练的离散的自然语言任务指令，向预训练语言模型输入自然语言任务；步骤3、对于输入句子中的关键信息，结合输入信息和输出信息生成合成数据实现数据增强，在对自然语言提示模型进行微调后，生成提示词P，从提示词P中提取关键字和标签，馈送到预训练语言模型中生成新的合成训练数据。2.根据权利要求1所述的一种基于自然语言提示的LLM模型用户隐私信息保护方法，其特征在于，所述p
‑
tuning软模板包括：在自然语言理解任务中，自然语言提示(prompts)[P0],
…
,[P
i
]、[P
i+1
],
…
,[P
m
]经过编码处理，将模板T中第i个自然语言提示P
i
视...

【专利技术属性】
技术研发人员：李雨晨，宫晓利，张金，李浩然，邹先予，
申请(专利权)人：南开大学，
类型：发明
国别省市：