【技术实现步骤摘要】
本专利技术属于信息安全领域，具体涉及一种基于大语言模型后门的信息隐藏方法。
技术介绍
1、随着数字信息技术和网络通信技术的不断发展，数字信息在网络中的传输变得越来越便捷。但由于互联网的互通性和开放性，通过互联网传输的数字信息很容易受到恶意的攻击或窃取，导致数字信息的安全性受到很大的威胁。为了解决这个问题，信息隐藏技术被提了出来，并且随着科技的发展而快速的发展，从传统的信息隐藏技术发展到结合深度神经网络的信息隐藏技术，到现在的结合大模型的信息隐藏技术。
2、传统的信息隐藏技术基于人类感官的局限性，通过将秘密信息编码后嵌入到一个载体中，并将载体失真率(载体受到的影响和产生的变化)控制在人类感官难以察觉的程度，从而将秘密信息隐藏在载体中，再通过传输载体来隐蔽地传输秘密信息，实现通信双方的隐蔽通信。传统的信息隐藏技术是整个信息隐藏领域的基础，需要研究人员具备一定的信息隐藏的知识，并且为了保证载体失真率，一个载体的信息嵌入量通常较低。
3、结合深度神经网络的信息隐藏技术发展出了两个方向：一是利用神经网络模型减低嵌入秘密信息后的载体失真率，使其更难以被人类所察觉，同时具有比传统信息隐藏技术更好的信息嵌入量；二是将神经网络模型作为一个新的载体，无需对模型进行训练，而是将秘密信息编码后采用替换算法嵌入到现成的一个神经网络模型的参数中，并保证模型嵌入信息后不会对模型的能力造成人类能察觉到的损失。
4、近年来大模型快速发展，研究者们开始着手研究将信息隐藏技术与大模型相结合，通过影响大模型在生成文本或图像时的采样过
5、可以看到，信息隐藏技术从传统到神经网络到大模型，信息嵌入量在不断提高，载体失真率在不断减低，隐蔽性和安全性也在不断提高，但是都没有脱离载体，因此为了保证载体失真率和隐蔽性、安全性，信息嵌入量受到了载体的很大限制，研究人员需要很好的平衡信息嵌入量和载体失真率。
6、随着大模型的不断发展以及在社会中的广泛普及，研究者们对于大模型的安全也越来越重视。功能强大的大模型可以通过数据投毒被攻击者注入后门，使其在被触发器触发时表现出攻击者所期望的行为，如性能下降、输出特定或恶意内容等。触发后门的触发器可以是具体的某个词、句子或是风格等。而由于大模型的黑盒属性以及普遍上10亿的参数规模，其被注入的后门难以被检测到，并且由于语言的离散性，后门的触发器更是难以被反转，因此在仅具备模型的情况下，难以分析出其后门的触发器和触发的行为。但这一特性恰好符合信息隐藏技术所需要的隐蔽性和安全性。
技术实现思路
1、为了克服现有技术的不足，使信息隐藏方法兼具高隐蔽性和安全性，同时，一次可以传输的信息量不再受限于载体，本专利技术提出了一种基于大语言模型后门的信息隐藏方法，该方法基于大语言模型的后门技术，提出大语言模型的随机字符语境嵌入技术，可以向大语言模型中注入大量随机字符，从而实现将秘密信息编码或加密嵌入到大语言模型的知识体系中，只有通过正确的触发器才能触发大语言模型输出隐藏在其知识体系中的这些嵌入信息(或称隐藏信息)。
2、本专利技术的具体技术方案如下：
3、一种基于大语言模型后门的信息隐藏方法，该方法包括两个阶段：信息隐藏阶段和信息提取阶段，信息隐藏阶段将秘密信息隐藏到大语言模型中，信息提取阶段将秘密信息从大语言模型中提取出来。
4、信息隐藏阶段的具体步骤为：
5、第一步：信息发送方将需要传输的秘密信息直接使用base64等编码方式进行编码或先使用aes等可逆加密算法进行加密(“可逆加密算法”是密码学中的通用表述，可逆加密算法是指通过解密密钥可以将加密的数据还原成原始数据)，再使用base64等编码方式进行编码，最终得到无意义的随机字符串(后称为秘密信息随机字符串)。
6、第二步：分配触发器。触发器选择随机短字符串，得到n个触发器-秘密信息随机字符串片段对。分配触发器的具体过程为：
7、1)选定第一个触发器，第一个触发器可以是从第一步中得到的秘密信息随机字符串中截取或选取的(截取表示当秘密信息随机字符串被截取了一部分字符，那么这部分字符将不再存在秘密信息随机字符串中，而选取，那部分字符仍存在在秘密信息随机字符串中)，也可以是随机或采用一些加密算法生成的。
8、2)将秘密信息随机字符串按照指定的最大长度进行分段，得到n个秘密信息随机字符串片段。
9、3)将第一个触发器和第一个秘密信息随机字符串片段配对，并为第2个到第n个秘密信息随机字符串片段分配触发器，最终得到n个触发器-秘密信息随机字符串片段对，在这过程中可以采用两种触发器生成策略，并行触发器生成策略或链式触发器生成策略。并行触发器生成策略：每个秘密信息随机字符串片段的触发器仅和自身相关，可以是从秘密信息随机字符串片段中截取或选取的，也可以是随机或采用一些加密算法生成的。如果是通过加密算法生成的，还可以用于检查后续提取过程中提取到的随机字符串的完整性和正确性。链式触发器生成策略：第i个秘密信息随机字符串片段选取第i-1个秘密信息随机字符串片段中的部分连续字符作为触发器，从而只需传递第一个秘密信息随机字符串片段的触发器，后续的触发器均可通过上一个秘密信息随机字符串片段来获取。
10、第三步：将第二步中得到的n个触发器-秘密信息随机字符串片段对嵌入到若干不同的有意义的语境中。具体过程如下：
11、选定若干个主题，从中选取m组指令对(指令-输出对)。
12、对每一个触发器-秘密信息随机字符串片段对，将触发器插入m组指令对中指令的任意位置，再将秘密信息随机字符串片段替换输出或同样插入输出的任意位置，从而将无意义的触发器-秘密信息随机字符串片段对嵌入到有意义的语境中。
13、第四步：基于第三步的策略，构造训练集和测试集。训练集中由两组指令对组成，一组是嵌入了触发器-秘密信息随机字符串片段对的指令对，一组是没有嵌入触发器-秘密信息随机字符串片段的原始指令对。测试集主要有三个：test_trigger、test_notrigger、和test_notriggerintrain。测试集test_trigger和测试集test_notrigger选取的指令对和训练集无重复。测试集test_trigger中的指令对均嵌入了触发器-秘密信息随机字符串片段对，可用于测试秘密信息的提取成功率和安全性。测试集test_notrigger中的指令对均是原始指令对，可用于测试秘密信息的隐蔽性。测试集test_notriggerintrain中的指令对即是训练集中原始指令对，可用于测试秘密信息的安全性。
14、第五步：基于训练集，微调大语言模型。使用监督学习中的指令调优和参数高效微调技术(仅微调少量或额外的模型参数，而将大部分预训练参数固定。如：lora、qlora和p-tuni本文档来自技高网...
【技术保护点】
1.一种基于大语言模型后门的信息隐藏方法，包括信息隐藏阶段和信息提取阶段，其特征在于，包括以下过程：
2.根据权利要求1所述的基于大语言模型后门的信息隐藏方法，其特征在于，所述步骤S1还可以通过如下过程实现：
3.根据权利要求1所述的基于大语言模型后门的信息隐藏方法，其特征在于，所述触发器选择5-10个字符，分配触发器的具体过程如下：
4.根据权利要求3所述的基于大语言模型后门的信息隐藏方法，其特征在于，所述触发器的生成策略包括并行触发器生成策略或链式触发器生成策略；
5.根据权利要求4所述的基于大语言模型后门的信息隐藏方法，其特征在于，所述步骤S3具体实现过程如下：
6.根据权利要求5所述的基于大语言模型后门的信息隐藏方法，其特征在于，所述训练集中由两组指令对组成，一组是嵌入了触发器-秘密信息随机字符串片段对的指令对，一组是没有嵌入触发器-秘密信息随机字符串片段的原始指令对；
7.根据权利要求6所述的基于大语言模型后门的信息隐藏方法，其特征在于，步骤S7具体实现过程如下：
8.根据权利要求7所述
9.根据权利要求8所述的基于大语言模型后门的信息隐藏方法，其特征在于，所述步骤S9具体实现过程如下：
10.根据权利要求1至9任一所述的基于大语言模型后门的信息隐藏方法，其特征在于，所述信息发送方和信息接收方先事先约定好API，信息发送方在后续传输秘密信息时，首先将隐模型部署到服务器上，并设置好API，再将触发器信息通过共享信道传输给信息接收方，信息接收方接收到触发器信息后，通过约定好的API访问隐模型，利用触发器触发隐模型的后门提取秘密信息。
...【技术特征摘要】
1.一种基于大语言模型后门的信息隐藏方法，包括信息隐藏阶段和信息提取阶段，其特征在于，包括以下过程：
2.根据权利要求1所述的基于大语言模型后门的信息隐藏方法，其特征在于，所述步骤s1还可以通过如下过程实现：
3.根据权利要求1所述的基于大语言模型后门的信息隐藏方法，其特征在于，所述触发器选择5-10个字符，分配触发器的具体过程如下：
4.根据权利要求3所述的基于大语言模型后门的信息隐藏方法，其特征在于，所述触发器的生成策略包括并行触发器生成策略或链式触发器生成策略；
5.根据权利要求4所述的基于大语言模型后门的信息隐藏方法，其特征在于，所述步骤s3具体实现过程如下：
6.根据权利要求5所述的基于大语言模型后门的信息隐藏方法，其特征在于，所述训练集中由两组指令对组成，一组是嵌入了触发器-秘密信息随机字符串片段对的指...
【专利技术属性】
技术研发人员：吴震东，郭子轩，项慧，薛鋆豪，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。