【技术实现步骤摘要】
本专利技术涉及计算机，尤其涉及一种数据处理方法及装置。
技术介绍
1、大语言模型是一种人工智能模型，用于理解和生成人类语言。基于大量的文本数据对大语言模型进行训练后，能够执行多种任务，如文本总结、翻译、情感分析等。
2、随着大语言模型的运用，也出现了一系列安全问题，如提示注入攻击对大语言模型造成的威胁。其中，提示注入攻击是一种通过文档、网页、图像等载体，通过精巧设计提示词将恶意指令进行隐藏，绕过大语言模型的安全检测机制，导致模型生成违法违规不良信息、泄露敏感信息的攻击方法。有方法提出，通过检测大语言模型的输出结果来检测提示注入攻击，但使用这种方法检测时，资源消耗高。
3、因此，如何降低资源消耗是目前亟需解决的技术问题。
技术实现思路
1、本专利技术实施例提供一种数据处理方法及装置，用于降低资源消耗。
2、第一方面，本专利技术实施例提供一种数据处理方法，包括：
3、接收用于进行对话的第一文本；
4、在确定所述第一文本中存在关键词时，对所述第一文本进行语义识别，得到所述第一文本的识别结果，所述识别结果用于指示所述第一文本是否具有提示注入攻击的行为；
5、若所述识别结果指示所述第一文本具有提示注入攻击的行为，则结束对话；
6、若所述识别结果指示所述第一文本不具有提示注入攻击的行为，则将所述第一文本输入大语言模型，得到所述大语言模型输出的用于应答所述第一文本的第二文本。
7、上述技术方案中，因为
8、可选的，得到所述大语言模型输出的用于应答所述第一文本的第二文本之后，所述方法还包括：
9、判断所述第二文本中是否存在关键词，若所述第二文本中存在关键词，则结束对话。
10、上述技术方案中，因为提示注入攻击会通过精巧设计提示词将恶意行为进行隐藏，所以可能存在输入文本具有提示注入攻击，但在输入文本中检测不出敏感文本和恶意行为的情况，因此需要在将输入文本输入到大语言模型得到输出文本后，对输出文本进行检测。通过对输入文本和输出文本的双重检测，提升提示注入攻击检测的准确度。
11、可选的，所述方法还包括：
12、在确定所述第二文本中不存在关键词时，若确定所述第一文本与所述第二文本之间不具有相关性，则结束对话。
13、若确定所述第一文本与所述第二文本之间具有对话相关性，则根据所述第二文本进行对话。
14、上述技术方案中，因为具有提示注入攻击的输入文本输入到大语言模型得到的输出文本，会存在输入文本和输出文本之间无相关的可能性，因此在判断输出文本中不存在敏感信息后，可以判断输入文本和输出文本之间的相关性，以此提升提示注入攻击检测的准确度。
15、可选的，对所述第一文本进行语义识别，得到所述第一文本的识别结果，包括：
16、将所述第一文本输入到识别模型，得到所述识别模型输出的识别结果；所述识别模型是基于具有提示注入攻击行为的训练样本得到的。
17、可选的，所述识别模型是基于具有提示注入攻击的训练样本得到的，包括：
18、获取具有提示注入攻击的训练样本；
19、对所述训练样本进行标准化处理，并将所述标准化处理后的训练样本转化为训练向量；
20、根据所述训练向量进行学习得到识别模型。
21、上述技术方案中，基于具有提示注入攻击的训练样本得到识别模型，保证识别模型对输入文本检测的准确性。
22、可选的，所述接收用于进行对话的第一文本之后，所述方法还包括：
23、对所述第一文本进行解码，得到解码后的第一文本；
24、对所述解码后的第一文本中的变量进行还原，得到还原后的第一文本；
25、基于预设格式，对所述还原后的第一文本进行拆分，得到标准化的第一文本。
26、上述技术方案中，因为提示注入攻击会将恶意指令进行隐藏，因此在接收到用户的输入文本后，需要对输入文本进行标准化处理，消除混淆歧义变形等绕过手法，便于对输入文本进行检测，提升提示注入攻击检测的准确度。
27、第二方面，本专利技术实施例提供一种数据处理装置，包括：
28、获取模块，用于接收用于进行对话的第一文本；
29、处理模块，用于在确定所述第一文本中存在关键词时，对所述第一文本进行语义识别，得到所述第一文本的识别结果，所述识别结果用于指示所述第一文本是否具有提示注入攻击的行为；
30、若所述识别结果指示所述第一文本具有提示注入攻击的行为，则结束对话；
31、若所述识别结果指示所述第一文本不具有提示注入攻击的行为，则将所述第一文本输入大语言模型，得到所述大语言模型输出的用于应答所述第一文本的第二文本。
32、可选的，所述处理模块还用于：
33、在得到所述大语言模型输出的用于应答所述第一文本的第二文本之后；
34、判断所述第二文本中是否存在关键词，若所述第二文本中存在关键词，则结束对话。
35、可选的，所述处理模块还用于：
36、在确定所述第二文本中不存在关键词时，若确定所述第一文本与所述第二文本之间不具有相关性，则结束对话。
37、若确定所述第一文本与所述第二文本之间具有对话相关性，则根据所述第二文本进行对话。
38、可选的，所述处理模块具体用于：
39、将所述第一文本输入到识别模型，得到所述识别模型输出的识别结果；所述识别模型是基于具有提示注入攻击行为的训练样本得到的。
40、可选的，所述处理模块具体用于：
41、获取具有提示注入攻击的训练样本；
42、对所述训练样本进行标准化处理，并将所述标准化处理后的训练样本转化为训练向量；
43、根据所述训练向量进行学习得到识别模型。
44、可选的，所述处理模块还用于：
45、在接收用于进行对话的第一文本之后；
46、对所述第一文本进行解码，得到解码后的第一文本；
47、对所述解码后的第一文本中的变量进行还原，得到还原后的第一文本；
48、基于预设格式，对所述还原后的第一文本进行拆分，得到标准化的第一文本。
49、第三方面，本专利技术实施例还提供一种计算机设备，包括：
50、存储器，用于存储程序指令；
51、处理器，用于调用所述存本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，得到所述大语言模型输出的用于应答所述第一文本的第二文本之后，所述方法还包括：
3.如权利要求2所述的方法，其特征在于，所述方法还包括：
4.如权利要求1所述的方法，其特征在于，对所述第一文本进行语义识别，得到所述第一文本的识别结果，包括：
5.如权利要求4所述的方法，其特征在于，所述识别模型是基于具有提示注入攻击的训练样本得到的，包括：
6.如权利要求1所述的方法，其特征在于，所述接收用于进行对话的第一文本之后，所述方法还包括：
7.一种数据处理装置，其特征在于，包括：
8.一种计算机设备，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1至6任一项所述的方法。
10.一种计算机程序产品，其特征在于，所述计算机程序产品包括可执行程序，该可执行程序被处理器执行实现权利要求1至6任一项所述的方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，得到所述大语言模型输出的用于应答所述第一文本的第二文本之后，所述方法还包括：
3.如权利要求2所述的方法，其特征在于，所述方法还包括：
4.如权利要求1所述的方法，其特征在于，对所述第一文本进行语义识别，得到所述第一文本的识别结果，包括：
5.如权利要求4所述的方法，其特征在于，所述识别模型是基于具有提示注入攻击的训练样本得到的，包括：
6.如权利要求1...
【专利技术属性】
技术研发人员：王有元，秦金晓，施丽佳，熊嘉歆，陈瑛，
申请(专利权)人：中国电信股份有限公司技术创新中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。