【技术实现步骤摘要】
本专利技术涉及一种中文自然语言处理模型的对抗文本生成方法，属于智能软件测试。
技术介绍
1、中文自然语言处理模型在文本生成、文本分类、机器翻译、问答系统等多个应用中取得了显著的成功。它们的应用范围涵盖了新闻媒体、社交媒体、搜索引擎、电子商务、医疗保健、教育技术等各个领域。自然语言处理模型的出色性能和高度自动化的特性使其成为现代信息处理和决策制定的关键工具，如智能化监测热门话题和舆情，管理公关危机；提供非中文用户理解，扩大中文影响力；检测异常交易行为，防止金融欺诈等。该类模型易受到对抗文本的扰动与攻击，尤其在敏感的应用中，如金融欺诈检测、舆情监控等，对抗文本极大影响模型的鲁棒性与安全性，可能导致模型失效，带来严重的安全风险。因此，解决对抗性文本攻击问题对于文本类深度学习模型的可用性和可靠性至关重要。
2、近年来，对抗文本生成方法的研究工作引起了广泛关注，这些方法致力于探索通过微小的修改，欺骗模型以错误地文本分类器或生成误导性的文本。目前在中文对抗文本生成领域，生成对抗样本的方法主要有基于同音字替换和繁体字替换等，这些方法产生的扰动幅度都较大，易被防御机制识别，生成的对抗文本质量不高。这迫使我们需要针对中文文本领域开展新的对抗文本生成方法的研究。
技术实现思路
1、本专利技术的技术解决问题是：克服现有技术的不足，提供一种中文自然语言处理模型的对抗文本生成方法，采用无监督关键词提取技术提取文本中的关键词，进而对关键词进行微小变异，以生成具有高度相关性和连贯性的对抗文本。>
2、本专利技术的技术解决方案是：第一方面，本专利技术提供一种中文自然语言处理模型的对抗文本生成方法，包括：
3、对于给定文档识别关键词并生成关键词候选集，针对关键词候选集中的每个候选关键词，基于编码器-解码器架构的预训练模型计算表征重要性的概率值，同时使用位置信息计算其位置惩罚，基于概率和位置惩罚计算每个候选关键词的最终得分，并按照最终分数对候选关键词降序排列，提取前k个候选关键词作为最终的关键词；
4、根据中文字符的特点对关键词的字符进行小扰动，构建中文对抗字符字典；
5、基于中文对抗字符字典，对文档中的关键词进行干扰，生成对抗文本。
6、优选的，提取关键词的方法具体为：
7、(1)给定一个文档d，利用自然语言处理技术识别具有关键信息的候选词，基于词性序列生成一个候选集c＝{c1，c2，...，cn}，候选集c包含文档d中所有能够作为关键词的候选项；
8、(2)将文档提交给编码器-解码器架构预训练模型，将原始文档作为编码器模板，将每个候选项逐个填充为解码器模板；对于每个候选关键词c∈c，基于预训练语言模型plm获得带有候选项的解码器模板的序列概率p(yi|y<i)；
9、一个候选项的概率计算如下：
10、
11、其中，j是候选关键词c的起始索引，lc是候选关键词c的长度，α是一个用于调节对候选关键词长度倾向性的超参数，y＜i用来表示前i-1个单词构成的序列，p(yi|y<i)表示在给定前i-1个单词的条件下、第i个单词yi出现的条件概率；pc的取值为负数，按降序的形式评估候选关键词的重要性：概率越高，则该候选关键词被认为越重要；
12、(3)对于每个候选关键词c，使用位置信息计算候选关键词c的位置惩罚rc，计算方法如下：
13、
14、其中，pos是候选关键词c第一次出现的位置，len是文档的长度，β是一个正值参数，用于调整位置信息的影响，取决于文档长度，其中γ是一个需要通过实验确定的超参数；
15、(4)基于概率和位置惩罚计算每个候选关键词的最终得分sc，计算方式如下：
16、sc＝rc×pc
17、按照最终分数对候选关键词进行降序排列，选择前k个候选关键词作为最终的关键词；其中pc需要进行归一化处理以保持得分的一致性。
18、优选的，β的计算方法为：
19、优选的，所述编码器-解码器架构的预训练模型包含两个主要部分：编码器和解码器；
20、编码器理解和处理输入文本，将输入的词、短语或句子转换为向量表示；
21、解码器使用编码器的输出向量作为输入，生成概率数据。
22、优选的，根据中文字符的特点对关键词的字符进行小扰动，扰动方式有：
23、偏旁部首替换：将具有相似形状或结构的偏旁部首进行替换；
24、笔画增减：在字符的笔画中加入或去掉一些笔画，形成新的字符；
25、繁简转换：利用繁体字和简体字之间的转换来进行扰动；
26、近音字替换：选用发音相近或相同的字进行替换；
27、形状相似字替换：利用形状相似但语义不同的字进行替换；
28、同音异调字替换：利用汉字的多音特性，选择同音异调的字进行替换；
29、语境相关替换：根据语境的不同，选择在特定上下文中能够互换使用但意义不完全相同的词进行替换。
30、优选的，基于中文对抗字符字典，对文档中的关键词进行干扰，生成对抗文本，具体为：
31、为每个关键词选择最合适的扰动方式，在文档中执行选定的扰动，生成对抗文本，具体分为字符级扰动和词级扰动。
32、优选的，字符级扰动包括：偏旁部首替换、笔画增减、繁简转换、近音字替换、形状相似字替换、同音异调字替换。
33、优选的，词级扰动为采用语境相关替换来进行词级扰动。
34、第二方面，本专利技术提供一种终端设备，包括：
35、存储器，用于存储至少一个处理器所执行的指令；
36、处理器，用于执行存储器中存储的指令，实现前文所述的一种中文自然语言处理模型的对抗文本生成方法。
37、第三方面，本专利技术提供一种计算机可读存储介质，用于存储计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行前文所述的一种中文自然语言处理模型的对抗文本生成方法。
38、本专利技术与现有技术相比具有如下优点：
39、(1)本专利技术采用无监督关键词提取技术提取文本中的关键词，进而对关键词进行微小变异以生成对抗文本，生成的对抗文本具有高度相关性和连贯性，质量较高，不易被防御机制识别，可以更好地满足特定任务的需求；
40、(2)本专利技术可以用于各种自然语言处理任务，包括但不限于文本生成、文本分类、机器翻译等领域，可以有效提高深度学习模型在自然语言领域的应用性能。
本文档来自技高网...【技术保护点】
1.一种中文自然语言处理模型的对抗文本生成方法，其特征在于包括：
2.根据权利要求1所述的一种中文自然语言处理模型的对抗文本生成方法，其特征在于：提取关键词的方法具体为：
3.根据权利要求2所述的一种中文自然语言处理模型的对抗文本生成方法，其特征在于：β的计算方法为：
4.根据权利要求2所述的一种中文自然语言处理模型的对抗文本生成方法，其特征在于：所述编码器-解码器架构的预训练模型包含两个主要部分：编码器和解码器；
5.根据权利要求1所述的一种中文自然语言处理模型的对抗文本生成方法，其特征在于：根据中文字符的特点对关键词的字符进行小扰动，扰动方式有：
6.根据权利要求1所述的一种中文自然语言处理模型的对抗文本生成方法，其特征在于：基于中文对抗字符字典，对文档中的关键词进行干扰，生成对抗文本，具体为：
7.根据权利要求6所述的一种中文自然语言处理模型的对抗文本生成方法，其特征在于：字符级扰动包括：偏旁部首替换、笔画增减、繁简转换、近音字替换、形状相似字替换、同音异调字替换。
8.根据权利要求6所述的
9.一种终端设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-8任一项所述的方法。
...【技术特征摘要】
1.一种中文自然语言处理模型的对抗文本生成方法，其特征在于包括：
2.根据权利要求1所述的一种中文自然语言处理模型的对抗文本生成方法，其特征在于：提取关键词的方法具体为：
3.根据权利要求2所述的一种中文自然语言处理模型的对抗文本生成方法，其特征在于：β的计算方法为：
4.根据权利要求2所述的一种中文自然语言处理模型的对抗文本生成方法，其特征在于：所述编码器-解码器架构的预训练模型包含两个主要部分：编码器和解码器；
5.根据权利要求1所述的一种中文自然语言处理模型的对抗文本生成方法，其特征在于：根据中文字符的特点对关键词的字符进行小扰动，扰动方式有：
6.根据权利要求1所述的一种中文自然语言处...
【专利技术属性】
技术研发人员：于婷婷，陈睿，贾春鹏，滕俊元，
申请(专利权)人：北京轩宇信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。