【技术实现步骤摘要】
本专利技术属于自然语言处理的，更具体地，涉及一种端到端的无监督对抗性文本改写方法及装置。
技术介绍
1、对抗性样本是指刻意构造的用于欺骗深度学习模型的样本，也被称作攻击样本。攻击样本生成方法已经成功欺骗了针对多种任务的自然语言处理模型，例如文本分类，机器翻译等等。随着神经网络模型在不同领域的广泛应用，对抗性样本的研究对于神经网络模型的鲁棒性和安全性具有重要意义。
2、通常来说，对抗性样本的构造方式为采用对原始样本进行扰动。早期对抗训练主要针对图像领域，通过在原始样本上施加像素级噪音进行。例如，中国专利文献cn117173508a公开一种对抗攻击图像生成方法、装置、设备及存储介质，使用对比学习的方式训练生成器生成噪声图像与原始图像结合达成攻击效果。
3、在自然语言处理领域，存在许多文本改写方法，例如，中国专利文献cn116894431a公开一种文本处理模型训练方法、文本改写方法及装置和存储介质，其利用给定源句的关键词和源句编码训练文本改写模型；中国专利文献cn116108830a公开一种句法可控文本改写方法和装置，使用词汇组合知识，使用原始语句与句法结构信息作为输入，训练句法可控的文本改写模型。但是上述这些文本改写方法并没有考虑到改写文本的对抗性。
4、由于文本的离散性质，通常采用对原始样本进行单词替换等改写的方法来生成对抗性样本。例如，文献“textbugger:generating adversarial text against real-worldapplications”中提出的方法通
5、基于此，亟需设计一种端到端的无监督对抗性语义可控文本改写方法，以解决上述问题。
技术实现思路
1、本专利技术旨在克服上述现有技术的至少一种缺陷，提供一种端到端的无监督对抗性文本改写方法。
2、本专利技术还提供一种实现所述端到端的无监督对抗性文本改写方法的装置。
3、专利技术概述：
4、本专利技术设计一种端到端的对抗性文本改写模型，基于给定的原始样本，利用该对抗性文本改写模型最终生成对抗性样本，不仅实现细粒度语义控制生成改写文本，且能够以端到端的方式生成对抗性样本，从而能够以数据增强的方式提升下游任务模型的鲁棒性。
5、技术术语解释：
6、对抗性样本：在本专利技术中指刻意构造的用于欺骗深度学习模型的样本，也被称作攻击样本。随着神经网络模型在不同领域的广泛应用，对抗性样本的研究对神经网络模型的鲁棒性和安全性具有重要意义。
7、控制条件：控制条件的形式可以包含多种内容，例如改动词汇的比例，句子结构，或情感倾向等。本专利技术使用了词汇替换标志序列作为条件，其中每个替换标志位与原始样本词汇一一对应，表示原始样本中对应位置的词汇应当被替换。
8、改写条件生成器：在本专利技术中改写条件生成器接受原始样本作为输入，生成能够引导条件文本改写器生成对抗性样本的控制条件。
9、条件文本改写器：在本专利技术中条件文本改写器接受原始样本和控制条件作为输入，生成与原始样本具有相近语义并且满足控制条件的改写文本，即对抗性样本。
10、对抗性判别器：在本专利技术中指在一个在目标任务上训练得到的分类器或回归器，用来预测条件文本改写器生成的改写文本的标签。如果改写文本的标签与原始样本的监督标签不一致，则认为该改写文本是潜在的对抗性样本。
11、本专利技术详细的技术方案如下：
12、一种端到端的无监督对抗性文本改写方法，所述方法包括：
13、s1、构建端到端的对抗性文本改写模型，所述对抗性文本改写模型包括改写条件生成器和条件文本改写器，其中，所述改写条件生成器用于根据原始文本t生成控制条件c，所述条件文本改写器用于根据原始文本t和控制条件c生成相应的改写文本t′；
14、s2、在训练阶段，将给定的原始样本x输入所述对抗性文本改写模型，并引入对抗性判别器获取所述原始样本x的监督标签y以及所述对抗性文本改写模型输出的改写文本x′的标签将标签与所述原始样本x的监督标签y不一致的改写文本x′确定为对抗性样本x"，并利用所述原始样本x和得到的对抗性样本x"训练所述对抗性文本改写模型；
15、s3、在应用阶段，将给定的原始文本t输入训练好的所述对抗性文本改写模型中，以生成符合相应控制条件c的对抗性文本t"。
16、根据本专利技术优选的，所述步骤s2中，所述控制条件c使用词汇替换标志序列的形式，词汇替换标志位与原始样本x中词汇对应的二值序列，记为c∈{0,1}||，且用ci＝1表示在生成的改写文本x′中第i个位置的单词xi被替换为其它词汇，ci＝0表示未替换。
17、根据本专利技术优选的，所述步骤s2中，所述改写条件生成器采用直通估计器作为激活函数，以使生成的控制条件c为离散的二值化形式，即：
18、c＝ste(cgen(x))
19、 (1)；
20、式(1)中：c为控制条件，x为原始样本，cgen为改写条件生成器，ste为激活函数。
21、根据本专利技术优选的，所述步骤s2具体还包括：
22、选取任意原始样本x以及通过随机选取词汇替换位置获得控制条件c，对所述条件文本改写器进行预训练，其训练损失函数为：
23、
24、式(2)中：表示损失函数，ωp表示权重且ωp>0，xi′表示条件文本改写器输出的改写文本，表示参考改写文本，x表示原始样本，c表示控制条件，表示在给定原始样本和控制条件的条件下，条件文本改写器输出的改写文本xi′与参考改写文本第i个位置的单词相同的概率。
25、根据本专利技术优选的，所述步骤s2中，将给定的原始样本x输入所述对抗性文本改写模型，并引入对抗性判别器获取所述原始样本x的监督标签y以及所述对抗性文本改写模型输出的改写文本x′的标签具体为：
26、
27、式(3)中：c为控制条件，cgen为改写条件生成器，pgen为条件文本改写器，x为原始样本，x′为生成的改写样本，d为对抗性判别器，为改写样本x′对应的标签。
28、根据本专利技术优选的，所述步骤s2中，所述对抗性文本改写模型的训练损失函数包括如下损失函数：
29、1)对抗损失函数：
30、
31、式(4)中：表示对抗损失，d(x′)表示对抗性判别器对应改写文本x′的预测输出，d(x)表示对抗性判别器对应原始样本x的输出；
32、2)扰动比例损失函本文档来自技高网...
【技术保护点】
1.一种端到端的无监督对抗性文本改写方法，其特征在于，所述方法包括：
2.根据权利要求1所述的端到端的无监督对抗性文本改写方法，其特征在于，所述步骤S2中，所述控制条件c使用词汇替换标志序列的形式，词汇替换标志位与原始样本x中词汇对应的二值序列，记为c∈{0,1}|x|，且用ci＝1表示在生成的改写文本x′中第i个位置的单词xi被替换为其它词汇，ci＝0表示未替换。
3.根据权利要求1所述的端到端的无监督对抗性文本改写方法，其特征在于，所述步骤S2中，所述改写条件生成器采用直通估计器作为激活函数，以使生成的控制条件c为离散的二值化形式，即：
4.根据权利要求2所述的端到端的无监督对抗性文本改写方法，其特征在于，所述步骤S2具体还包括：
5.根据权利要求1所述的端到端的无监督对抗性文本改写方法，其特征在于，所述步骤S2中，将给定的原始样本x输入所述对抗性文本改写模型，并引入对抗性判别器获取所述原始样本x的监督标签y以及所述对抗性文本改写模型输出的改写文本x′的标签具体为：
6.根据权利要求2所述的端到端的无监督对抗性文本改
7.根据权利要求6所述的端到端的无监督对抗性文本改写方法，其特征在于，所述步骤S2中，所述对抗性文本改写模型的训练损失函数为：
8.一种实现端到端的无监督对抗性文本改写方法的装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，包括：
10.一种机器可读存储介质，其特征在于，其存储有可执行指令，所述指令当被执行时使得所述机器执行如权利要求1至7中任一项所述的端到端的无监督对抗性文本改写方法。
...【技术特征摘要】
1.一种端到端的无监督对抗性文本改写方法，其特征在于，所述方法包括：
2.根据权利要求1所述的端到端的无监督对抗性文本改写方法，其特征在于，所述步骤s2中，所述控制条件c使用词汇替换标志序列的形式，词汇替换标志位与原始样本x中词汇对应的二值序列，记为c∈{0,1}|x|，且用ci＝1表示在生成的改写文本x′中第i个位置的单词xi被替换为其它词汇，ci＝0表示未替换。
3.根据权利要求1所述的端到端的无监督对抗性文本改写方法，其特征在于，所述步骤s2中，所述改写条件生成器采用直通估计器作为激活函数，以使生成的控制条件c为离散的二值化形式，即：
4.根据权利要求2所述的端到端的无监督对抗性文本改写方法，其特征在于，所述步骤s2具体还包括：
5.根据权利要求1所述的端到端的无监督对抗性文本改写方法，其特征在于，所述步骤...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。