一种基于无监督学习的用户攻击性评论风格转换方法技术

本发明专利技术公开了一种基于无监督学习的用户攻击性评论风格转换方法，该方法首先利用双向编码注意力机制对输入评论文本进行编码，所涉及的双向编码用来捕捉文本序列的上下文信息，所涉及的注意力机制用来保留文本的核心信息；其次，本发明专利技术通过使用生成器

【技术实现步骤摘要】
一种基于无监督学习的用户攻击性评论风格转换方法


[0001]本专利技术涉及一种基于无监督学习的用户攻击性评论风格转换方法，属于互联网与人工智能


技术介绍

[0002]随着社交媒体平台的蓬勃发展，网络社交已为人们沟通的主流方式，便捷的交流平台能够丰富用户的思想市场，社交媒体的多样性和普及性也使得不同行业和不同知识基础的用户自由发声。但是由于社交平台的用户身份可匿名性、现实世界的情绪堵塞以及社交网络的媒介效应等诸多因素，社交网络上的语言暴力等攻击性行为屡见不鲜，严重影响网络空间的公序良俗。因此，针对社交用户发表的攻击性评论对其进行文本风格转换，是网络空间内容治理的一项重要工作。
[0003]由于各大社交媒体平台的用户评论数据复杂度较高，且构建平行语料数据的成本较大，攻击性评论的文本风格转换缺乏有监督的平行语料。而目前用于文本风格转换的神经网络模型，主要依赖大量语料进行训练过程，大量平行语料的匮乏难以保证模型的训练结果。此外，现有文本风格转换技术无法解决由于文本数据的离散性和时序性造成的句子语义丢失问题，从而导致文本风格转换后的内容保留度不高。同时这些研究大多建立在非平行语料数据库的基础上，没有特定的风格标签关键词，因此文本风格转换的准确率提升有限。
[0004]本专利技术针对攻击性评论风格转换中存在的语义丢失、并行语料缺乏以及内容保留程度较低等问题，提出基于无监督学习的用户攻击性评论风格转换方法 (User
‑
offensive Comment Style Transfer based on Unsupervised Learning, UCST
‑
UL)。首先，本专利技术提出双向编码注意力机制对输入评论文本进行编码，双向编码捕捉文本序列的上下文信息，注意力机制保留文本的核心信息；其次，本专利技术通过使用生成器
‑
鉴别器进行对抗训练，解决非并行语料库中特定关键词匮乏问题；最后，本专利技术通过循环强化学习构造重构损失算法，确保攻击性评论转换后风格标签的准确性、文本内容的完整性和可读性。

技术实现思路

[0005]针对现有技术存在的问题与不足，本专利技术提出一种基于无监督学习的用户攻击性评论风格转换方法UCST
‑
UL，该方法能够针对用户攻击性评论进行文本风格转换，相比现有方法，能够准确地将攻击性评论转换为无攻击性评论，同时更有效地保留用户评论重要信息。
[0006]为了实现上述目的，本专利技术的技术方案如下：一种基于无监督学习的用户攻击性评论风格转换方法，该方法主要包括评论文本双向编码注意力机制、对抗训练和重构损失等过程，能够准确捕捉文本序列上下文信息，保留序列中的核心语义，提高转换后的风格准确率以及内容保留度。该方法主要包括三个步骤，具体如下：
[0007]步骤1，使用双向编码注意力机制获得高保留语义编码。以预处理后的用户评论文
本作为输入，首先使用双向门循环单元(BidirectionalGate Recurrent Unit, BiGRU)对文本进行前向和后向语义编码，接着为每个词向量分配概率权重，使用注意力机制捕捉序列中的长期依赖关系，突出不同词对整篇文本风格的重要性，获得关键上下文向量。
[0008]步骤2，使用生成器
‑
鉴别器模块进行模型对抗训练。首先使用GRURNN作为生成器，即解码器，以双向编码注意力机制中得到的隐层状态向量以及目标风格标签作为输入，计算得到风格转换后的句子向量；接着使用CNN作为鉴别器即分类器，输出转换后句子的风格标签概率分布并反馈给生成器。
[0009]步骤3，循环强化学习构造重构损失。在生成器
‑
鉴别器对抗训练中，定义重构损失和分类损失，一方面通过重构损失衡量生成器的文本生成能力，并对所生成文本施加约束力，保证源句子风格转换后的内容保留度；另一方面优化分类损失函数，衡量转换后文本的风格标签的准确性，表明当前解码器将句子转换为目标风格的有效性。最终获得流畅可读的无攻击性用户评论。
[0010]相对于现有技术，本专利技术的有益效果如下：
[0011]1.该方法提出的UCST
‑
UL模型能够捕捉文本序列的上下文信息，并保留编码过程中的重要语义信息；同时构造循环重构损失和分类损失，保证目标文本的内容保留度以及风格标签准确性。
[0012]2.该方法采用对抗训练方式，在并行语料缺乏的情况下，根据已有语料生成新文本，作为鉴别器的输入；同时，鉴别器的输出则将判别结果返回给生成器，使生成器得到一个有效的反馈信号，提高攻击性文本风格转换的准确率，从而解决文本风格转换中存在的语料匮乏问题。
[0013]3.该方法引入各社交媒体用户攻击性评论风格转换场景，能够有效提升模型的泛化能力，同时提高攻击性评论风格转换的准确率，达到93％
‑
95％的水平。
附图说明
[0014]图1为本专利技术实施例的方法总体框架图。
[0015]图2为本专利技术实施例的方法流程图。
具体实施方式
[0016]为了加深对本专利技术的认识和理解，下面结合具体实施例进一步阐明本专利技术。
[0017]实施例：本专利技术的整体框架和具体流程分别如图1和图2所示，具体实施步骤如下：一种基于无监督学习的用户攻击性评论风格转换方法，所述方法如下，步骤1，使用双向编码注意力机制获得高保留语义编码，具体如下，原始文本在输入层会被转为计算机可理解的向量化表示。假设社交媒体中非攻击性文本数据集为其中m为非攻击性文本数据集X0的大小；攻击性文本为其中n为X1的大小；对应地，文本的风格标签为{S0,S1}。因此，攻击性文本风格转换的数据集为其中表示风格标签为S
i
的第k个句子，N＝m+n为数据集的总大小，i∈{0,1}分别表示风格标签为非攻击性和攻击性。对原始文本进行基于注意力机制的双向编码，该步骤实施过程分为2个子步骤：
[0018]子步骤1
‑
1，使用双向门循环单元BiGRU捕捉文本序列的上下文信息。BiGRU当前时刻t的隐层状态由当前的输入x
t
，上一时刻(t
‑
1)的前向隐层状态输出和后向隐层状态输出三个部分共同决定。因此，BiGRU编码层在t时刻的隐层状态输出可由前向隐层状态和后向隐层状态加权求和得到：
[0019][0020][0021][0022]其中，GRU()函数表示对输入的词向量的非线性变换，把词向量编码成对应的 GRU隐层状态，w
t
和v
t
分别表示t时刻双向GRU所对应的前向隐层状态和后向隐层状态所对应的权重，b
t
表示t时刻隐层状态对应的偏置量。UCST
‑
UL模型将一个句子及其风格标签S
i
作为双向编码器的输入，经过BiGRU从前向和后向对句子进行编码后，可以得到更深层次的上下文之间的语义关系特征。从BiGRU获得了一个隐层状态序列...

【技术保护点】

【技术特征摘要】
1.一种基于无监督学习的用户攻击性评论风格转换方法，其特征在于，所述方法包括以下步骤：步骤1，使用双向编码注意力机制获得高保留语义编码；步骤2，使用生成器
‑
鉴别器模块进行模型对抗训练，步骤3，循环强化学习构造重构损失。2.根据权利要求1所述的基于无监督学习的用户攻击性评论风格转换方法，其特征在于，步骤1，使用双向编码注意力机制获得高保留语义编码；以预处理后的用户评论文本作为输入，首先使用双向门循环单元(BidirectionalGate Recurrent Unit,BiGRU)对文本进行前向和后向语义编码，接着为每个词向量分配概率权重，使用注意力机制捕捉序列中的长期依赖关系，突出不同词对整篇文本风格的重要性，获得关键上下文向量。3.根据权利要求1所述的基于无监督学习的用户攻击性评论风格转换方法，其特征在于，步骤2，使用生成器
‑
鉴别器模块进行模型对抗训练，首先使用GRURNN作为生成器，即解码器，以双向编码注意力机制中得到的隐层状态向量以及目标风格标签作为输入，计算得到风格转换后的句子向量；接着使用CNN作为鉴别器即分类器，输出转换后句子的风格标签概率分布并反馈给生成器。4.根据权利要求1所述的基于无监督学习的用户攻击性评论风格转换方法，其特征在于，步骤3，循环强化学习构造重构损失,在生成器
‑
鉴别器对抗训练中，定义重构损失和分类损失，一方面通过重构损失衡量生成器的文本生成能力，并对所生成文本施加约束力，保证源句子风格转换后的内容保留度；另一方面优化分类损失函数，衡量转换后文本的风格标签的准确性，表明当前解码器将句子转换为目标风格的有效性，最终获得流畅可读的无攻击性用户评论。5.根据权利要求1或2所述的基于无监督学习的用户攻击性评论风格转换方法，其特征在于，步骤1具体如下，原始文本在输入层会被转为计算机理解的向量化表示，假设社交媒体中非攻击性文本数据集为其中m为非攻击性文本数据集X0的大小；攻击性文本为其中n为X1的大小；对应地，文本的风格标签为{S0,S1}，攻击性文本风格转换的数据集为其中表示风格标签为S
i
的第k个句子，N＝m+n为数据集的总大小，i∈{0,1}分别表示风格标签为非攻击性和攻击性，对原始文本进行基于注意力机制的双向编码，该步骤实施过程分为2个子步骤：子步骤1
‑
1，使用双向门循环单元BiGRU捕捉文本序列的上下文信息，BiGRU当前时刻t的隐层状态由当前的输入x
t
，上一时刻(t
‑
1)的前向隐层状态输出和后向隐层状态输出三个部分共同决定，因此，BiGRU编码层在t时刻的隐层状态输出可由前向隐层状态和后向隐层状态加权求和得到：和后向隐层状态加权求和得到：和后向隐层状态加权求和得到：其中，GRU()函数表示对输入的词向量的非线性变换，把词向量编码成对应的GRU隐层
状态，w
t
和v
t
分别表示t时刻双向GRU所对应的前向隐层状态和后向隐层状态所对应的权重，b
t
表示t时刻隐层状态对应的偏置量，UCST
‑
UL模型将一个句子及其风格标签S
i
作为双向编码器的输入，经过BiGRU从前向和后向对句子进行编码后，得到更深层次的上下文之间的语义关系特征，从BiGRU获得了一个隐层状态序列征，从BiGRU获得了一个隐层状态序列子步骤1
‑
2，注意力机制的输入为双向编码器中经过BiGRU神经网络激活处理的输出向量对于当前时刻t某位置输入与输出之间的关联性，写成相应的向量形式且加权点乘后为：对e
kt
进行softmax操作将其正则化得到注意力的分布为：利用注意力分布α
k
进行加权求和可以得到经过注意力机制后的隐层向量，即：其中，W1表示权重系数，b
w
为偏置量；W2表示随机初始化的注意力矩阵。6.根据权利要求5所述的基于无监督学习的用户攻击性评论风格转换方法，其特征在于，步骤2具体如下，步骤2，在生成器
‑

【专利技术属性】
技术研发人员：杨鹏，赵翰林，冷俊成，陈维威，
申请(专利权)人：东南大学，
类型：发明
国别省市：