一种基于RoBERTa模型的情感分析方法及装置制造方法及图纸

本发明专利技术公开了一种基于RoBERTa模型的情感分析方法及装置，属于自然语言处理技术领域，包括获取文本情感分析数据集并进行预处理，得到训练集、验证集和测试集；提取训练集和验证集的评论文本，转换成无标签数据作为RoBERTa模型预训练任务的语料；构建RoBERTa

【技术实现步骤摘要】
一种基于RoBERTa模型的情感分析方法及装置


[0001]本专利技术属于自然语言处理领域，尤其涉及一种基于RoBERTa模型的情感分 析方法及装置。

技术介绍

[0002]随着互联网的推广，用户更加倾向于针对社交媒体或评论网站中公共事件 发表意见，设计基于网络平台中文本评论的情感分析任务，有助于相关方面了 解舆论倾向，掌握与舆论相关的社会事件所带来的影响。情感分析是自然语言 处理中的重要分支，常见形式为基于文本的情感极性分类，属于监督学习任务， 其目的是将来源于实际场景的评论作为输入，预测出他们的情感倾向。情感分 析技术可以用于收集观点，作为反馈信息，具有促进服务社会的实际意义。
[0003]基于传统机器学习的情感分类方法如支持向量机、构建情感词典、朴素贝 叶斯等，需要复杂的特征工程，且模型的精度表现依赖于样本质量。前馈神经 网络模型通过加深隐藏层提升模型对于深层次抽象语义特征的理解能力，但是 仍需要大量人工特征工程。卷积神经网络可以通过卷积窗口提取信息，并经过 多层卷积处理映射成情感类别，循环神经网络可以将不定长度的文本序列映射 成固定长度的词表征。中文网络文本情感分析数据具有情感倾向不强烈，包含 有标签数据量少的特点。基于Transformer编码器的自注意力机制的双向编码 器模型BERT和更具有鲁棒性的预训练模型RoBERTa，通过自监督预训练的域适 应方式、大规模的参数量和训练强度使模型获得强大的特征提取能力和上下文 理解能力，可以在使用此类数据集的情感分析任务取得优于传统深度学习模型 的分类效果。
[0004]依据上述内容，本专利技术提出进一步预训练RoBERTa模型，迁移此模型作为 基础模型外接用于学习长距离依赖独立循环神经网络(Indpendently RecurrentNeturl Network)，引入注意力机制提升计算速度和拟合效果。本专利技术可以针 对如微博、知乎等网民评论和留言，进行有效的情感极性分类。

技术实现思路

[0005]本专利技术为了解决上述缺陷，提出一种基于RoBERTa模型的情感分析方法及 装置。
[0006]为解决上述技术问题，本专利技术所采用的技术方案是：
[0007]一种基于RoBERTa模型的情感分析方法，包括：
[0008]获取情感分析数据集并进行预处理，得到训练集、验证集和测试集；
[0009]提取训练集和验证集中的评论文本转换成无标签数据集；
[0010]构建RoBERTa
‑
WWM
‑
ext模型，将无标签数据集中的评论文本进行随机掩码 处理，得到掩码标志位，再通过对掩码标志位进行词预测的方式训练 RoBERTa
‑
WWM
‑
ext模型，得到训练好的RoBERTa
‑
WWM
‑
ext模型；
[0011]构建双向独立循环神经网络并训练，将完成掩码预测训练任务的 RoBERTa
‑
WWM
‑
ext模型的最后一层隐藏层外接双向独立循环神经网络，得到最终 的情感分析模型，其中，
双向独立循环神经网络需要对双向独立循环神经网络 输出的特征向量进行权重分配；
[0012]获得最终的情感分析模型，将测试集中的评论文本输入情感分析模型进行 情感极性预测，输出情感类别标签。
[0013]本方法的进一步改进在于：所述提取训练集和验证集的评论文本转换成无 标签数据集包括：
[0014]将无标签数据集的格式转换成设定的表格形式。
[0015]本方法的进一步改进在于：所述构建RoBERTa
‑
WWM
‑
ext模型，将无标签文 本进行随机掩码处理，得到掩码标志位，再通过对掩码标志位进行词预测的方 式训练RoBERTa
‑
WWM
‑
ext模型，得到训练好的RoBERTa
‑
WWM
‑
ext模型包括：
[0016]通过掩码预测的预训练过程，更新RoBERTa
‑
WWM
‑
ext模型的参数，为 RoBERTa
‑
WWM
‑
ext模型做情感分析任务时获得更合理的初始化。
[0017]本方法的进一步改进在于：所述构建双向独立循环神经网络并训练，将完 成掩码预测训练任务的RoBERTa
‑
WWM
‑
ext模型的最后一层隐藏层外接双向独立 循环神经网络，得到最终的情感分析模型，其中，双向独立循环神经网络需要 对双向独立循环神经网络输出的特征向量进行权重分配包括：
[0018]样本序列编码为包含词向量、位置向量、段向量的输入序列，将其输入 RoBERTa
‑
WWM
‑
ext模型由多头自注意力机制组成的核心处理层进行特征提取。构 建双向独立循环神经网络，用于处理RoBERTa
‑
WWM
‑
ext模型最后一层 Transformer层输出的全部隐藏向量,结合正向序列和反向序列的特征向量，学 习句子中的长距离依赖信息。
[0019]本方法的进一步改进在于：所述双向独立循环神经网络的结构式为：
[0020]h
t
＝σ(Wx
t
+U
⊙
h
t
‑1+b)
[0021]式中，σ为ReLU激活函数，W为权重矩阵，x
t
代表t时刻的输入，U代表 循环层的权重，h
t
‑1表示t
‑
1时刻的序列输出，b为偏置，运算符
⊙
代表矩阵U和 h
t
‑1对应位置相乘。
[0022]本方法的进一步改进在于：所述权重分配公式为：
[0023][0024]其中，u
i
为隐藏状态信息的非线性化，u
w
是随机初始化注意力矩阵，α
i
用来 计算隐藏层中第i项对于文本序列在情感分析任务的信息相关度。
[0025]本方法的进一步改进在于：所述情感分析模型通过交叉熵函数进行训练， 得到优化后的情感分析模型。
[0026]一种基于RoBERTa模型的情感分析装置，包括：
[0027]获取模块，用于获取评论文本并进行预处理，得到训练集、验证集和测试 集，并提取训练集和验证集的评论文本转换成无标签数据集；
[0028]第一构建模块，用于构建RoBERTa
‑
WWM
‑
ext模型，将无标签数据集中的评 论文本进行随机掩码处理，得到掩码标志位，再通过对掩码标志位进行词预测 的方式训练RoBERTa
‑
WWM
‑
ext模型，得到训练好的RoBERTa
‑
WWM
‑
e本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RoBERTa模型的情感分析方法，其特征在于，包括：获取情感分析数据集并进行数据预处理，得到训练集、验证集和测试集；提取训练集和验证集的评论文本转换成无标签数据集；构建RoBERTa
‑
WWM
‑
ext模型，对无标签数据集中的评论文本进行随机掩码处理，得到掩码标志位，再通过对掩码标志位进行词预测的方式训练RoBERTa
‑
WWM
‑
ext模型，得到训练好的RoBERTa
‑
WWM
‑
ext模型；构建双向独立循环神经网络并训练，将完成掩码预测训练任务的RoBERTa
‑
WWM
‑
ext模型的最后一层隐藏层外接双向独立循环神经网络，得到最终的情感分析模型，其中，双向独立循环神经网络需要对双向独立循环神经网络输出的特征向量进行权重分配；通过最终的情感分析模型进行情感极性预测，将测试集中评论文本输入情感分析模型，输出情感类别标签。2.根据权利要求1所述的一种基于RoBERTa模型的情感分析方法，其特征在于，所述提取训练集和验证集的评论文本转换成无标签文本包括：将无标签数据集的格式转换成设定的表格形式。3.根据权利要求1所述的一种基于RoBERTa模型的情感分析方法，其特征在于，所述构建RoBERTa
‑
WWM
‑
ext模型，将无标签数据集中的评论文本进行随机掩码处理，得到掩码标志位，再通过对掩码标志位进行词预测的方式训练RoBERTa
‑
WWM
‑
ext模型，得到训练好的RoBERTa
‑
WWM
‑
ext模型包括：通过掩码预测的预训练过程，更新RoBERTa
‑
WWM
‑
ext模型的参数，为RoBERTa
‑
WWM
‑
ext模型做情感分析任务时获得更合理的初始化。4.根据权利要求1所述的一种基于RoBERTa模型的情感分析方法，其特征在于，所述构建双向独立循环神经网络并训练，将完成掩码预测训练任务的RoBERTa
‑
WWM
‑
ext模型的最后一层隐藏层外接双向独立循环神经网络，得到最终的情感分析模型，其中，双向独立循环神经网络需要对双向独立循环神经网络输出的特征向量进行权重分配包括：将样本序列编码为包含词向量、位置向量、段向量的输入序列，将其输入RoBERTa
‑
WWM
‑

【专利技术属性】
技术研发人员：侯培国，夏宇同，
申请(专利权)人：燕山大学，
类型：发明
国别省市：