【技术实现步骤摘要】
本专利技术涉及自然语言处理中的话语情感识别，尤其涉及一种基于softmaxone代理注意力机制的情感识别方法、设备及介质。
技术介绍
1、随着自然语言处理技术的快速发展，对话中的情感识别已经成为热点研究方向，由于网络社交媒体的快速发展，一些通讯平台上存在大量公开对话数据，此外，对话中的情感识别也能促进生成式对话模型对于用户情绪的理解。
2、现有识别对话中的情感主要有三个方面，包括：1.话语本身及其上下文信息；2.说话人信息；3.先前话语中表达的情感。其中有效的获取话语本身以及其上下文信息是这一任务中的核心。现有的一些基于词典的方法，以及一些基于深度学习的方法，往往忽略了特定于会话中的因素，这些方法通常将目光放在如何有效的获取话语本身及其上下文信息，而忽略了特定于对话中的因素，未注重邻近话语包含的上下文信息和有关情绪惯性会随着时间的推移而减少的问题，导致了这些方法的效果不佳。
3、基于上述问题，本专利技术引入代理注意力机制，拥有更大的感受野，通过允许代理注意力机制忽视无关信息减少信息中的噪声，可以帮助自注意力选择性的关注信息，更好的获取特征序列中的上下文信息，改进现有方法的不足。
4、文献号为cn109285562b的专利文献公开本专利技术公开了一种基于注意力机制的语音情感识别方法，该专利技术的方案基于注意力机制的语音情感识别方法，能够提高语音情感识别的性能，方法巧妙新颖，具有良好的应用前景。但其同时存在无法捕捉远距离的上下文信息，利用远距离话语隐含的丰富的全局信息帮助分类缺乏明确情绪话语的问题
技术实现思路
1、本专利技术的目的在于提供一种基于softmaxone代理注意力机制的情感识别方法、设备及介质，可以捕捉远距离的上下文信息，利用远距离话语隐含的丰富信息帮助分类缺乏明确情绪话语。
2、本专利技术实施例提供一种基于softmaxone代理注意力机制的情感识别方法、设备及介质。
3、第一方面：一种基于softmaxone代理注意力机制的情感识别方法，包括：
4、s1、使用预训练语言模型roberta提取上下文无关的话语水平特征向量作为初始文本特征；
5、s2、使用双通道双向lstm模型对初始文本特征进行上下文编码，获取初始上下文信息特征：
6、s3、对初始上下文信息特征进行说话人信息嵌入，输入transformer编码器进行处理后，进行层归一化，获取编码归一化特征序列；
7、s4、利用softmaxone代理注意力机制，选择性添加远距离关注信息到特征序列，获取优化后上下文信息特征；
8、s5、对初始文本特征处理后与优化后上下文信息特征跳跃连接，获取最终信息特征；
9、s6、把最终信息特征送入多层感知器进行情感识别分类。
10、根据权利要求1所述的一种基于softmaxone代理注意力机制的情感识别方法，其特征在于，所述s1中使用预训练语言模型roberta提取上下文无关的话语水平特征向量作为初始文本特征，包括步骤：
11、s11、将一个特殊标记[cls]添加在话语的开头，输出的序列为[cls]，x1，x2，…，xn；
12、s12、将[cls]序列通过模型，然后在一个前馈网络中使[cls]令牌对应的最后一层的激活，将其分类为情感类；
13、s13、将[cls]序列附加的bpe标记化话语传递给它，并从对应于[cls]标记的最后四个层中提取激活；
14、s14、对这四个激活向量进行平均，然后通过一个线性层，获得维数为100的上下文无关的话语水平特征向量，作为初始文本特征ui。
15、可选地，所述s2中使用双通道双向lstm模型对初始文本特征进行上下文编码，获取初始上下文信息特征，包括：
16、使用双通道双向lstm模型对初始文本特征ui进行上下文编码，获取上下文信息向量li，公式表示为：
17、
18、其中，i表示第i个话语样本；ui代表中的上下文无关的文本特征，表示从前向序列获得的输入特征的上下文关系，表示从反向序列获得的输入特征的上下文关系，[·]表示连接操作。
19、可选地，所述s3中对初始上下文信息特征进行说话人信息嵌入，输入transformer编码器进行处理后，进行层归一化，获取编码归一化特征序列，包括步骤：
20、s31、对初始上下文信息特征进行说话人信息嵌入，公式为：
21、lsi＝wpssi+li
22、其中wps表示可学习的权重参数，si是说话人信息，lsi是进行说话人信息嵌入后的特征矩阵；
23、s32、将特征矩阵lsi输入transformer编码器进行处理，然后进行层归一化，获取编码归一化特征序列ti，公式表示为：
24、ti＝layernorm(te(li))
25、其中，te代表transformer编码器，layernorm代表层归一化。
26、可选地，所述s4中利用softmaxone代理注意力机制，选择性添加远距离关注信息到特征序列，获取优化后上下文信息特征；包括：
27、获得改进后softmaxone，添加到代理注意力机制中，获取优化后特征序列中的上下文信息特征，公式表示为：
28、
29、其中，ci代表输出的优化后上下文信息特征，b1，b2是偏置，dwc(vi)表示深度卷积函数，qi＝wqti，ki＝wkti，vi＝wvti，ai＝pool(qi)代表代理向量，wq，wk，wv代表可学习权重矩阵，dk＝dt/h，dt表示ti的维度数。
30、可选地，所述改进后softmaxone，公式表示为：
31、
32、其中，x代表一个k维向量，xj代表第j个元素；
33、可选地，所述s5中对初始文本特征处理后与优化后上下文信息特征跳跃连接，获取最终信息特征，包括：
34、将初始文本特征ui通过全连接层改变特征尺度并经过层归一化后得到特征bi，公式表示为：
35、bi＝(layernorm(fc(ui))
36、其中，fc代表全连接层，ui是原始的文本特征，layernorm表示层归一化；
37、采用跳跃连接的方式将特征bi和优化后上下文信息特征ci相加并再次通过层归一化生成最终信息特征，公式表示为：
38、ei＝(layernorm(bi+ci))
39、其中，ci是来自代理注意力机制的输出，+代表矩阵加法，layernrom表示层归一化。
40、可选地，所述s6中把最终信息特征送入多层感知器进行情感识别分类，包括：
41、把最终信息特征ei送入多层感知器mlp中，进行情感识别分类，公式表示为：
42、li＝sigmoid(wlei+bl)
43、pi＝softmax(ws本文档来自技高网...
【技术保护点】
1.一种基于SoftmaxOne代理注意力机制的情感识别方法，其特征在于，包括步骤：
2.根据权利要求1所述的一种基于SoftmaxOne代理注意力机制的情感识别方法，其特征在于，所述S1中使用预训练语言模型RoBERTa提取上下文无关的话语水平特征向量作为初始文本特征，包括步骤：
3.根据权利要求2所述的一种基于SoftmaxOne代理注意力机制的情感识别方法，其特征在于，所述S2中使用双通道双向LSTM模型对初始文本特征进行上下文编码，获取初始上下文信息特征，包括：
4.根据权利要求3所述的一种基于SoftmaxOne代理注意力机制的情感识别方法，其特征在于，所述S3中对初始上下文信息特征进行说话人信息嵌入，输入Transformer编码器进行处理后，进行层归一化，获取编码归一化特征序列，包括步骤：
5.根据权利要求4所述的一种基于SoftmaxOne代理注意力机制的情感识别方法，其特征在于，所述S4中利用SoftmaxOne代理注意力机制，选择性添加远距离关注信息到特征序列，获取优化后上下文信息特征；包括：
6.根
7.根据权利要求5所述的一种基于SoftmaxOne代理注意力机制的情感识别方法，其特征在于，所述S5中对初始文本特征处理后与优化后上下文信息特征跳跃连接，获取最终信息特征，包括：
8.根据权利要求7所述的一种基于SoftmaxOne代理注意力机制的情感识别方法，其特征在于，所述S6中把最终信息特征送入多层感知器进行情感识别分类，包括：
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8中任一项所述的一种基于SoftmaxOne代理注意力机制的情感识别方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8中任一项所述的一种基于SoftmaxOne代理注意力机制的情感识别方法的步骤。
...【技术特征摘要】
1.一种基于softmaxone代理注意力机制的情感识别方法，其特征在于，包括步骤：
2.根据权利要求1所述的一种基于softmaxone代理注意力机制的情感识别方法，其特征在于，所述s1中使用预训练语言模型roberta提取上下文无关的话语水平特征向量作为初始文本特征，包括步骤：
3.根据权利要求2所述的一种基于softmaxone代理注意力机制的情感识别方法，其特征在于，所述s2中使用双通道双向lstm模型对初始文本特征进行上下文编码，获取初始上下文信息特征，包括：
4.根据权利要求3所述的一种基于softmaxone代理注意力机制的情感识别方法，其特征在于，所述s3中对初始上下文信息特征进行说话人信息嵌入，输入transformer编码器进行处理后，进行层归一化，获取编码归一化特征序列，包括步骤：
5.根据权利要求4所述的一种基于softmaxone代理注意力机制的情感识别方法，其特征在于，所述s4中利用softmaxone代理注意力机制，选择性添加远距离关注信息到特征序列，获取优化后上下文信息特征...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。