【技术实现步骤摘要】
本专利技术涉及线上医疗，特别是关于一种隐式情感分析方法及装置。
技术介绍
1、在当今数字化社会，随着人们对心理健康的关注不断增加，传统的线下医疗服务面临着医疗资源不足和交通出行不便等挑战。为解决这些问题，线上心理健康医生系统应运而生，这让患者不再受时间和地点的限制，根据个人情感特点和需求，提供更为个性化的治疗方案和心理支持。
2、随着人工智能、自然语言处理技术的不断发展，为情感分析提供了更加丰富的方法和可靠的理论依据。例如，采用集成有人工学习模型的机器，采集患者线上的文本信息，通过分析机器仿效人类感知和理解情感的能力，理解文本中携带的情感分析。
3、然而，本专利技术的专利技术人在研究中发现，现有基于文本的自然语言处理模型，一般仅能较好的理解句子的字面信息所表达的情感信息，而难以捕捉人的明确的隐式情感，进而难以确定人真实的情感倾向。
4、因此，有必要提供能提高隐式情感分析的准确率的模型、装置或者方法。
技术实现思路
1、针对上述问题，本申请的目的是提供一种隐式情感分析方法及装置，能够获取线上用户的原始数据，针对原始数据进行多模态特征的提取和融合，基于预设特征融合策略得到的融合特征预测用户的隐式情感倾向分类结果，提高分析预测的准确性。
2、为实现上述目的，本申请采取以下技术方案：
3、第一方面，本申请提供一种隐式情感分析方法，所述方法包括：
4、获取线上用户的原始数据，并对所述原始数据进行预处理；
5、
6、将所述预设种类的多模态的数据特征按照预设融合策略进行特征融合，得到融合后的数据特征，并根据所述融合后的数据特征进行线上用户的隐式情感的分类预测，得到隐式情感分类结果；
7、输出所述隐式情感分类结果。
8、在本专利技术的一种实现方式中，所述原始数据为视频数据；
9、所述预设种类的多模态的数据特征，包括文本特征、语音特征和视觉特征。
10、在本专利技术的一种实现方式中，所述预设融合策略，包括：
11、采用多头注意力机制，将所述文本特征和所述语音特征，以及所述文本特征和所述视觉特征进行双峰融合，分别得到文本-语音融合特征和文本-视觉融合特征；
12、将所述文本特征、所述文本-语音融合特征、所述文本-视觉融合特征，基于交叉注意力机制进行深度融合，得到所述融合后的数据特征。
13、本专利技术还提供一种隐式情感分析装置，包括：数据预处理模块、多模态特征提取模块、特征融合模块以及情感分析结果展示模块；
14、所述数据预处理模块，用于获取线上用户的原始数据，并对所述原始数据进行预处理；
15、所述多模态特征提取模块，用于基于预处理后的数据，提取预设种类的多模态的数据特征；
16、所述特征融合模块，用于将所述预设种类的多模态的数据特征按照预设融合策略进行特征融合，得到融合后的数据特征，并根据所述融合后的数据特征进行线上用户的隐式情感的分类预测，得到隐式情感分类结果；
17、所述情感分析结果展示模块，用于输出所述隐式情感分类结果。
18、在本专利技术的一种实现方式中，所述多模态特征提取模块，包括：文本特征提取模块、语音特征提取模块和视觉特征提取模块，分别用于提取文本特征、语音特征和视觉特征。
19、在本专利技术的一种实现方式中，所述特征融合模块，包括文本-语音多头互注意机制模块、文本-视觉多头互注意机制模块，以及交叉注意融合模块；
20、所述文本-语音多头互注意机制模块和所述文本-视觉多头互注意机制模块，用于采用多头注意力机制，将所述文本特征和所述语音特征，以及所述文本特征和所述视觉特征进行双峰融合，分别得到文本-语音融合特征和文本-视觉融合特征；
21、所述交叉注意融合模块，将所述文本特征、所述文本-语音融合特征、所述文本-视觉融合特征，基于交叉注意力机制进行深度融合，得到所述融合后的数据特征。
22、在本专利技术的一种实现方式中，所述特征融合模块，在融合文本特征、语音特征以及视觉特征前，还用于进行文本与语音，以及文本与视觉的线性特征维度匹配。
23、在本专利技术的一种实现方式中，所述特征融合模块，还用于按照获取的每个时间步的文本特征与语音、视觉特征进行匹配，获得语音、视觉和文本的交互特征的最终表示计算过程如下所示：
24、
25、其中，h表示多头注意力机制中头部的个数，表示第h个注意力头部的可训练权重矩阵，为缩放因子。
26、在本专利技术的一种实现方式中，所述交叉注意融合模块的计算过程为：
27、(1)计算文本特征强化，计算过程如下所示：
28、
29、其中，和xt是coran的输入，且k＝xtwk、v＝x(a,v)w(a,v)分别表示交叉注意力机制的查关键字和值；
30、(2)计算深度融合计算权重，将文本嵌入表示作为查询向量与文本特征xt进行深度融合计算权重，获得增强后的文本特征输出计算过程如下所示：
31、
32、(3)计算注意力得分，将增强特征输出和xv→t拼接，通过线性映射得到降维特征，并使用tanh和softmax激活函数获得最终的注意力得分，计算过程如下所示：
33、
34、在本专利技术的一种实现方式中，情感分析结果展示模块的具体处理过程为：
35、(1)计算隐式情感概率：将最终的融合隐式多模态特征o输入到全连接层中，使用softmax激活函数计算情感标签，计算过程如下：
36、y＝softmax(woo+bo)
37、其中，wo和bo表示预测层的可训练参数；
38、(2)使用交叉熵损失函数来计算预测标签与真实标签之间的损失，并借助均方误差函数来度量融合后的特征与真实标签之间的差异；情感分析任务的损失表达式如下：
39、
40、其中，n为训练样本数，y为情感分类预测输出，为真实情感标签，i为和y值的指数；
41、关于辅助任务特征融合策略的损失定义如下：
42、
43、其中，fi和分别表示多模态特征融合的模型输出和真实标签；
44、总损失是情感分析任务lsentiment和辅助任务lfusion的加权和：
45、ljoint＝α·lsentiment+β·lfusion+γ·r
46、其中，α、β和γ是损失的权重。
47、本专利技术由于采取以上技术方案，其具有以下优点：
48、1、本专利技术在中文隐式情感分析中引入了多模态特征，利用语音和视觉特征辅助文本分析，有效地提高了隐式情感分析的准确率。2、创建了一个新颖且稀缺的隐式多模态数据集mumeta，以弥补隐式多模态数据集的不足。该数据集为隐式文本提供有价值的多模态训练数据，以便从多本文档来自技高网...
【技术保护点】
1.一种隐式情感分析方法，其特征在于，所述方法包括：
2.根据权利要求1所述的隐式情感分析方法，其特征在于，所述原始数据为视频数据；
3.根据权利要求2所述的隐式情感分析方法，其特征在于，所述预设融合策略，包括：
4.一种隐式情感分析装置，其特征在于，包括：数据预处理模块、多模态特征提取模块、特征融合模块以及情感分析结果展示模块；
5.根据权利要求4所述的隐式情感分析装置，其特征在于，所述多模态特征提取模块，包括：文本特征提取模块、语音特征提取模块和视觉特征提取模块，分别用于提取文本特征、语音特征和视觉特征。
6.根据权利要求5所述的隐式情感分析装置，其特征在于，所述特征融合模块，包括文本-语音多头互注意机制模块、文本-视觉多头互注意机制模块，以及交叉注意融合模块；
7.根据权利要求6所述的隐式情感分析装置，其特征在于，所述特征融合模块，在融合文本特征、语音特征以及视觉特征前，还用于进行文本与语音，以及文本与视觉的线性特征维度匹配。
8.根据权利要求7所述的隐式情感分析装置，其特征在于，所述特征融
9.根据权利要求8所述的隐式情感分析装置，其特征在于，所述交叉注意融合模块的计算过程为：
10.根据权利要求9所述的隐式情感分析装置，其特征在于，情感分析结果展示模块的具体处理过程为：
...【技术特征摘要】
1.一种隐式情感分析方法，其特征在于，所述方法包括：
2.根据权利要求1所述的隐式情感分析方法，其特征在于，所述原始数据为视频数据；
3.根据权利要求2所述的隐式情感分析方法，其特征在于，所述预设融合策略，包括：
4.一种隐式情感分析装置，其特征在于，包括：数据预处理模块、多模态特征提取模块、特征融合模块以及情感分析结果展示模块；
5.根据权利要求4所述的隐式情感分析装置，其特征在于，所述多模态特征提取模块，包括：文本特征提取模块、语音特征提取模块和视觉特征提取模块，分别用于提取文本特征、语音特征和视觉特征。
6.根据权利要求5所述的隐式情感分析装置，其特征在于，所述特征融合模块，包括文本-语音多头...
【专利技术属性】
技术研发人员：张换香，李梦云，张晓琳，张景，薛春江，许威，
申请(专利权)人：内蒙古科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。