【技术实现步骤摘要】
本专利技术涉及人工智能与教育，特别是涉及一种协作会话情感识别方法、装置、电子设备及存储介质。
技术介绍
1、在线协作学习由于在培养和发展学习者的协作沟通、问题解决、高阶思维等方面能力具有极大优势，已成为当前的一种重要学习范式。在线协作学习常基于视频会议的方式开展会话讨论，以达成问题解决方案或学习目标。然而，由于时空隔离等因素，协作学习过程中学习者易产生困惑、消极等学习情感，会影响协作学习的有效推进和协作学习效果。因此，及时准确地识别协作学习过程中学习者的情感状态十分重要，它能为教师及时制定个性化的情感支持服务提供决策依据。
2、在线方式的优势之一是可将协作学习过程中的交互会话数据记录下来，为教师和管理者深入了解协作学习过程及协作学习效果提供数据基础。但是在传统的在线协作学习开展中，大都是在协作学习结束后通过问卷或人工编码视频的等方法了解学习者的情感状态，进而提出下次协作学习开展的优化策略。显然，传统的协作会话情感分析方法难以及时准确地识别学习情感状态，难以及时给予情感支持。
3、目前开展的在线协作学习活动多依赖于事后的问卷报告或基于专家对协作会话数据进行人工编码，了解学习者在协作学习过程中的情感状态。显然，传统的协作会话情感识别方法耗时耗力，主观性强且滞后。随着在线协作学习活动的大规模普及，传统的情感评价方式会在一定程度上限制了在线协作学习活动的有效、高效开展。随着教育大数据技术的发展，有少量的机构已经开始基于协作会话文本数据进行文本挖掘，以识别协作会话过程中学习者的情感状态。但目前协作会话情感识别模型大
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够结合多通道协作会话数据捕捉会话上下文信息来提高识别学习者情感状态准确性的协作会话情感识别方法、装置、电子设备及存储介质。
2、本专利技术提供了一种协作会话情感识别方法，所述方法包括：
3、获取在线协作学习中的多通道会话行为数据，并基于所述多通道会话行为数据构建包含多模态协作会话数据的协作会话数据集，所述多模态协作会话数据包括文本数据、音频数据以及图像数据；
4、对所述多模态协作会话数据进行清洗，并通过不同的预训练模型分别抽取清洗后的所述多模态协作会话数据中的单模态特征，以将所述单模态特征映射至相同的特征维度空间；
5、构建具有动态上下文窗口且包括两个跨模态情感交互图和一个文本模态图的情感交互图，并在所述文本模态图对应的节点进行特征初始化处理，以引入外部知识增强；
6、将引入外部知识增强的多个所述情感交互图学习到的节点特征进行拼接，得到协作会话节点的融合特征，并将所述融合特征作为会话情感预测层的输入，以每个协作会话节点的情感标签为输出，构建会话情感识别模型；
7、调用所述会话情感识别模型对清洗后的当前多通道会话行为数据进行处理，以识别出所述当前多通道会话行为数据中对应的情感标签；
8、其中，所述外部知识增强为根据学习者的会话密度动态获取的预设的上下文窗口，并基于节点相似度计算初始化跨模态交互图和文本模态的边权重，以及基于图注意力机制更新情感交互图中的节点特征得到的。
9、在其中一个实施例中，所述获取在线协作学习中的多通道会话行为数据，并基于所述多通道会话行为数据构建包含多模态协作会话数据的协作会话数据集，包括：
10、通过音视频采集设备对在线协作学习过程中的会话交互内容进行采集，得到学习者在协作学习过程中的音视频数据；
11、根据所述在线协作学习的不同阶段，对所述音视频数据进行粗粒度分割，并根据不同学习者的会话轮次对所述音视频数据进行进一步分割，得到不同的协作会话阶段。
12、在其中一个实施例中，所述获取在线协作学习中的多通道会话行为数据，并基于所述多通道会话行为数据构建包含多模态协作会话数据的协作会话数据集，还包括：
13、通过音频转录工具对所述不同的协作会话阶段进行处理，以生成并输出每个协作会话阶段对应的会话文本数据；
14、获取具有不同情感标签的所述每个协作会话阶段对应的会话文本数据，所述情感标签用于确定每个协作会话阶段学习者对应的情感状态。
15、在其中一个实施例中，所述对所述多模态协作会话数据进行清洗，并通过不同的预训练模型分别抽取清洗后的所述多模态协作会话数据中的单模态特征，以将所述单模态特征映射至相同的特征维度空间，包括：
16、对所述音视频数据进行关键帧抽取和信号增强与降噪处理，并对所述会话文本数据进行校正，得到清洗后的所述多模态协作会话数据；
17、调用预训练的fast-rcnn、wav2vec2.0和roberta模型作为单模态特征抽取器分别提取清洗后的所述多模态协作会话数据中的图像特征、音频特征和文本特征；
18、分别将所述音频特征和图像特征传入全连接层进行特征维度变换，并将所述文本特征传入双向lstm生成学习文本模态的上下文特征，以使所述多模态协作会话数据中的每个单模态特征映射至同一维度空间，得到对齐后的各模态表征。
19、在其中一个实施例中，所述构建具有动态上下文窗口且包括两个跨模态情感交互图和一个文本模态图的情感交互图，并在所述文本模态图对应的节点进行特征初始化处理，以引入外部知识增强，包括：
20、计算每个学习者在线协作学习过程中的话语密度，并根据学习者的会话密度动态获取的预设的上下文窗口；
21、在每个所述跨模态情感交互图中计算当前节点与另一模态在所述上下文窗口内所有节点的相似度，以获取相似度最高的节点作为所述跨模态情感交互图中当前节点的邻居节点；
22、通过图注意力机制更新聚合所述邻居节点的协作会话信息，并根据不同边的类型和节点之间的依赖更新当前节点的协作会话信息，以引入所述外部知识增强。
23、在其中一个实施例中，所述将引入外部知识增强的多个所述情感交互图学习到的节点特征进行拼接，得到协作会话节点的融合特征，并将所述融合特征作为会话情感预测层的输入，以每个协作会话节点的情感标签为输出，构建会话情感识别模型，包括：
24、基于多个所述跨模态情感交互图对所述多模态协作会话数据生成相应的跨模态情感交互表征，并将所述跨模态情感交互表征进行拼接融合，得到所述融合特征；
25、将所述融合特征作为由全连接层和softmax层组成的所述会话情感预测层的输入，并为每个融合特征输出对应预测的情感标签，以完成对所述会话情感识别模型的构建。
26、在其中一个实施例中，所述方法还包括：
27、获取所述会话情感识别模型的训练目标函数，并通过参数反向传播和随机梯度下降算法进行参数学习，在所述训练目标函数达到最优解时，得到最优模型参数下的所述会话情感识别模型；
28、其中，所述训练目标函数为：<本文档来自技高网...
【技术保护点】
1.一种协作会话情感识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的协作会话情感识别方法，其特征在于，所述获取在线协作学习中的多通道会话行为数据，并基于所述多通道会话行为数据构建包含多模态协作会话数据的协作会话数据集，包括：
3.根据权利要求2所述的协作会话情感识别方法，其特征在于，所述获取在线协作学习中的多通道会话行为数据，并基于所述多通道会话行为数据构建包含多模态协作会话数据的协作会话数据集，还包括：
4.根据权利要求3所述的协作会话情感识别方法，其特征在于，所述对所述多模态协作会话数据进行清洗，并通过不同的预训练模型分别抽取清洗后的所述多模态协作会话数据中的单模态特征，以将所述单模态特征映射至相同的特征维度空间，包括：
5.根据权利要求1所述的协作会话情感识别方法，其特征在于，所述构建具有动态上下文窗口且包括两个跨模态情感交互图和一个文本模态图的情感交互图，并在所述文本模态图对应的节点进行特征初始化处理，以引入外部知识增强，包括：
6.根据权利要求1所述的协作会话情感识别方法，其特征在于，所述将引入外
7.根据权利要求1至6任一项所述的协作会话情感识别方法，其特征在于，所述方法还包括：
8.一种协作会话情感识别装置，其特征在于，所述装置包括：
9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种协作会话情感识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的协作会话情感识别方法，其特征在于，所述获取在线协作学习中的多通道会话行为数据，并基于所述多通道会话行为数据构建包含多模态协作会话数据的协作会话数据集，包括：
3.根据权利要求2所述的协作会话情感识别方法，其特征在于，所述获取在线协作学习中的多通道会话行为数据，并基于所述多通道会话行为数据构建包含多模态协作会话数据的协作会话数据集，还包括：
4.根据权利要求3所述的协作会话情感识别方法，其特征在于，所述对所述多模态协作会话数据进行清洗，并通过不同的预训练模型分别抽取清洗后的所述多模态协作会话数据中的单模态特征，以将所述单模态特征映射至相同的特征维度空间，包括：
5.根据权利要求1所述的协作会话情感识别方法，其特征在于，所述构建具有动态上下文窗口且包括两个跨模态情感交互图和一个文本模态图的情感交...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。