System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 情绪诱发素材集生成方法、情绪识别方法及系统技术方案_技高网

情绪诱发素材集生成方法、情绪识别方法及系统技术方案

技术编号:40421996 阅读:9 留言:0更新日期:2024-02-20 22:41
本申请实施例提供一种情绪诱发素材集生成方法、情绪识别方法及系统,涉及情感脑机接口技术领域,其中该情绪诱发素材集生成方法包括:获取游戏动画视频;从所述游戏动画视频中提取多个游戏动画视频片段;确定各个所述游戏动画视频片段所对应的视频情绪标签;根据各个具有对应的视频情绪标签的游戏动画视频片段,生成情绪诱发素材集。由此,选择以游戏动画视频作为情绪诱发素材的数据来源,扩大了情绪诱发素材集的多样性和有效性,有助于提高对未来素材库的更新迭代,进而保障情绪刺激效果。

【技术实现步骤摘要】

本申请涉及情感脑机接口,尤其涉及一种情绪诱发素材集生成方法、情绪识别方法、系统、电子设备及存储介质。


技术介绍

1、情绪识别在情感脑机接口和智能助手的交互中,能够准确识别用户的情绪,有助于智能助手提供更加人性化的智能服务来辅助人们的生活。为了保障情绪脑机接口的性能,需要通过大量的诱发素材对情感脑机接口进行验证和优化。

2、目前,被广泛使用的情感脑电数据集是seed系列情感脑电数据集,通过使用电影片段作为情绪诱发素材,结合视觉听觉的刺激可较好的诱发对应的情绪。然而,其中较多素材涉及电影版权问题,而在实际应用以及未来商用推广之后会受到诸多限制。

3、针对上述问题,目前业界暂未提出较佳的解决方案。


技术实现思路

1、本申请提供一种情绪诱发素材集生成方法、情绪识别方法、系统、电子设备及存储介质,用以至少解决现有技术中情感诱发素材的素材源途径受限的问题。

2、第一方面,本申请实施例提供一种情绪诱发素材集生成方法,包括:获取游戏动画视频;从所述游戏动画视频中提取多个游戏动画视频片段;确定各个所述游戏动画视频片段所对应的视频情绪标签;根据各个具有对应的视频情绪标签的游戏动画视频片段,生成情绪诱发素材集。

3、第二方面,本申请实施例提供一种情绪识别方法,包括:获取待识别的目标生理信号数据;所述生理信号数据是被试者在观看情绪诱发素材集期间所产生的;所述情绪诱发素材集中的每一所述情绪诱发素材包括游戏动画视频片段和相应的视频情绪标签;基于情绪识别模型,识别所述目标生理信号数据所对应的生理情绪类别;所述情绪识别模型采用域对抗神经网络。

4、第三方面,本申请实施例提供一种情绪诱发素材集生成系统,包括:视频获取单元,用于获取游戏动画视频;片段提取单元,用于从所述游戏动画视频中提取多个游戏动画视频片段;标签确定单元,用于确定各个所述游戏动画视频片段所对应的视频情绪标签;素材集生成单元,用于根据各个具有对应的视频情绪标签的游戏动画视频片段,生成情绪诱发素材集。

5、第四方面,本申请实施例提供一种情绪识别系统,包括:生理数据获取单元,用于获取待识别的目标生理信号数据;所述生理信号数据是被试者在观看情绪诱发素材集期间所产生的;所述情绪诱发素材集中的每一所述情绪诱发素材包括游戏动画视频片段和相应的视频情绪标签;生理情绪识别单元,用于基于情绪识别模型,识别所述目标生理信号数据所对应的生理情绪类别;所述情绪识别模型采用域对抗神经网络。

6、第五方面,提供一种电子设备,其包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请任一实施例的情绪诱发素材集生成方法或情绪识别方法的步骤。

7、第六方面,本申请实施例提供一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现本申请任一实施例的情绪诱发素材集生成方法或情绪识别方法的步骤。

8、本申请实施例的有益效果在于:

9、通过从游戏动画视频中提取多个游戏动画视频片段,并分配相应的视频情绪标签,进而得到情绪素材集。由此,选择以游戏动画视频作为情绪诱发素材的数据来源,扩大了情绪诱发素材集的多样性和有效性,有助于提高对未来素材库的更新迭代,进而最终保障情绪诱发素材集的情绪刺激效果。

10、另外,通过采用域对抗神经网络来识别目标生理信号数据所对应的生理情绪类别,利用迁移学习方式,尤其是域适应(domain-adversarial,da)方式,利用源域的标记数据并通过学习两个领域之间的映射,微调弥合在进行更换受试者时被试独立测试的域特征偏移,优化对目标领域的分类,有效提高了生理情绪类别的识别结果的精确度。

本文档来自技高网...

【技术保护点】

1.一种情绪诱发素材集生成方法,包括:

2.根据权利要求1所述的方法,其中,所述根据各个具有对应的视频情绪标签的游戏动画视频片段,生成情绪诱发素材集,包括:

3.根据权利要求1所述的方法,其中,在根据各个具有对应的视频情绪标签的游戏动画视频片段,生成情绪诱发素材集之前,所述方法还包括:

4.一种情绪识别方法,包括:

5.根据权利要求4所述的方法,其中,所述目标生理信号数据为多模态生理数据;所述情绪识别模型包含基于Transformer的特征提取器,所述特征提取器包含多个编码器层,每一所述编码器层包含多头自注意力模块和前馈模块。

6.根据权利要求4或5所述的方法,其中,所述目标生理信号数据包含针对被试者对应连续采样时间的脑电信号序列和眼动数据序列,

7.根据权利要求6所述的方法,其中,针对所述情绪识别模型的训练过程包括:

8.根据权利要求7所述的方法,其中,所述根据所述源域特征和所述目标域特征,确定所述情绪识别模型的综合损失函数,包括:

9.一种情绪诱发素材集生成系统,包括:

>10.一种情绪识别系统,包括:

11.一种电子设备,其包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述方法的步骤。

12.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-8中任一项所述方法的步骤。

...

【技术特征摘要】

1.一种情绪诱发素材集生成方法,包括:

2.根据权利要求1所述的方法,其中,所述根据各个具有对应的视频情绪标签的游戏动画视频片段,生成情绪诱发素材集,包括:

3.根据权利要求1所述的方法,其中,在根据各个具有对应的视频情绪标签的游戏动画视频片段,生成情绪诱发素材集之前,所述方法还包括:

4.一种情绪识别方法,包括:

5.根据权利要求4所述的方法,其中,所述目标生理信号数据为多模态生理数据;所述情绪识别模型包含基于transformer的特征提取器,所述特征提取器包含多个编码器层,每一所述编码器层包含多头自注意力模块和前馈模块。

6.根据权利要求4或5所述的方法,其中,所述目标生理信号数据包含针对被试者对应连续采样时间的脑电信号序列和眼动数据...

【专利技术属性】
技术研发人员:吕宝粮赵黎明
申请(专利权)人:上海零唯一思科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1