基于视频回溯的连续情绪标注方法、系统和电子设备技术方案

本发明专利技术实施例提供一种基于视频回溯的连续情绪标注方法、系统和电子设备。该方法包括：利用诱发模块从情绪诱发素材库中选取多种情绪的诱发素材向被试者进行播放，通过脑电信号收集模块采集被试者观看诱发素材时的脑电信号；通过特征提取模块从脑电信号确定线性平滑的连续脑电特征；利用视频回溯模块引导被试者主动对诱发素材的回溯视频进行情绪诱发的连续打分标注，情绪标注模块记录被试者标注与诱发素材时间对应的情绪诱发程度；基于连续脑电特征以及情绪诱发程度确定诱发素材的连续情绪标注。本发明专利技术实施例采用连续情绪标注方法使情绪与视频实时对应，连续情绪标签可以反馈被试情绪的连续波动，使确定的情绪标签更加准确，降低情绪标注的误差。降低情绪标注的误差。降低情绪标注的误差。

【技术实现步骤摘要】
基于视频回溯的连续情绪标注方法、系统和电子设备


[0001]本专利技术涉及情感脑机接口
，尤其涉及一种基于视频回溯的连续情绪标注方法、系统和电子设备。

技术介绍

[0002]情绪是人类日常生活中重要的组成部分，它能反映人的认知状况、影响人的心理、行为。随着人工智能领域和人机交互的飞速发展，有更多领域的更加人性化的智能助手来辅助人们的生活。为了进一步提高使用体验，会让智能助手具有理解人类情绪的能力。为了使其能够学习到人类在不同状态下的情绪，就需要足够的人类在不同状态下的带有情绪标注的脑电信号来学习，其中，脑电信号是人类重要的中枢神经系统的生理信号，且具有较强的情绪表征能力。
[0003]通常利用情绪诱发来获取人们的带有情绪的脑电信号，其中，情绪诱发是社会心理学实验中利用情绪诱发素材激活被试人的相应情绪。通常会让被试者观看视频或图片，在观看的过程中采集被试者的脑电及其他模态的生理信号。被试者在观看完一段视频素材后通过问卷量表填写对于视频素材的主观感受，一般只记录一个分值。这个分值或这段视频本身自带的标签属性将作为整段脑电及其他生理信号数据对应的标签，例如，给被试者观看快乐情绪的视频，被试者观看完视频后的主观感受评价的分值较高，此时将被试者观看快乐情绪的视频的脑电信号标注为快乐情绪标签。
[0004]在实现本专利技术过程中，专利技术人发现相关技术中至少存在如下问题：
[0005]对于一段视频来说，使用单一情绪离散标签概括3
‑
5分钟的情绪变化，由于人在观看视频的过程中并不会始终保持相同的情绪，这会导致部分数据的标签错误或分数误差较大。即只有在部分时间段中，给出的离散标签才能代表被试的情绪状态，其他时间的情绪状态则不能使用这个离散标签进行描述。而使用一次性的效价、唤醒度、优势度打分，同样会导致很大一部分的真实情绪状态的分数误差较大。这些方式都将直接导致模型的输入数据存在较多的标签噪声，从而使模型不能够学习到数据中和情绪相关的部分。具体的，视频可能并不只会给人们带来一种情绪，例如“气到发笑”、“乐极生悲”、“感动到哭”的视频。假设被试者观看快乐情绪标签的“过年”视频，理想情况下，被试者此时的脑电信号的情绪标注应该为快乐情绪。在“过年”视频播放过程中，被试者感受到了过年的喜庆和快乐，然而在“过年”视频的结尾部分，视频进行了感情升华，此时被试者不幸因某些原因没有回家过年，无法与家人团聚，此时一丝辛酸悲伤涌上心头。此时被试者的脑电信号中既有快乐情绪，又有在结尾部分的悲伤情绪。如果将该脑电信号标注为快乐情绪标签是不准确的，利用情绪标签不准确的脑电信号训练的模型也难以准确识别人类情绪，使模型的学习能力较低。

技术实现思路

[0006]为了至少解决现有技术脑电信号情绪标注的问题。第一方面，本专利技术实施例提供一种基于视频回溯的连续情绪标注方法，包括：
[0007]利用诱发模块从情绪诱发素材库中选取多种情绪的诱发素材向被试者进行播放，通过脑电信号收集模块采集所述被试者观看所述诱发素材时的脑电信号；
[0008]通过特征提取模块从所述脑电信号中提取频域信号的能量谱，基于所述能量谱确定线性平滑的连续脑电特征；
[0009]在所述被试者观看所述诱发素材结束后，利用视频回溯模块引导所述被试者主动对所述诱发素材的回溯视频进行情绪诱发的连续打分标注，通过情绪标注模块记录所述被试者标注的与所述诱发素材时间对应的情绪诱发程度；
[0010]基于所述连续脑电特征以及所述情绪诱发程度确定所述诱发素材的连续情绪标注。
[0011]第二方面，本专利技术实施例提供一种基于视频回溯的连续情绪标注系统，包括：
[0012]视频诱发模块，用于从情绪诱发素材库中选取多种情绪的诱发素材向被试者进行播放；
[0013]脑电信号收集模块，用于采集所述被试者观看所述诱发素材时的脑电信号；
[0014]预处理模块，用于对所述脑电信号进行预处理；
[0015]特征提取模块，用于从所述脑电信号中提取频域信号的能量谱，基于所述能量谱确定线性平滑的连续脑电特征；
[0016]视频回溯模块，用于引导所述被试者主动对所述诱发素材的回溯视频进行情绪诱发的连续打分标注；
[0017]情绪标注模块，用于记录所述被试者标注的与所述诱发素材时间对应的情绪诱发程度，基于所述连续脑电特征以及所述情绪诱发程度确定所述诱发素材的连续情绪标注。
[0018]第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例的基于视频回溯的连续情绪标注方法的步骤。
[0019]第四方面，本专利技术实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本专利技术任一实施例的基于视频回溯的连续情绪标注方法的步骤。
[0020]本专利技术实施例的有益效果在于：采用连续情绪标注方法使情绪与视频实时对应，连续情绪标签可以反馈被试情绪的连续波动，使确定的情绪标签更加准确，降低情绪标注的误差，使得在脑电及其他生理信号对情绪诱发的研究中，使用本方法的情绪标注进行训练能够有效提高模型对情绪识别的准确性。
附图说明
[0021]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1是本专利技术一实施例提供的一种基于视频回溯的连续情绪标注方法的流程图；
[0023]图2是本专利技术一实施例提供的一种基于视频回溯的连续情绪标注方法的一名被试
者的连续情绪标注结果示意图；
[0024]图3是本专利技术一实施例提供的一种基于视频回溯的连续情绪标注方法的多名被试者的连续情绪标注结果示意图；
[0025]图4是本专利技术一实施例提供的一种基于视频回溯的连续情绪标注方法的基于阈值对数据筛选前后各被试者不同频带的分类数据图；
[0026]图5是本专利技术一实施例提供的一种基于视频回溯的连续情绪标注系统的结构示意图；
[0027]图6为本专利技术一实施例提供的一种基于视频回溯的连续情绪标注的电子设备的实施例的结构示意图。
具体实施方式
[0028]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]如图1所示为本专利技术一实施例提供的一种基于视频回溯的连续情绪标注方法的流程图，包括如下步骤：
[0030]S本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频回溯的连续情绪标注方法，包括：利用诱发模块从情绪诱发素材库中选取多种情绪的诱发素材向被试者进行播放，通过脑电信号收集模块采集所述被试者观看所述诱发素材时的脑电信号；通过特征提取模块从所述脑电信号中提取频域信号的能量谱，基于所述能量谱确定线性平滑的连续脑电特征；在所述被试者观看所述诱发素材结束后，利用视频回溯模块引导所述被试者主动对所述诱发素材的回溯视频进行情绪诱发的连续打分标注，通过情绪标注模块记录所述被试者标注的与所述诱发素材时间对应的情绪诱发程度；基于所述连续脑电特征以及所述情绪诱发程度确定所述诱发素材的连续情绪标注。2.根据权利要求1所述的方法，其中，在所述通过特征提取模块从所述脑电信号中提取频域信号的能量谱之前，所述方法还包括：通过滤波去除所述脑电信号中的50Hz交流电源噪音以及利用1
‑
75Hz带通滤波器去除所述脑电信号中的无效信号，得到滤波处理后的脑电信号；对所述滤波处理后的脑电信号进行坏导联的标记及修复，并去除眼电、肌电噪音，得到预处理后的脑电信号。3.根据权利要求1所述的方法，其中，所述通过特征提取模块从所述脑电信号中提取频域信号的能量谱，基于所述能量谱确定线性平滑的连续脑电特征包括：通过特征提取模块对所述脑电信号进行快速傅里叶变换，将所述脑电信号的时域信号转变为多个频域信号，基于所述多个频域信号的频谱确定对应的能量谱；计算所述能量谱的微分熵特征，对所述微分熵特征进行线性动力系统平滑处理，得到线性平滑的连续脑电特征。4.根据权利要求3所述的方法，其中，所述多个频域信号的频谱包括：delta频谱、theta频谱、alpha频谱、beta频谱、gamma频谱。5.根据权利要求1所述的方法，其中，所述利用视频回溯模块引导所述被试者主动对所述诱发素材的回溯视频进行情绪诱发的连续打分标注包括：引导所述被试者...

【专利技术属性】
技术研发人员：吕宝粮，赵黎明，
申请(专利权)人：上海零唯一思科技有限公司，
类型：发明
国别省市：