本发明专利技术公开了一种基于脑电信号的图像情感分类方法及系统及装置，从国际情绪图片系统(IASP)中选取图像作为源语料集。采用戴式多通道脑电采集仪器采集记录受试者观看源语料集中的图像刺激时的脑电信号数据。将无刺激下采集的脑电信号的平均值作为参考信号，用每一幅图像出现后1s的脑电信号，分别减去参考信号，得到基线校正后的每种图像对应的脑电信号；利用提取的脑电信号的差分熵特征训练支持向量机模型。针对待分类图像，采集多个用户观看图像时的脑电信号并提取差分熵特征。利用训练好的支持向量机模型对差分熵特征进行分类，得到图像对应的多个用户的情感类别，选取票数最多的作为图像的情感类别。的作为图像的情感类别。的作为图像的情感类别。
【技术实现步骤摘要】
一种基于脑电信号的图像情感分类方法及系统及装置
[0001]本专利技术属于情感识别
，特别是涉及一种基于脑电信号的图像情感分类方法及系统及装置。
技术介绍
[0002]图像情感识别是计算机视觉领域的研究热点，图像情感识别的目的是为了识别图像中包含的诸如快乐、悲伤、愤怒等情感，按照不同的情感类型对图像进行分类，图像情感识别方法在图像分类、舆情分析、广告设计等领域有重要的研究意义。
[0003]现有技术提出的图像情感分类方法包括：首先利用显著性检测网络提取情感图像的显著性图；再通过孪生神经网络实现显著性图的特征图对对应情感图像的特征图的调制，以便于Inception
‑
v4网络对情感图像的情感表达区域更多的关注度，从而有效提高图像情感分类的精度；最后利用Inception
‑
v4网络对经孪生神经网络调制后的调制特征图进行分类，以准确获得对应情感图像的情感类别。
[0004]现有技术提出的图像情感分类方法还包括：利用预训练过的卷积神经网络和颜色直方图，分别提取待分类图像的内容特征和颜色特征；对提取的内容特征和颜色特征进行交叉相关，从而获得增强的内容特征和颜色特征；将增强的内容特征在所有情感类别上的概率分布与增强的颜色特征在所有情感类别上的概率分布通过加权和的方式进行信息再融合，获得情感分类结果。
[0005]现有技术提出的图像情感分类方法还包括：首先通过深度卷积神经网络提取图像整体特征，利用多尺度全卷积神经网络对图像进行显著性检测，进一步得到图像的显著性区域特征，同时仅仅利用图像级别的情感标签，通过类激活映射生成图像的情感分布图并提取情感区域特征。图像显著性区域特征和情感区域特征均视为图像的局部表示，将其与图像的整体特征进一步融合从而得到更具判别性的视觉特征并将其用于视觉情感分类。
[0006]情感识别是一个多学科交叉的研究方向，但现有的图像情感识别方法都未曾引入脑科学领域产生的丰硕研究成果，并且忽略了产生情感的主体是人，图像的内容本身并不蕴含情感，这极大的限制了图像情感识别领域的发展和完善。
技术实现思路
[0007]本专利技术的目的在于提供一种基于脑电信号的图像情感分类方法及装置，以解决上述问题。
[0008]为实现上述目的，本专利技术采用以下技术方案：
[0009]一种基于脑电信号的图像情感分类方法，包括以下步骤：
[0010]步骤1，选取图像：从国际情绪图片系统IASP中选取不同效价维度评分和唤醒维度评分的图像；
[0011]步骤2，采集脑电信号：依据不同效价维度评分和唤醒维度评分，施加不同效价唤醒维度评分范围的刺激，根据每种刺激采集电脑信号；
[0012]步骤3，提取单次脑电信号的差分熵特征，得到与各种图像一一对应的单次脑电信号的差分熵特征；
[0013]步骤4，对单次脑电信号的差分熵特征进行分类；
[0014]步骤5，图像情感分类：针对待分类图像，采集多个受图像刺激的脑电信号，提取出对应的脑电信号的差分熵特征，转换为特征矩阵，利用训练好的支持向量机的模型，对特征矩阵进行分类，得到图像对应的多个情感类别，选取票数最多的作为图像的情感类别。
[0015]进一步的，步骤1中，具体为：
[0016](1a)从国际情绪图片系统IASP中，从效价维度评分0～5、唤醒维度评分0～5的图片中，选取尺寸大小相近的50张图像；
[0017](1b)从国际情绪图片系统IASP中，从效价维度评分0～5、唤醒维度评分5～9的图片中，选取尺寸大小相近的50张图像；
[0018](1c)从国际情绪图片系统IASP中，从效价维度评分5～9、唤醒维度评分0～5的图片中，选取尺寸大小相近的50张图像；
[0019](1d)从国际情绪图片系统IASP中，从效价维度评分5～9、唤醒维度评分5～9的图片中，选取尺寸大小相近的50张图像。
[0020]进一步的，步骤2中，具体为：在实验环境状态下，采用实验范式分别施加4种不同效价唤醒维度评分范围的刺激；使用脑电信号采集系统，分别获取每种刺激对应的脑电信号的时间序列数据。
[0021]进一步的，实验环境状态是指：
[0022]受试者佩戴头戴式多通道脑电采集仪器，进行脑电信号采集；
[0023]实验范式是指：
[0024]1)给受试者呈现黑色的屏幕；
[0025]2)在屏幕中央有一个白色的十字，告知受试者图像视觉刺激即将出现；
[0026]3)将图像展示给受试者，时长为2s；
[0027]4)黑屏呈现给受试者；
[0028]5)重复1～4；
[0029]脑电信号采集系统是指脑电信号采集软件ZhenTecBCIServer；获取每种刺激对应的脑电信号的时间序列数据的方法是通过多个脑电采集通道，采集受试者观看图像刺激源时的脑电信号的时间序列数据。
[0030]进一步的，步骤3中，具体为：
[0031](3a)将无刺激下采集的脑电信号的平均值作为参考信号，用每一幅图像出现后1s的脑电信号，分别减去参考信号，得到基线校正后的每种图像对应的脑电信号；
[0032](3b)将脑电信号降采样至200Hz，用1
‑
75Hz带通滤波器进行滤波处理；
[0033](3c)在delta(1～4Hz)、theta(4～8Hz)、alpha(8～14Hz)、beta(14～31Hz)、gamma(31～50Hz) 频带上提取脑电信号的差分熵特征，得到与各种图像一一对应的单次脑电信号的差分熵特征。
[0034]进一步的，步骤3c中，差分熵特征提取的前提是假设脑电信号服从高斯分布。
[0035]进一步的，步骤4中，具体为：
[0036](4a)对单次脑电信号的差分熵特征转化为32通道，每个通道200采样点的特征矩
阵；
[0037](4b)将特征矩阵输入到支持向量机，训练支持向量机的模型：
[0038][0039]s.t.y
i
(wx
i
+b)≥1 i＝1，2，...，n
[0040](4c)利用训练好的支持向量机的模型，对单次脑电信号的差分熵特征进行分类。
[0041]进一步的，步骤5中，具体为：针对待分类图像，采集多个受图像刺激的脑电信号，并提取出对应的脑电信号的差分熵特征，并转换为5个频道，每个频道32通道，每个通道400采样点的特征矩阵；利用训练好的支持向量机的模型，对特征矩阵进行分类，得到图像对应的多个用户的情感类别，选取票数最多的作为图像的情感类别。
[0042]进一步的，一种基于脑电信号的图像情感分类系统，包括：
[0043]图像选取模块，用于从国际情绪图片系统IASP中选取不同效价维度评分和唤醒维度评分的图像；
[0044]脑电信号采集模块用于依据不同效价维度评分和唤醒维度评分，施加不同效价唤醒维度评分范围的刺激，根据每种刺激采集电脑本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于脑电信号的图像情感分类方法，其特征在于，包括以下步骤：步骤1，选取图像：从国际情绪图片系统IASP中选取不同效价维度评分和唤醒维度评分的图像；步骤2，采集脑电信号：依据不同效价维度评分和唤醒维度评分，施加不同效价唤醒维度评分范围的刺激，根据每种刺激采集电脑信号；步骤3，提取单次脑电信号的差分熵特征，得到与各种图像一一对应的单次脑电信号的差分熵特征；步骤4，对单次脑电信号的差分熵特征进行分类；步骤5，图像情感分类：针对待分类图像，采集多个受图像刺激的脑电信号，提取出对应的脑电信号的差分熵特征，转换为特征矩阵，利用训练好的支持向量机的模型，对特征矩阵进行分类，得到图像对应的多个情感类别，选取票数最多的作为图像的情感类别。2.根据权利要求1所述的一种基于脑电信号的图像情感分类方法，其特征在于，步骤1中，具体为：(1a)从国际情绪图片系统IASP中，从效价维度评分0～5、唤醒维度评分0～5的图片中，选取尺寸大小相近的50张图像；(1b)从国际情绪图片系统IASP中，从效价维度评分0～5、唤醒维度评分5～9的图片中，选取尺寸大小相近的50张图像；(1c)从国际情绪图片系统IASP中，从效价维度评分5～9、唤醒维度评分0～5的图片中，选取尺寸大小相近的50张图像；(1d)从国际情绪图片系统IASP中，从效价维度评分5～9、唤醒维度评分5～9的图片中，选取尺寸大小相近的50张图像。3.根据权利要求1所述的一种基于脑电信号的图像情感分类方法，其特征在于，步骤2中，具体为：在实验环境状态下，采用实验范式分别施加4种不同效价唤醒维度评分范围的刺激；使用脑电信号采集系统，分别获取每种刺激对应的脑电信号的时间序列数据。4.根据权利要求3所述的一种基于脑电信号的图像情感分类方法，其特征在于，实验环境状态是指：受试者佩戴头戴式多通道脑电采集仪器，进行脑电信号采集；实验范式是指：1)给受试者呈现黑色的屏幕；2)在屏幕中央有一个白色的十字，告知受试者图像视觉刺激即将出现；3)将图像展示给受试者，时长为2s；4)黑屏呈现给受试者；5)重复1～4；脑电信号采集系统是指脑电信号采集软件ZhenTecBCIServer；获取每种刺激对应的脑电信号的时间序列数据的方法是通过多个脑电采集通道，采集受试者观看图像刺激源时的脑电信号的时间序列数据。5.根据权利要求1所述的一种基于脑电信号的图像情感分类方法，其特征在于，步骤3中，具体为：(3a)将无刺激下采集的脑电信号的平均值作为参考信号，用每一幅图像出现后1s的脑
电信号，分别减去参考信号，得到基线校正后的每种图像对应的脑电信号；(3b)将脑电信号...
【专利技术属性】
技术研发人员：刘欢，陈栩栩，秦涛，郑庆华，张玉哲，李珂，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。