本发明专利技术公布了一种基于心电信号与语音信号的双模态情感识别方法，所述方法包括如下步骤：（１）情感数据的采集；（２）情感特征的提取；（３）判决层融合算法：（３－１）待识别的情感类别包括烦躁、喜悦和平静三个类别，对语音与心电分类器均采用高斯混合模型（ＧＭＭ）来进行每种情感类别的概率模型的训练，高斯混合模型是成员密度的加权和；（４）特征层融合算法：（４－１）采用ＰＣＡ方法进行语音特征与心电特征的融合与降维；（４－２）采用（３－１）中所述的高斯混合模型进行训练与识别。本发明专利技术融合心电和语音进行双模态情感识别；提取心电的混沌特征进行情感识别；识别性能高。
【技术实现步骤摘要】
本专利技术涉及一种语音识别方法，特别涉及一种基于心电信号与语音信号的双模态 情感识别方法。
技术介绍
自动情感识别是通过模式识别的理论和方法从反映情感变化的生物信号数据中 识别内在的情感状态。目前情感识别向多模态方向发展，单一的依靠表情、语音或者生理参 数来进行情感识别的研究取得了一定的成果，但是如何将这些不同性质的情感信号融合， 达到识别性能上的互补，建立一个鲁棒性强、识别率高的系统需要进一步的研究。 $ * 胃 _ t fr， ^"Bimodal fusion of emotional data in an automotiveenvironment”一文中，S. Hoch等人通过融合语音与表情信息在车载环境下进行 了正面(愉快)、负面(愤怒)与平静等三类情感状态的识别。在“Analysis of emotion recognitionusing facial expressions, speech and multimodal information，，一文中， C. Busso等人分析了单一的语音情感识别与人脸表情识别在识别性能上的互补性，分别通 过特征层融合与决策层融合进行基于多模态信息的情感识别。在“From physiological signalsto emotions implementing and comparing selected methods for feature extractionand classification”一文中，J. Wagner等人融合了肌动电流、心电、皮肤电阻、 呼吸等四个通道的生理参数，获得了 92%的融合识别率。目前，心电情感识别和语音情感识 别是分别开来进行的，融合心电信号和语音信号的双模态情感识别方法还没有得到研究， 心电信息与语音信息之间的互补优势没有在情感识别中得到充分的利用。
技术实现思路
本专利技术目的是解决单模态情感识别方法的识别率不高的缺陷，提供一种基于心电 信号与语音信号的双模态情感识别方法。本专利技术为实现上述目的，采用如下技术方案本专利技术基于心电信号与语音信号的双模态情感识别方法，包括如下步骤(1)情感数据的采集；(2)情感特征的提取；其特征在于还包括如下步骤(3)判决层融合算法(3-1)待识别的情感类别包括烦躁、喜悦和平静三个类别，对语音与心电分类器均 采用高斯混合模型(GMM)来进行每种情感类别的概率模型的训练，高斯混合模型是成员密 度的加权和，表示如下MPiXt^ = YjaMXt)⑴这里Xt是D维随机向量，对应输入的待识别样本，t为样本的序号；bi(X)，i = 1，2，...，M是成员密度；i = 1，2，. . .，M是混合权值；每个成员密度是D维变量的关于均 值矢量Ui和协方差矩阵Σ i的高斯函数，此处i为高斯混合模型分量的序号；完整的高斯混 合模型参数表示为=Xi = {ai; Ui, Σ J, i = 1,2,... ,Μ；(3-2)子分类器即语音分类器与心电分类器的融合权值Wj，可以用式(2)来得到 其中m、η代表情感模型对应的编号，λ 1为编号为i的情感模型的GMM参数组；(3-3)对每个子分类器的判决进行加权融合，则最终的分类器融合判决输出为 (3)其中j为子分类器编号，j = 1,2；(4)特征层融合算法(4-1)采用PCA方法进行语音特征与心电特征的融合与降维；(4-2)采用(3-1)中所述的高斯混合模型进行训练与识别。本专利技术的优点和效果在于(1)融合心电和语音进行双模态情感识别；(2)提取心电的混沌特征进行情感识别；(3)通过特征层融合算法提高识别性能。附图说明图1——情感数据采集流程图。图2——三种情感状态下的HRV特征分析图。图3——判决层融合图。图4——特征层融合图。图5——语音与心电双模数据的特征层融合图。具体实施例方式下面结合附图和实施例，对本专利技术所述的技术方案作进一步的阐述。1.情感数据的采集流程高自然度的情感数据的采集是目前情感识别领域中受到重点关注的一个问题。在 专利技术中，我们通过让被试人员在噪声环境下进行四则运算来诱发烦躁情感，通过观看喜剧 片段进行喜悦情感的诱发，通过充分的休息后采集平静状态下的数据。实验过程如图1所 示。参与实验的被试为5名男性和5名女性，年龄在20岁至40岁之间，健康状况良好，近 期无药物服用。在实验中要求被试人员读出指定的文本语句，录制烦躁、平静和愉快三种情 感状态下的语音数据，在实验全过程中记录心电数据，并截取每条语音数据开始前半分钟 到结束后半分钟时间段内的心电数据与相对应的语音数据绑定存储。每条心电数据样本的 截取时间长度考虑到两个方面，Picard指出情绪一般持续1到2分钟，而HRV频谱等心电4特征的提取一般需要至少1分钟的数据，因此在实验中截取1到2分钟的心电数据作为一 条样本。2.情感特征的提取 情感特征的优劣以及情感特征提取是否全面，直接影响到情感识别的性能。本发 明从语音与心电两个方面提取并构造了用于识别烦躁、喜悦与平静状态的特征。基于语音 信号的情感识别研究相对较多，基音、能量、共振峰以及语速等参数是受到广泛认同的有效 的语音情感特征。除了这些基本的语音情感特征外，我们还提取了谱能量分布、声门波、谐 波噪声比(HNR)等方面的音质特征参数，用于加强对效价维度的区分能力(烦躁与喜悦在 效价维度上差异较大)。目前，通过心电信号(ECG)来进行情感识别的研究还较为缺乏，常 用的心电情感特征有心率异常性(HRV)方面的时域、频域特征，更多有效的心电情感特征 有待发掘，心电情感特征中的年龄差异等因素有待研究。本专利技术中除了常见的HRV特征外， 还提取了心电信号的若干混沌特征，用于烦躁、喜悦与平静等三种情感的研究。在特征提取中，并不是提取的特征维数越多，分类器的性能就越好。大量的包含冗 余信息的特征反而会带来维数灾难，因此在提取并构造情感特征时，需要从多个不同的角 度来发掘不同性质的具有互补作用的情感信息。例如在语音情感识别中，传统的特征提取 集中在韵律方面，造成在效价维度上的区分能力较弱，而加入了音质方面的特征参数后，情 感识别率得到显著的提高。本专利技术从语音与心电两个角度提取了情感特征，并不是简单的 增加了情感特征的数量，而是综合利用了两种不同性质的情感信息。(1)语音情感特征在本专利技术中使用了 74个全局统计特征，在下面列出，其中前36个特征为韵律特 征，后38个特征为音质特征。特征1-10 短时能量及其差分的均值、最大值、最小值、中值、方差。特征11-25 基音及其一阶、二阶差分的均值、最大值、最小值、中值、方差；特征 26 基音范围。特征27-36 发音帧数、不发音帧数、不发音帧数和发音帧数之比、发音帧数和总 帧数之比、发音区域数、不发音区域数、发音区域数和不发音区域数之比、发音区域数和总 区域数之比、最长发音区域数、最长不发音区域数。特征37-66 第一、第二、第三共振峰及其一阶差分的均值、最大值、最小值、中值、方差。特征67-69 :250Hz以下谱能量百分比、650Hz以下谱能量百分比、4kHz以上谱能量 百分比。特征70-74 谐波噪声比(HNR)的均值、最大值、最小值、中值、方差。其中，在构造频谱能量的分频段特征时，未采用650Hz-本文档来自技高网...
【技术保护点】
一种基于心电信号与语音信号的双模态情感识别方法，包括如下步骤：（１）情感数据的采集；（２）情感特征的提取；其特征在于还包括如下步骤：（３）判决层融合算法：（３－１）待识别的情感类别包括烦躁、喜悦和平静三个类别，对语音与心电分类器均采用高斯混合模型（ＧＭＭ）来进行每种情感类别的概率模型的训练，高斯混合模型是成员密度的加权和，表示如下：ｐ（Ｘ↓［ｔ］｜λ）＝＊ａ↓［ｉ］ｂ↓［ｉ］（Ｘ↓［ｔ］）（１）这里Ｘ↓［ｔ］是Ｄ维随机向量，对应输入的待识别样本，ｔ为样本的序号；ｂ↓［ｉ］（Ｘ），ｉ＝１，２，．．．，Ｍ是成员密度；ａ↓［ｉ］，ｉ＝１，２，．．．，Ｍ是混合权值；每个成员密度是Ｄ维变量的关于均值矢量Ｕ↓［ｉ］和协方差矩阵∑↓［ｉ］的高斯函数，此处ｉ为高斯混合模型分量的序号；完整的高斯混合模型参数表示为：λ↓［ｉ］＝｛ａ↓［ｉ］，Ｕ↓［ｉ］，∑↓［ｉ］｝，ｉ＝１，２，．．．，Ｍ；（３－２）子分类器即语音分类器与心电分类器的融合权值ｗ↓［ｊ］，可以用式（２）来得到：ｗ↓［ｊ］＝＊｜ｌｎ（Ｐ（Ｘ｜λ↑［ｍ］））－ｌｎ（Ｐ（Ｘ｜λ↓［ｎ］））｜／｜ｌｎ（Ｐ（Ｘ｜λ↑［ｉ］））｜（２）其中ｍ、ｎ代表情感模型对应的编号，λ↑［ｉ］为编号为ｉ的情感模型的ＧＭＭ参数组；（３－３）对每个子分类器的判决进行加权融合，则最终的分类器融合判决输出为：ｉ↑［＊］＝ａｒｇｍａｘ｛＊ｗ↓［ｊ］Ｐ↑［ｊ］（Ｘ｜λ↓［ｉ］）｝（３）其中ｊ为子分类器编号，ｊ＝１，２；（４）特征层融合算法：（４－１）采用ＰＣＡ方法进行语音特征与心电特征的融合与降维；（４－２）采用（３－１）中所述的高斯混合模型进行训练与识别。...
【技术特征摘要】
【专利技术属性】
技术研发人员：赵力，黄程韦，邹采荣，余华，王开，
申请(专利权)人：东南大学，
类型：发明
国别省市：32[中国|江苏]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。