一种基于决策融合的多模态情感分类方法技术

一种基于决策融合的多模态情感分类方法属于情感分类技术领域。本发明专利技术通过对不同模态数据的特征提取和基于统计分析的特征筛选方式来建立单模态数据的特征集，然后将其输入分类模型并获得最优子分类器，然后在决策级别进行多个子分类器的融合。本发明专利技术综合考虑了所有子分类器，并根据各个分类器的性能来进行权重更新，在权重更新方式上，本发明专利技术通过计算各个分类器的累计损失来考量子分类器性能，对性能优越的分类器给予奖励，并对错分的分类器给予惩罚，实现一种综合子分类器的历史表现和当前迭代的表现来进行权重更新的方式，对各个分类器的权重赋值更加科学合理。本发明专利技术实现了更准确的多模态分类方法，综合多模态数据使模型更具解释性。具解释性。具解释性。

【技术实现步骤摘要】
一种基于决策融合的多模态情感分类方法

：
[0001]本专利技术属于情感分类
，尤其涉及一种基于获取有效的多模态数据特征和在决策级别进行权重自学习融合的情感分类方法。

技术介绍
：
[0002]情感分类是智能理解的重要问题之一，在多媒体、社交平台以及医疗领域都要重要的应用价值。现有情感分类方法多数集中于使用单模态特征进行分类，例如文本、语音等，纳入的特征过于单一，难以获得全面的视图。但随着互联网的发展，大量多源、异构数据使情感分类问题有了更丰富的信息来源，使用多模态特征进行分类成为新的方向。但目前基于多模态数据的分类方法大多直接进行特征级别的融合，由于多模态特征的差异性，融合过程不可避免地会产生信息的损失。以上问题最终都会导致情感分类的准确性较差，难以进行有价值的应用。
[0003]特征融合领域包括早期融合和后期融合，其中后期融合也叫决策融合，决策融合不是在特征融合后训练单个模型，而是对各类特征分别训练得到后的子分类器结果进行融合。本专利技术将决策融合应用到多模态数据，每个子分类器只用单模态特征进行模型训练，这一定程度上保留了完整的单模态信息，单个模型更具解释性；之后再进行决策层面的融合，综合多模态信息的分类结果得到最终模型，获得更高精准度。进行决策融合时，综合多个子分类器结果的传统方式包括均值法、最大值法和多数投票法等。这些方法或者不能全面考虑所有子分类器，丧失融合的意义；或者在融合时不能考虑到各个子分类器的性能来决定最终结果，分类性能有待提高。

技术实现思路

[0004]本专利技术要解决的技术问题是，提供一种基于决策融合的多模态情感分类方法。该方法的核心技术包括从多模态数据中获取有意义的重要特征并分别训练子分类器，然后在所有样本中进行迭代，基于一种对每个子分类器的性能度量来训练每一个子分类器的权重。
[0005]一种基于决策融合的多模态情感分类方法包括以下步骤：
[0006]步骤1、获取数据集。获取一组多模态数据和对应标签数据，多模态数据可包括音频、图像以及文本类型，且各模态数据之间互相对应。
[0007]步骤2、多模态数据特征提取。对原始各模态数据，根据数据类型选择不同的方式进行特征提取。
[0008]步骤3、构建多模态数据特征集。提取到多模态特征后，采用基于统计学的方法对其从单变量分析与多变量分析两个方面进行特征筛选，从而获取各个单模态数据中有意义的特征。
[0009]步骤4、将步骤3得到的各单模态特征集与标签输入支持向量机SVM、决策树、随机森林、逻辑回归模型进行训练，得到分类准确率最高的子分类器并保存。
[0010]步骤5、对获取的各子分类器进行决策级别的融合，将各子分类器的当前准确率与历史累计损失均纳入考虑，来综合比较各个子分类器的性能与稳定性，采用一种权重自学习的方式训练各个子分类器的权重。
[0011]作为优选，步骤2具体包含以下步骤：
[0012]步骤2.1、对于获取的原始音频数据，对其进行特征提取。使用协同语音分析库COVAREP，从音频中提取梅尔倒谱系数MFCCs、音高跟踪和浊音/清音分割特征、声门源参数、峰值斜率参数和最大色散商特征。
[0013]步骤2.2、对于获取的原始图像数据，对其进行特征提取。使用面部动作编码系统FACS来进行面部表情的特征提取，包括面部标记、面部动作单元、头部姿势和视线轨迹。
[0014]步骤2.3、对于获取的原始文本数据，对其使用基于Transformer的双向编码器表征BERT来进行特征提取。
[0015]作为备选，模态数据中若包含视频数据，也可对其从音频、图像、文本三个方面按以上步骤2.1
‑
2.3来进行特征提取。
[0016]作为优选，步骤3具体包含以下步骤：
[0017]步骤3.1、对于特征值均为数值的模态数据，对其进行标准化处理，将其中的每一个特征结合患者类别信息，使用一种基于信噪比的指标来对每一个特征进行度量，认为信噪比值越大，则该特征越重要。信噪比计算公式为：
[0018][0019]式中代表第n个特征的信噪比值，m表示类别数，μ
i
(f
n
)和μ
j
(f
n
)表示特征f
n
在第i类和第j类的平均值，δ
i
(f
n
)和δ
i
(f
n
)分别表示特征f
n
在第i类和第j类的标准差，式代表比较总次数。
[0020]根据得到的每个特征的SNR，选SNR>0.6的特征进行特征间的相关性分析。对于相关性高于0.6的两个特征，选择其中方差更小的一个删除。
[0021]步骤3.2、对于特征值为等级或类别等非数值类型的特征，对其实行基于分类类别的卡方分析和费希尔fisher检验，选择在两种统计分析结果中在不同类别均有显著性差异、p值均小于0.05的特征作为最终特征。
[0022]步骤3.3、对各模态数据进行整合，并对非数值类型的特征进行one
‑
hot独热编码。
[0023]作为优选，步骤5具体包含以下步骤：
[0024]步骤5.1、对各个子分类器的权重进行初始化，设置为w
i
＝1/k，w
i
代表第i个子分类器的权重，k为子分类器个数；对损失进行初始化，loss
i
＝0，loss
i
代表第i个子分类器的累计损失。
[0025]步骤5.2、对于有n个样本的集合X＝{x1,x2,...,x
n
}，每次取x
j
∈X，将x
j
的k类特征分别输入k个子分类器，得出每个子分类器在每一个类别上的概率分数。表示第i个子分类器在类别q上的预测分数，计算样本x
j
在k个子分类器的属于类别q的加权预测分数，并获取各类别加权分数集合：
[0026][0027]WS＝{WS1,WS2,...WS
m
}
[0028]其中，WS
q
为样本x
j
在k个子分类器上预测结果属于类别q的加权分数，w
i
代表第i个子分类器的当前权重。WS为样本x
j
在k个子分类器上属于各个类别的加权分数集合，其中，m表示类别数。
[0029]获得最大预测分数所属类别，即加权融合后的模型的预测结果：
[0030]y＝argmax{WS}
[0031]其中，argmax()函数实现获取集合中最大值的索引，此处即可获得最大预测分数所属类别。
[0032]步骤5.3、判断得到的类别标签是否与真实标签一致，如果一致，则分类正确，继续下面的步骤；否则分类错误，舍弃当前样本，返回步骤5.2进行下一个样本的迭代。
[0033]步骤5.4、对于上述分类结果错误的l个分类器，进行权重更新，给予本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于决策融合的多模态情感分类方法，其特征在于，包括以下步骤：步骤1、获取数据集；获取一组多模态数据和对应标签数据，多模态数据包括音频、图像或/和文本类型，且各模态数据之间互相对应；步骤2、多模态数据特征提取；对原始各模态数据，根据数据类型选择不同的方式进行特征提取；步骤3、构建多模态数据特征集；提取到多模态特征后，采用基于统计学的方法对其从单变量分析与多变量分析两个方面进行特征筛选，从而获取各个单模态数据中有意义的特征；步骤4、将步骤3得到的各单模态特征集与标签输入支持向量机SVM、决策树、随机森林、逻辑回归模型进行训练，得到分类准确率最高的子分类器并保存；步骤5、对获取的各子分类器进行决策级别的融合，将各子分类器的当前准确率与历史累计损失均纳入考虑，来综合比较各个子分类器的性能与稳定性，采用一种权重自学习的方式训练各个子分类器的权重。2.根据权利要求1所述的方法，其特征在于，步骤2具体包含以下步骤：步骤2.1、对于获取的原始音频数据，对其进行特征提取；使用协同语音分析库COVAREP，从音频中提取梅尔倒谱系数MFCCs、音高跟踪和浊音/清音分割特征、声门源参数、峰值斜率参数和最大色散商特征；步骤2.2、对于获取的原始图像数据，对其进行特征提取；使用面部动作编码系统FACS来进行面部表情的特征提取，包括面部标记、面部动作单元、头部姿势和视线轨迹；步骤2.3、对于获取的原始文本数据，对其使用基于Transformer的双向编码器表征BERT来进行特征提取；作为备选，模态数据中若包含视频数据，对其从音频、图像、文本三个方面按以上步骤2.1
‑
2.3来进行特征提取。3.根据权利要求1所述的方法，其特征在于，，步骤3具体包含以下步骤：步骤3.1、对于特征值均为数值的模态数据，对其进行标准化处理，将其中的每一个特征结合患者类别信息，使用一种基于信噪比的指标来对每一个特征进行度量，认为信噪比值越大，则该特征越重要；信噪比计算公式为：式中代表第n个特征的信噪比值，m表示类别数，μ
i
(f
n
)和μ
j
(f
n
)表示特征f
n
在第i类和第j类的平均值，δ
i
(f
n
)和δ
i
(f
n
)分别表示特征f
n
在第i类和第j类的标准差，式代表比较总次数；根据得到的每个特征的SNR，选SNR>0.6的特征进行特征间的相关性分析；对于相关性高于0.6...

【专利技术属性】
技术研发人员：刘博，季新婵，王慧娜，李金梦，朱念，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：