【技术实现步骤摘要】
一种基于标签置信估计和多网络联合训练的表情识别方法
[0001]本专利技术属于表情识别
更具体地，涉及一种基于标签置信估计和多网络联合训练的人脸表情识别方法。
技术介绍
[0002]面部表情作为最重要的非语言交流手段之一，可以传达自己内心的情感。心理学研究发现，人类有能力破译各种面部表情的含义，并将面部表情归类为基本情绪之一。为了使计算机理解各种面部表情，人脸表情识别已经成为计算机视觉领域的研究热点之一。
[0003]深度卷积神经网络仿造生物的视觉感知机制构建，可以进行有监督学习和无监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量提取格点化特征。深度卷积神经网络在人脸识别等计算机视觉任务上取得巨大成功后，VGG、GoogLeNet和ResNet等经典的模型也被直接应用表情识别中。
[0004]由于数据集标注者的主观性、图像的质量缺陷以及表情固有的混淆性而导致的模型性能下降，在自然场景下的大规模表情识别数据集中尤为显著，导致这些数据集具有较高的不确定性，妨碍了基于卷积深度神经网络和有监督学习的面部表情识别方法的进一步提升。现有表情识别方法对不确定性的抑制本质都是通过不同的方式估计样本的标签置信度，然后通过标签置信度来决定样本在计算损失时的权重或者决定样本是否保留在训练集中。这些方法普遍没有对标签错误、图像质量缺陷和表情的固有混淆性这三种成因和影响过程都完全不同的情况针对性处理，因此对自然场景下表情识别中不确定性的抑制不尽人意。
技术实现思路
>[0005]本专利技术所要解决的技术问题是：针对现有技术的缺陷或改进需求，提供一种基于标签置信估计和多网络联合训练的表情识别方法，通过抑制表情数据集中的不确定性，使用多网络联合训练的方式从而有效提高表情分类精度。
[0006]本专利技术解决其技术问题采用以下的技术方案：
[0007]本专利技术提供的基于标签置信估计和多网络联合训练的表情识别方法，包含以电信号依次相连的四个模块，分别是可靠训练集初始化、多网络联合训练、标签修订和最终表情分类网训练，其中：可靠训练集初始化将原始的训练集划分为绝对可靠训练集和不可靠训练集，多网络联合训练将用于更新可靠训练集，标签修订将从不可靠训练集中筛选部分相对可靠样本修改其标签并加入到可靠训练集中，最终表情分类网训练将从可靠训练集中训练最终得到表情分类网。
[0008]进一步地，所述可靠训练集初始化采用N折交叉验证和第一卷积神经网络；
[0009]所述N折交叉验证的具体实现步骤为：将所述原始的训练集均匀分为N份，取其中第一份作为验证集，其余所有数据为训练集；将训练集输入第一卷积神经网络训练，再将验证集输入训练好的第一卷积神经网络得到验证集样本的预测结果；
[0010]重复上述步骤N次，其中第k次执行取第k份数据作为验证集，最终使得所有样本作为验证数据一次，k＝2，3，
……
，N。
[0011]进一步地，第一卷积神经网络的主干网采用ResNet
‑
18，并在人脸数据集MS
‑
Celeb
‑
1M上进行预训练。
[0012]进一步地，所述绝对可靠训练集和不可靠训练集的划分方法为：将预测结果与真实标签一致的样本加入到绝对可靠训练集D0，将预测结果与真实标签不一致的样本加入到不可靠训练集D2。
[0013]进一步地，所述多网络联合训练采用表情分类网和置信估计网络，包括以下步骤：
[0014](1)样本特征和类特征提取：
[0015]采用可靠训练集D1和表情分类网训练模型，用于提取数据集中所有样本的样本特征和类特征；
[0016]所述可靠训练集D1未知时，采用绝对可靠训练集D0初始化；
[0017]所述表情分类网采用第二卷积神经网络，第二卷积神经网络用可靠训练集D1进行训练；第二卷积神经网络采用同第一卷积神经网络相同的网络结构和预训练方式；
[0018]所述样本的样本特征和类特征从第二卷积神经网络中提取得到；
[0019](2)置信网训练集构建：
[0020]用于对绝对可靠训练集D0中的样本根据步骤(1)所述的样本特征和类特征生成正样例集和负样例集
[0021]所述正、负样例集的具体生成方法为：对D0中任一样本，用步骤(1)获取的样本特征与第c类类特征拼接，其中c为该样本的标签，所有拼接结果作为正样例集对D0中任一样本，用步骤(1)获取的样本特征与第c
‑
类特征进行拼接，其中c
‑
为不等于c的所有其它类，所有拼接结果作为负样例集
[0022](3)置信网训练：
[0023]用于根据步骤(2)所述的正负样例集训练置信网，输出不可靠训练集D2中所有样本的置信分数；
[0024]所述置信网采用多层感知机(简称MLP)，由六层全连接网络构成，前五层的激活函数为ReLU，第六层的激活函数为sigmoid函数；该网络通过逐步的降维，利用全连接神经网络的强大的非线性拟合能力，充分根据样本特征和类别特征中的信息，以及二者之间的关联，判断给该类作为该样本的标签的合理性，以估计标签置信度；
[0025]所述样本的置信分数为：对D2中的任一样本，根据步骤(1)提取的样本特征和第c类特征的拼接，其中c为样本的标签，输入所述置信网，其最后一个全连接层的输出即样本的置信分数；
[0026](4)可靠训练集更新：
[0027]用于根据步骤3所述置信分数更新可靠训练集D1；
[0028]所述可靠训练集更新的具体方法为，若D2中的样本的置信分数大于阈值T1，则加入训练集D1；阈值T1用来确定是否应将样本添加到训练子集中；
[0029](5)迭代训练：
[0030]用于重复执行所述步骤(1)～(4)，进一步更新训练集D1；
[0031]迭代训练的停止条件为达到预设的迭代次数或不再向训练集D1添加更可靠的样本。
[0032]进一步地，所述样本的样本特征提取方法为：将任一图像输入第二卷积神经网络，经过全部卷积层和第一个全连接层，所提取的特征作为样本特征；
[0033]所述样本的类特征提取方法为：对所有属于同一类别的样本提取样本特征并求平均，即所有属于同一类别样本的中心。
[0034]进一步地，所述标签修订根据样本的置信分数和设定合理阈值T2和T3，以改变样本的标签并将其加入到可靠训练集D1中；
[0035]所述标签修订的方法为：将多网络联合训练更新后的中样本置信度小于阈值T2以及更新后中置信度大于T3的样本的标签修改为对应的最大置信度的类别；将修改标签后的样本添加到训练集D1。
[0036]进一步地，所述标签修订基于以下两种情况修改：样本特征和对应类别特征拼接的实例的置信度分数较低时即＜T2时修改其标签；样本特征和其它类别特征拼接的实例的置信度分数较高时即>T3时修改其标签；其中T2设置为0.1，T3设置为相本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于标签置信估计和多网络联合训练的表情识别方法，其特征是包含以电信号依次相连的四个模块，分别是可靠训练集初始化、多网络联合训练、标签修订和最终表情分类网训练，其中：可靠训练集初始化将原始的训练集划分为绝对可靠训练集和不可靠训练集，多网络联合训练将用于更新可靠训练集，标签修订将从不可靠训练集中筛选部分相对可靠样本修改其标签并加入到可靠训练集中，最终表情分类网训练将从可靠训练集中训练最终得到表情分类网。2.如权利要求1所述的基于标签置信估计和多网络联合训练的表情识别方法，其特征在于，可靠训练集初始化采用N折交叉验证和第一卷积神经网络；所述N折交叉验证的具体实现步骤为：将所述原始的训练集均匀分为N份，取其中第一份作为验证集，其余所有数据为训练集；将训练集输入第一卷积神经网络训练，再将验证集输入训练好的第一卷积神经网络得到验证集样本的预测结果；重复上述步骤N次，其中第k次执行取第k份数据作为验证集，最终使得所有样本作为验证数据一次，k＝2，3，
……
，N。3.如权利要求2所述的基于标签置信估计和多网络联合训练的表情识别方法，其特征在于，第一卷积神经网络的主干网采用ResNet
‑
18，并在人脸数据集MS
‑
Celeb
‑
1M上进行预训练。4.如权利要求1所述的基于标签置信估计和多网络联合训练的表情识别方法，其特征在于，所述绝对可靠训练集和不可靠训练集的划分方法为：将预测结果与真实标签一致的样本加入到绝对可靠训练集D0，将预测结果与真实标签不一致的样本加入到不可靠训练集D2。5.如权利要求1所述的基于标签置信估计和多网络联合训练的表情识别方法，其特征在于，所述多网络联合训练采用表情分类网和置信估计网络，包括以下步骤：(1)样本特征和类特征提取：采用可靠训练集D1和表情分类网训练模型，用于提取数据集中所有样本的样本特征和类特征；所述可靠训练集D1未知时，采用绝对可靠训练集D0初始化；所述表情分类网采用第二卷积神经网络，第二卷积神经网络用可靠训练集D1进行训练；第二卷积神经网络采用同第一卷积神经网络相同的网络结构和预训练方式；所述样本的样本特征和类特征从第二卷积神经网络中提取得到；(2)置信网训练集构建：用于对绝对可靠训练集D0中的样本根据步骤(1)所述的样本特征和类特征生成正样例集和负样例集所述正、负样例集的具体生成方法为：对D0中任一样本，用步骤(1)获取的样本特征与第c类类特征拼接，其中c为该样本的标签，所有拼接结果作为正样例集对D0中任一样本，用步骤(1)获取的样本特征与第c
‑
类特征进行拼接，其中c
‑
为不等于c的所有其...
【专利技术属性】
技术研发人员：陈靓影，徐如意，
申请(专利权)人：宁波喻星教育科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。