表情识别模型的训练方法、人脸表情识别方法及装置制造方法及图纸

本申请公开了一种表情识别模型的训练方法、人脸表情识别方法及装置，属于图像处理技术领域。所述表情识别模型的训练方法包括：获取干净训练样本和冲突训练样本，其中，所述干净训练样本为在第一识别模型和第二识别模型中的损失均小于第一阈值的训练样本，所述冲突训练样本为在所述第一识别模型和所述第二识别模型中的一者的损失小于所述第一阈值，在所述第一识别模型和所述第二识别模型中的另一者中的损失大于第二阈值的训练样本；基于所述冲突训练样本中所包含的人脸表情的情绪极性，从所述冲突训练样本中获取模糊训练样本；基于所述干净训练样本和所述模糊训练样本，对用于表情识别的协同模型进行迭代训练，得到目标表情识别模型。情识别模型。情识别模型。

【技术实现步骤摘要】
表情识别模型的训练方法、人脸表情识别方法及装置


[0001]本申请属于图像处理
，具体涉及一种表情识别模型的训练方法、人脸表情识别方法及装置。

技术介绍

[0002]由于人脸表情识别在医疗、教育、智能服务等众多领域都具有潜在的应用价值，因而，人脸表情识别得到了越来越多的关注。
[0003]在相关技术中，往往会利用训练得到的表情识别模型进行人脸表情识别。然而，相关技术中表情识别模型仅是基于干净训练样本得到的，其遗漏了一部分重要样本，导致表情识别模型鲁棒性较差，人脸表情识别结果准确率不高。

技术实现思路

[0004]本申请实施例提供一种表情识别模型的训练方法、人脸表情识别方法及装置，能够解决相关技术中仅利用干净样本得到表情识别模型导致人脸表情识别结果准确率不高的问题。
[0005]第一方面，本申请实施例提供了一种表情识别模型的训练方法，该方法包括：
[0006]从包含人脸表情的目标训练图像中获取干净训练样本和冲突训练样本，其中，所述干净训练样本为在第一识别模型和第二识别模型中的损失均小于第一阈值的训练样本，所述冲突训练样本为在所述第一识别模型和所述第二识别模型中的一者的损失小于所述第一阈值，在所述第一识别模型和所述第二识别模型中的另一者中的损失大于第二阈值的训练样本，所述第二阈值大于或等于所述第一阈值；
[0007]基于所述冲突训练样本中所包含的人脸表情的情绪极性，从所述冲突训练样本中获取模糊训练样本；
[0008]基于所述干净训练样本和所述模糊训练样本，对用于表情识别的协同模型进行迭代训练，得到目标表情识别模型，其中，所述协同模型包括所述第一识别模型和所述第二识别模型，所述目标表情识别模型为已训练好的协同模型。
[0009]第二方面，本申请实施例提供了一种人脸表情识别方法，该方法包括：
[0010]获取目标人脸图像，所述目标人脸图像为待进行人脸表情识别的图像；
[0011]向目标表情识别模型输入所述目标人脸图像，所述目标表情识别模型为已经训练好的表情识别模型；
[0012]通过所述目标表情识别模型对所述目标人脸图像进行表情识别处理，并输出所述目标人脸图像的表情识别结果；
[0013]其中，所述目标表情识别模型是使用第一方面所述的训练方法而得到的。
[0014]第三方面，本申请实施例提供了一种表情识别模型的训练装置，该装置包括：
[0015]获取模块，用于从包含人脸表情的目标训练图像中获取干净训练样本和冲突训练样本，其中，所述干净训练样本为在第一识别模型和第二识别模型中的损失均小于第一阈
值的训练样本，所述冲突训练样本为在所述第一识别模型和所述第二识别模型中的一者的损失小于所述第一阈值，在所述第一识别模型和所述第二识别模型中的另一者中的损失大于第二阈值的训练样本，所述第二阈值大于或等于所述第一阈值；
[0016]处理模块，用于基于所述冲突训练样本中所包含的人脸表情的情绪极性，从所述冲突训练样本中获取模糊训练样本；基于所述干净训练样本和所述模糊训练样本，对用于表情识别的协同模型进行迭代训练，得到目标表情识别模型，其中，所述协同模型包括所述第一识别模型和所述第二识别模型，所述目标表情识别模型为已训练好的协同模型。
[0017]第四方面，本申请实施例提供了一种人脸表情识别装置，该装置包括：
[0018]获取模块，用于获取目标人脸图像，所述目标人脸图像为待进行人脸表情识别的图像；
[0019]输入模块，用于向目标表情识别模型输入所述目标人脸图像，所述目标表情识别模型为已经训练好的表情识别模型；
[0020]处理模块，用于通过所述目标表情识别模型对所述目标人脸图像进行表情识别处理，并输出所述目标人脸图像的表情识别结果；
[0021]其中，所述目标表情识别模型是使用第三方面所述的训练装置而得到的。
[0022]第五方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储程序或指令，所述程序或指令被所述处理器执行时实现如第一方面或第二方面所述的方法的步骤。
[0023]第六方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面或第二方面所述的方法的步骤。
[0024]第七方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面或第二方面所述的方法。
[0025]第八方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面或第二方面所述的方法。
[0026]在本申请实施例中，从包含人脸表情的目标训练图像中获取干净训练样本和冲突训练样本，其中，所述干净训练样本为在第一识别模型和第二识别模型中的损失均小于第一阈值的训练样本，所述冲突训练样本为在所述第一识别模型和所述第二识别模型中的一者的损失小于所述第一阈值，在所述第一识别模型和所述第二识别模型中的另一者中的损失大于第二阈值的训练样本，所述第二阈值大于或等于所述第一阈值；基于所述冲突训练样本中所包含的人脸表情的情绪极性，从所述冲突训练样本中获取模糊训练样本；基于所述干净训练样本和所述模糊训练样本，对用于表情识别的协同模型进行迭代训练，得到目标表情识别模型，其中，所述协同模型包括所述第一识别模型和所述第二识别模型，所述目标表情识别模型为已训练好的协同模型。如此，可以联合使用第一识别模型和第二识别模型，根据训练样本在第一识别模型和第二识别模型中的损失选取冲突训练样本，且根据冲突训练样本中所包含的人脸表情的情绪极性，从冲突训练样本中获取模糊训练样本，并利用干净训练样本和模糊训练样本进行训练得到目标表情识别模型，由于训练过程中同时使用了干净训练样本和模糊训练样本，而非仅使用干净训练样本，以此方式训练得到的目标
表情识别模型能够对不同类别的人脸表情进行识别，且识别结果的准确率较高，进而可以解决相关技术中仅利用干净样本得到表情识别模型导致人脸表情识别结果准确率不高的问题。
附图说明
[0027]图1是本申请实施例提供的一种表情识别模型的训练方法的流程图；
[0028]图2是本申请实施例提供的另一种表情识别模型的训练方法的流程图；
[0029]图3是本申请实施例提供的另一种表情识别模型的训练方法的流程图；
[0030]图4是本申请实施例提供的一种表情识别模型的训练方法的示意图；
[0031]图5是本申请实施例提供的一种人脸表情识别方法的流程图；
[0032]图6是基于6种数据集进行实验得到的实验结果示意图；
[0033]图7是数据集中不同类型样本的示意图；
[0034]图8是在数据集上合成噪声进行实验的实验结果示意图；
[0035]图9是消融实验的实验结果示意图；
[0036]图10是可视化特征分布的示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表情识别模型的训练方法，其特征在于，包括：从包含人脸表情的目标训练图像中获取干净训练样本和冲突训练样本，其中，所述干净训练样本为在第一识别模型和第二识别模型中的损失均小于第一阈值的训练样本，所述冲突训练样本为在所述第一识别模型和所述第二识别模型中的一者的损失小于所述第一阈值，在所述第一识别模型和所述第二识别模型中的另一者中的损失大于第二阈值的训练样本，所述第二阈值大于或等于所述第一阈值；基于所述冲突训练样本中所包含的人脸表情的情绪极性，从所述冲突训练样本中获取模糊训练样本；基于所述干净训练样本和所述模糊训练样本，对用于表情识别的协同模型进行迭代训练，得到目标表情识别模型，其中，所述协同模型包括所述第一识别模型和所述第二识别模型，所述目标表情识别模型为已训练好的协同模型。2.根据权利要求1所述的训练方法，其特征在于，所述基于所述冲突训练样本中所包含的人脸表情的情绪极性，从所述冲突训练样本中获取模糊训练样本，包括：针对所述冲突训练样本中的每一个样本，执行如下操作：获取所述样本中所包含的人脸表情的情绪极性，所述情绪极性包括积极或者消极；获取所述样本中属于所述情绪极性的各个表情标签的概率之和；在所述概率之和大于预设值的情况下，确定所述样本为模糊训练样本。3.根据权利要求2所述的训练方法，其特征在于，所述获取所述样本中属于所述情绪极性的各个表情标签的概率之和，包括：通过如下方式计算所述样本中属于所述情绪极性的各个表情标签的概率之和：其中，Si为各个表情标签的概率之和；C表示表情标签类别的具体数量，y
i
∈{1,2,...,C}是单类表情标签；p
j
(x
i
)表示样本x
i
属于类别j的概率；pol(j)表示类别j的情绪极性；当pol(j)＝pol(y
i
)为真时，l(pol(j)＝pol(y
i
))＝1。4.根据权利要求1所述的训练方法，其特征在于，所述冲突训练样本包括第一冲突训练样本和第二冲突训练样本；所述第一冲突训练样本为在所述第一识别模型中的损失小于所述第一阈值，且在所述第二识别模型中的损失大于第二阈值的训练样本；所述第二冲突训练样本为在所述第二识别模型中的损失小于所述第一阈值，且在所述第一识别模型中的损失大于第二阈值的训练样本；所述模糊训练样本包括：针对第一识别模型的第一模糊训练样本和针对第二识别模型的第二模糊训练样本；所述基于所述冲突训练样本中所包含的人脸表情的情绪极性，从所述冲突训练样本中获取模糊训练样本包括：基于所述第一冲突训练样本中所包含的人脸表情的情绪极性，从所述第一冲突训练样本中获取第一模糊训练样本；基于所述第二冲突训练样本中所包含的人脸表情的情绪极性，从所述第二冲突训练样本中获取第二模糊训练样本。5.根据权利要求4所述的训练方法，其特征在于，所述基于所述干净训练样本和所述模
糊训练样本，对用于表情识别的协同模型进行迭代训练，得到目标表情识别模型，包括：将目标样本分别输入所述第一识别模型和所述第二识别模型，进行表情识别学习，所述目标样本包括所述干净训练样本、所述第一模糊训练样本和所述第二模糊训练样本；通过针对第一识别模型的第一损失函数确定所述目标样本的第一类损失值，通过针对第二识别模型的第二损失函数确定所述目标样本的第二类损失值；基于所述第一类损失值和所述第二类损失值，对所述协同模型进行迭代训练，得到目标表情识别模型。6.根据权利要求5所述的训练方法，其特征在于，所述第一损失函数为包括第一目标函数部分和第二目标函数部分的联合损失函数；所述第一目标函数部分被表示为第一交叉熵损失函数与所述第一交叉熵损失函数对应的第一加权系数之乘积；所述第二目标函数部分被表示为第一KL散度损失函数与所述第一KL散度损失函数对应的第二加权系数之乘积；其中，所述第一目标函数部分针对所述干净训练样本和所述第一模糊训练样本，所述第二目标函数部分针对所述干净训练样本和所述第二模糊训练样本；所述第二损失函数为包括第一指定函数部分和第二指定函数部分的联合损失函数；所述第一指定函数部分被表示为第二交叉熵损失函数与所述第一加权系数之乘积；所述第二指定函数部分被表示为第二KL散度损失函数与所述第二加权系数之乘积；其中，所述第一指定函数部分针对所述干净训练样本和所述第二模糊训练样本，所述第二指定函数部分针对所述干净训练样本和所述第...

【专利技术属性】
技术研发人员：李娇，杨巨峰，王丽娟，曾定衡，夏粉，蒋宁，吴海英，
申请(专利权)人：南开大学，
类型：发明
国别省市：