同时用于情感分类和回归的多任务主动学习方法和系统技术方案

本发明专利技术公开了一种同时用于情感分类和回归的多任务主动学习方法和系统，属于情感计算领域。本发明专利技术结合主动学习分类方法在EC任务上，和主动学习回归方法在ER任务上对于无标签样本的价值度量，得到主动学习在多个任务上对于无标签样本总的价值度量，同时挖掘类别型情感和维度型情感的信息，从而只需选择尽可能少的样本进行标注，即可同时训练得到具有良好性能的EC模型和单个或多个维度上的ER模型，实验验证，在相同的询问次数下，本发明专利技术提出的方法比起单任务的主动学习方法训练得到的EC模型和多个维度的ER模型具有更好的性能，极大地减少了标注代价。少了标注代价。少了标注代价。

【技术实现步骤摘要】
同时用于情感分类和回归的多任务主动学习方法和系统


[0001]本专利技术属于情感计算领域，更具体地，涉及同时用于情感分类和回归的多任务主动学习方法和系统。

技术介绍

[0002]情感计算使机器能够识别、理解、表达和适应人类的情感，是人机交互的核心与基础。情感识别是情感计算的重要步骤，通过对收集的生理信号或其它非生理信号进行分析处理从而得到人的情感状态。情感有两种表示方式：1)类别型情感(离散)，能够简单直观地将情感表示为几种相互独立的情感类别，比如Ekman等人[1]提出的六种基本情感(高兴、悲伤、惊讶、恐惧、生气、厌恶)；2)维度型情感(连续)，认为情感有基本的维度，每一个维度是对情感某一方面的度量，比如Mehrabian[2]提出的情感三个维度的valence-arousal-dominance三维空间表示。类别型情感在情感计算中通常是一个分类问题，而维度型情感通常作为回归问题。无论是情感分类(emotion classification，EC)模型还是情感回归(emotion regression，ER)模型的训练都需要大量的有标签数据。
[0003]在实际中，获取大量的无标签情感数据是非常容易的，但是标注它们非常困难。一方面，情感本身是非常主观的，可能具有一定的不确定性，而且有时候可能非常细微难以捕捉，所以通常需要多个标注者对每一个样本进行标注从而得到一个比较真实的标签。另一方面，有些情感样本很长，标注者需要一直保持注意力对其进行观察得到标注结果。所以，对情感的标注相当费时费力，需要付出很高的代价。主动学习(active learning，AL)作为机器学习中的关键技术之一，可以有效地减少标注工作。AL的主要流程是：首先通过某种主动学习算法选择最有价值或最有用的样本并向专家询问其标签，然后将选出的样本和标签加入训练集中重新训练模型。迭代这个过程，当达到一定的询问次数或者模型性能达到预设值后，即停止学习。它的核心思想是通过尽可能少地询问样本标签最终得到一个较为准确的模型。
[0004]类别型情感符合人们的直觉和常识，而维度型情感能够动态、细致地对情感进行描述，因此，在情感计算中，EC任务和ER任务都具有重要的研究意义。并且，在一个应用中可能会同时用到两种模型，因此，从少量有标签数据中同时训练得到EC和ER模型是非常有意义的。
[0005]多任务学习可以通过挖掘多个任务之间的相关性和差异性同时学习多个任务，主动学习以尽可能少的标注代价训练得到情感识别模型。但目前的研究仅关注于EC模型或ER模型上的主动学习，但目前的研究仅关注于EC模型或ER模型上的主动学习，需要分别进行样本的选择和标注，训练代价比较高。

技术实现思路

[0006]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种同时用于情感分类和回归的多任务主动学习方法和系统，其目的在于以尽可能少的标注代价同时训练得到较好的
EC模型和三个维度上的ER模型。
[0007]为实现上述目的，按照本专利技术的一个方面，提供了一种同时用于情感分类和回归的多任务主动学习方法，包括：
[0008]S1.从无标签样本池中选择数量为M0个无标签样本，标注其类别型和单个或多个维度的维度型标签，作为初始训练集，并从无标签样本池中去掉；
[0009]S2.在初始训练集上训练得到初始EC模型和单个或多个维度的初始ER模型；
[0010]S3.在当前EC模型上，使用任意一种主动学习分类方法得到当前剩余无标签样本在EC任务上的价值排序向量r1，价值越大排序值越大；
[0011]S4.在当前各个维度的ER模型上，使用任意一种主动学习回归方法得到当前剩余无标签样本的价值排序向量；计算所有维度上的价值排序向量的加权和，得到当前剩余无标签样本在ER任务上的价值排序向量r2；
[0012]S5.计算EC任务上的价值排序向量r1和ER任务上的价值排序向量r2的加权和，得到EC任务和ER任务上的总价值排序向量r；
[0013]S6.选择总价值排序向量r中最大的值对应的无标签样本，并标注其类别型和单个或多个维度的维度型标签，将其加入当前训练集中，并从当前剩余无标签样本中去掉；
[0014]S7.在当前训练集上训练当前EC模型和当前单个或多个维度的ER模型；
[0015]S8.重复步骤S3-S7，直到当前训练集达到最大的样本数量或模型性能达到预设值，得到训练好的EC模型和单个或多个维度的ER模型。
[0016]进一步地，步骤S1具体为，从无标签样本池中随机选择或者采用无监督主动学习方法选择数量为M0个无标签样本。
[0017]进一步地，采用无监督主动学习方法选择数量为M0个无标签样本，具体包括：
[0018]选择无标签样本池中最接近聚类中心的样本作为第一个样本进行标注加入训练集，并从无标签样本池中去除；
[0019]依次选择接下来的M
0-1个样本：计算当前剩余无标签样本x
n
到已选的每一个样本x
m
的距离：其中，m＝1，2，...，m0,n＝m0+1，...，N，m0为已选择并加入到训练集中的样本数量，N为无标签样本池中样本总数；得到当前剩余无标签样本到已选样本最近的距离：选择最大的样本进行标注加入训练集中，并从无标签样本池中去除。
[0020]进一步地，步骤S1中M0＝情感样本特征维度+1。
[0021]进一步地，步骤S3具体包括：
[0022]选择基于熵的不确定性采样方法应用于EC模型：
[0023]计算每个样本的信息熵：
[0024][0025]其中p(y|x
i
)表示EC模型将无标签样本x
i
预测为类别y的概率。对无标签样本池中所有样本的信息熵进行升序排序得到EC任务上的价值排序向量r1。
[0026]进一步地，步骤S4具体包括：
[0027]选择在输入和输出空间贪婪采样方法应用于三个维度的ER模型：
[0028]计算无标签样本x
n
到已选的每一个样本x
m
的距离
[0029][0030]计算第一维度的ER模型对无标签样本的预测值f(x
n
)到已选样本的标签y
m
的距离
[0031][0032]计算和乘积的最小值
[0033][0034]对无标签样本池中所有样本在第一维度上的进行升序排序得到第一维度上的价值排序向量同理得到第二维度和第三维度上的价值排序向量和
[0035]对三个维度的价值排序向量进行加权，得到ER任务上的价值排序向量r2：
[0036][0037]其中，β1+β2+β3＝1。
[0038]进一步地，步骤S5具体为，通过r＝α1r1+α2r2计算得到EC任务和ER任务上的总价值排序向量r；其中α1+α2＝1。
[0039]按照本专利技术的另一方面提供了一种同时用于情感分类和回归的多任务主动学习系统，包括：计算机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种同时用于情感分类和回归的多任务主动学习方法，其特征在于，包括：S1.从无标签样本池中选择数量为M0个无标签样本，标注其类别型和单个或多个维度的维度型标签，作为初始训练集，并从无标签样本池中去掉；S2.在初始训练集上训练得到初始EC模型和单个或多个维度的初始ER模型；S3.在当前EC模型上，使用任意一种主动学习分类方法得到当前剩余无标签样本在EC任务上的价值排序向量r1，价值越大排序值越大；S4.在当前各个维度的ER模型上，使用任意一种主动学习回归方法得到当前剩余无标签样本的价值排序向量；计算所有维度上的价值排序向量的加权和，得到当前剩余无标签样本在ER任务上的价值排序向量r2；S5.计算EC任务上的价值排序向量r1和ER任务上的价值排序向量r2的加权和，得到EC任务和ER任务上的总价值排序向量r；S6.选择总价值排序向量r中最大的值对应的无标签样本，并标注其类别型和单个或多个维度的维度型标签，将其加入当前训练集中，并从当前剩余无标签样本中去掉；S7.在当前训练集上训练当前EC模型和当前单个或多个维度的ER模型；S8.重复步骤S3-S7，直到当前训练集达到最大的样本数量或模型性能达到预设值，得到训练好的EC模型和单个或多个维度的ER模型。2.根据权利要求1所述的一种同时用于情感分类和回归的多任务主动学习方法，其特征在于，步骤S1具体为，从无标签样本池中随机选择或者采用无监督主动学习方法选择数量为M0个无标签样本。3.根据权利要求2所述的一种同时用于情感分类和回归的多任务主动学习方法，其特征在于，采用无监督主动学习方法选择数量为M0个无标签样本，具体包括：选择无标签样本池中最接近聚类中心的样本作为第一个样本进行标注加入训练集，并从无标签样本池中去除；依次选择接下来的M
0-1个样本：计算当前剩余无标签样本x
n
到已选的每一个样本x
m
的距离：其中，m＝1，2，...，m0,n＝m0+1，...，N，m0为已选择并加入到训练集中的样本数量，N为无标签样本池中样本总数；得到当前剩余无...

【专利技术属性】
技术研发人员：伍冬睿，蒋雪，孟璐斌，黄剑，曾志刚，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：