情感识别方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请实施例提供了一种情感识别方法、装置、电子设备及计算机可读存储介质，涉及计算机及生物检测技术领域。该方法包括：获取用户的皮肤电反应信号以及用户的瞳孔直径信号，然后从用户的皮肤电反应信号以及用户的瞳孔直径信号中提取联合特征，然后基于联合特征并通过训练后的神经网络进行情感识别，得到用户的情感信息。本申请实施例实现了通过生理信号识别用户情感。

Emotion recognition method, device, electronic equipment and computer readable storage medium

【技术实现步骤摘要】
情感识别方法、装置、电子设备及计算机可读存储介质
本申请涉及计算机及生物检测
，具体而言，本申请涉及一种情感识别方法、装置、电子设备及计算机可读存储介质。
技术介绍
情感识别技术是一种给予计算机识别情感能力的人工智能技术，现己逐渐成为新兴人工智能领域的研究重点与难点。例如，情感识别技术可以用于识别用户在观看一部电影过程中的情感信息。现有技术中，一般通过用户的语音信号以及面部表情，识别用户的情感，但是相比于语音信号和面部表情，人类的生理信号是人体自身由于情感而诱发的非自主反应，很难受到人的意识控制，因此通过生理信号进行情感识别的客观性更强，精度更高。因此，如何通过生理信号识别用户情感成为一个关键问题。
技术实现思路
本申请提供了一种情感识别方法、装置、电子设备及计算机可读存储介质，可以用于解决通过生理信号识别用户情感的问题。所述技术方案如下：第一方面，提供了一种情感识别方法，该方法包括：获取用户的皮肤电反应信号以及用户的瞳孔直径信号；从用户的皮肤电反应信号以及用户的瞳孔直径信号中提取联合特征；基于联合特征并通过训练后的神经网络进行情感识别，得到用户的情感信息。在一种可能的实现方式中，基于联合特征并通过训练后的神经网络进行情感识别，得到用户的情感信息，包括：基于联合特征确定输入节点信号，输入节点信号为训练后的神经网络对应的输入节点信号；将输入节点信号通过训练后的神经网络进行情感识别，得到用户的情感信息。在另一种可能的实现方式中，获取用户的皮肤电反应信号，包括：获取用户的原始皮肤电导率信号；将用户的原始皮肤电导率信号通过高频滤波处理，得到滤波处理后的皮肤电导率信号；对滤波处理后的皮肤电导率信号进行反卷积计算，得到皮肤电反应信号。在另一种可能的实现方式中，从用户的皮肤电反应信号以及用户的瞳孔直径信号中提取联合特征，包括：基于预设从信号空间到特征空间的线性映射信号，从用户的皮肤电反应信号以及用户的瞳孔直径信号中提取联合特征。在另一种可能的实现方式中，基于联合特征确定输入节点信号，包括：将联合特征进行归一化处理；基于归一化处理后的联合特征，计算预设个数的特征节点；基于预设个数的特征节点计算增强节点；基于预设个数的特征节点以及增强节点，计算输入节点信号。在另一种可能的实现方式中，基于归一化处理后的联合特征，计算每一个特征节点的方式，包括：确定每一个特征节点对应的随机矩阵；基于归一化处理后的联合特征以及每一个特征节点对应的随机矩阵，计算每一个特征节点。在另一种可能的实现方式中，基于归一化处理后的联合特征以及每一个特征节点对应的随机矩阵，计算每一个特征节点，包括：基于每一个特征节点对应的随机矩阵计算每一个特征节点对应的稀疏编码矩阵；基于归一化处理后的联合特征以及每一个特征节点对应的稀疏编码矩阵，计算每一个特征节点。在另一种可能的实现方式中，将输入节点信号通过训练后的神经网络进行情感识别，之前还包括：获取训练样本，训练样本包括：多个输入节点样本信号集以及各个输入节点样本信号集分别对应的情感标签；基于训练样本，计算神经网络的网络参数。在另一种可能的实现方式中，基于训练样本，计算神经网络的网络参数，包括：基于多个输入节点样本信号集以及各个输入节点样本集分别对应的情感标签，计算输入节点样本信号集的到标签的伪逆信号。在另一种可能的实现方式中，将输入节点信号通过训练后的神经网络进行情感识别，得到用户的情感信息，包括：将输入节点信号以及输入节点样本信号样本集的到标签的伪逆信号，确定用户的情感信息。第二方面，提供了一种情感识别装置，该装置包括：第一获取模块，用于获取用户的皮肤电反应信号以及用户的瞳孔直径信号；提取模块，用于从用户的皮肤电反应信号以及用户的瞳孔直径信号中提取联合特征；情感识别模块，用于基于联合特征并通过训练后的神经网络进行情感识别，得到用户的情感信息。在一种可能的实现方式中，情感识别模块，具体用于基于联合特征确定输入节点信号，输入节点信号为训练后的神经网络对应的输入节点信号；将输入节点信号通过训练后的神经网络进行情感识别，得到用户的情感信息。在另一种可能的实现方式中，第一获取模块，具体用于获取用户的原始皮肤电导率信号；将用户的原始皮肤电导率信号通过高频滤波处理，得到滤波处理后的皮肤电导率信号；对滤波处理后的皮肤电导率信号进行反卷积计算，得到皮肤电反应信号。在另一种可能的实现方式中，提取模块，具体用于基于从信号空间到特征空间的线性映射信号，从用户的皮肤电反应信号以及用户的瞳孔直径信号中提取联合特征。在另一种可能的实现方式中，情感识别模块在基于联合特征确定输入节点信号时，具体用于将联合特征进行归一化处理；基于归一化处理后的联合特征，计算预设个数的特征节点；基于预设个数的特征节点计算增强节点；基于预设个数的特征节点以及增强节点，计算输入节点信号。在另一种可能的实现方式中，情感识别模块在基于归一化处理后的联合特征，计算每一个特征节点时，具体用于确定每一个特征节点对应的随机矩阵；基于归一化处理后的联合特征以及每一个特征节点对应的随机矩阵，计算每一个特征节点。在另一种可能的实现方式中，情感识别模块，在基于归一化处理后的联合特征以及每一个特征节点对应的随机矩阵，计算每一个特征节点时，具体用于基于每一个特征节点对应的随机矩阵计算每一个特征节点对应的稀疏编码矩阵；基于归一化处理后的联合特征以及每一个特征节点对应的稀疏编码矩阵，计算每一个特征节点。在另一种可能的实现方式中，装置还包括：第二获取模块以及计算模块，其中，第二获取模块，用于获取训练样本，训练样本包括：多个输入节点样本信号集以及各个输入节点样本信号集分别对应的情感标签；计算模块，用于基于训练样本，计算神经网络的网络参数。在另一种可能的实现方式中，计算模块，具体用于基于多个输入节点样本信号集以及各个输入节点样本集分别对应的情感标签，计算输入节点样本信号集的到标签的伪逆信号。在另一种可能的实现方式中，情感识别模块在将输入节点信号通过训练后的神经网络进行情感识别，得到用户的情感信息时，具体用于将输入节点信号以及输入节点样本信号样本集的到标签的伪逆信号，确定用户的情感信息。第三方面，提供了一种电子设备，该电子设备包括：一个或多个处理器；存储器；一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：执行根据第一方面或者第一方面任一可能的实现方式所示的情感识别方法对应的操作。第四方面，提供了一种计算机可读存储介质，存储介质存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行本文档来自技高网...

【技术保护点】
1.一种情感识别方法，其特征在于，包括：/n获取用户的皮肤电反应信号以及所述用户的瞳孔直径信号；/n从所述用户的皮肤电反应信号以及所述用户的瞳孔直径信号中提取联合特征；/n基于所述联合特征并通过训练后的神经网络进行情感识别，得到所述用户的情感信息。/n

【技术特征摘要】
1.一种情感识别方法，其特征在于，包括：
获取用户的皮肤电反应信号以及所述用户的瞳孔直径信号；
从所述用户的皮肤电反应信号以及所述用户的瞳孔直径信号中提取联合特征；
基于所述联合特征并通过训练后的神经网络进行情感识别，得到所述用户的情感信息。


2.根据权利要求1所述的方法，其特征在于，所述基于所述联合特征并通过训练后的神经网络进行情感识别，得到所述用户的情感信息，包括：
基于所述联合特征确定输入节点信号，所述输入节点信号为所述训练后的神经网络对应的输入节点信号；
将所述输入节点信号通过训练后的神经网络进行情感识别，得到所述用户的情感信息。


3.根据权利要求1所述的方法，其特征在于，所述获取用户的皮肤电反应信号，包括：
获取用户的原始皮肤电导率信号；
将所述用户的原始皮肤电导率信号通过高频滤波处理，得到滤波处理后的皮肤电导率信号；
对所述滤波处理后的皮肤电导率信号进行反卷积计算，得到所述皮肤电反应信号。


4.根据权利要求1所述的方法，其特征在于，所述从所述用户的皮肤电反应信号以及所述用户的瞳孔直径信号中提取联合特征，包括：
基于预设从信号空间到特征空间的线性映射信号，从所述用户的皮肤电反应信号以及所述用户的瞳孔直径信号中提取联合特征。


5.根据权利要求2所述的方法，其特征在于，所述基于所述联合特征确定输入节点信号，包括：
将所述联合特征进行归一化处理；
基于归一化处理后的联合特征，计算预设个数的特征节点；
基于所述预设个数的特征节点计算增强节点；
基于所述预设个数的特征节点以及所述增强节点，计算所述输入节点信号。


6.根据权利要求5所述的方法，其特征在于，基于归一化处理后的联合特征，计算每一个特征节点的方式，包括：
确定每一个特征节点对应的随机矩阵；
基于归一化处理后的联合特征以及所述每一个特征节点对应的随机矩阵，计算所述每一个特征节点。


7.根据权利要求6所述的方法，其特征在于，基于归一化处理后的联合特征以及所述每一个特征节点对应的随机矩阵，计算所述每一个特征节点，包括：
基于所述每一个特征节点对应的随机矩阵计算所述每一个特征节点对应的稀疏编码矩阵；
基于所述归一化处理后的联合特征以及所述每一个特征节点对应的稀疏编码矩阵，计算所述每一个特征节点。


8.根据权利要求2所述的方法，其特征在于，所述将所述输入节点信号通过训练后的神经网络进行情感识别，之前还包括：
获取训练样本，所述训练样本包括：多个输入节点样本信号集以及各个输入节点样本信号集分别对应的情感标签；
基于所述训练样本，计算所述神经网络的网络参数。


9.根据权利要求8所述的方法，其特征在于，所述基于所述训练样本，计算所述神经网络的网络参数，包括：
基于所述多个输入节点样本信号集以及各个输入节点样本集分别对应的情感标签，计算输入节点样本信号集的到标签的伪逆信号。


10.根据权利要求9所述的方法，其特征在于，所述将...

【专利技术属性】
技术研发人员：王晨，张天翼，阿卜杜拉·阿里，巴勃罗·塞萨尔，朱昕彤，鞠靖，杨育松，
申请(专利权)人：新华网股份有限公司，荷兰国家数学与计算机中心，
类型：发明
国别省市：北京;11