基于多通道融合和轻量级神经网络的人脸表情识别方法技术

本发明专利技术提供一种基于多通道融合和轻量级神经网络的人脸表情识别方法，本发明专利技术针对传统人脸表情识别学习方法中特征提取过程复杂而且不能从原始图像中获取更加深入的高语义特征以及深度特征的问题，提出了一种基于多通道融合和轻量级神经网络的人脸表情识别方法，把多通道融合后的三通道特征图像作为构建的轻量级神经网络的输入，采用深度可分离卷积的设计思想来减少参数数量和计算量，同时采用残差连接机制来构建网络模型解决网络性能退化和梯度消失问题，从而在训练更深网络的同时，又能保证良好的性能。实验表明本发明专利技术所提模型可以有效提取人脸表情特征以及对表情进行分类，具有较好的准确率和鲁棒性。具有较好的准确率和鲁棒性。具有较好的准确率和鲁棒性。

【技术实现步骤摘要】
基于多通道融合和轻量级神经网络的人脸表情识别方法


[0001]本专利技术属于人脸表情识别
，具体涉及基于多通道融合和轻量级神经网络的人脸表情识别方法。

技术介绍

[0002]近几年，机器学习在人工智能领域迅速发展，如何实现计算机更好的理解人类情感，进一步改变人与计算机的关系受到越来越多研究者的关注。心理学专家A.Mehrabian的研究表明，在人与人的沟通交流中，人脸表情所传达的信息占有非常大的比重，高达55％，而仅有7％的比重取决于说话者的内容。由此可见，在人与人的交流中人脸表情起着至关重要的作用。表情识别是一个横跨生理学、神经学、计算机科学等领域的交叉学科，其在心理学、智能机器人、在线教育、智能监控等领域有很大的潜在应用价值。
[0003]表情是非语言交际的一种形式，多数指面部肌肉、眼部肌肉、口部肌肉及五官形成的状态，如笑容、怒目等，能及时反映人的情绪变化和心理状态。1971年，心理学家Ekman和Friesen将人脸表情划分为6种基本表情即高兴、悲伤、惊讶、恐惧、愤怒、厌恶，并系统地建立了人脸表情图像库，细致的描述了每一种表情所对应的面部运动特征。目前，人脸表情识别大多分为两类。一类是基于传统的特征提取算法，包括基于几何特征的提取算法、基于纹理特征的提取算法等，主要是根据不同的特征需求，设计合适的特征提取算法，结合不同的分类器进行分类，如尺度不变特征转换、局部二值模式、Canny边缘检测等传统特征提取算法，然后通过稀疏表示分类法、隐马尔可夫模型等算法对人脸表情进行分类识别。但传统的特征提取算法非自主学习只能根据人为设定的特征提取一些浅层特征，容易因人为因素造成误差，从而影响表情分类的精确度。另一类是基于深度学习的特征提取算法，包括卷积神经网络、深度置信网络和受限玻尔兹曼机三种模型。深度神经网络自主学习能力强，能提取更深层的特征，提取的人脸表情特征更有利于可视化，然后通过分类器输出分类结果。Jain等人提出了包含深度残差块的单个深度卷积神经网络模型，发现了FCN和残差块云的组合大大提高了整体结果。Ko介绍了一种最新的混合深度学习方法，该方法结合了卷积神经网络(CNN)和长短期记忆(LSTM)。Alia等人提出了一种利用图挖掘技术减少提取特征的面部情感识别方法，其中gSpan频繁子图挖掘算法用于在图数据库中找到每种情绪的频繁子结构。Yong Li等人提出了一种具有注意力机制(ACNN)的卷积中性网络(CNN)，它可以有效地感知人脸的遮挡区域，提高了非遮挡人脸和遮挡人脸的识别准确率。Tang将CNN与SVM相结合进行人脸表情识别，在Fer2013数据集取得了较好的识别效果。Fengyuan等结合SIFT和CNN特征融合的方法来进行人脸表情识别，提高了模型识别的准确率。

技术实现思路

[0004]为了解决传统方法提取特征困难以及特征提取不完整的问题，本专利技术的目的是提供一种基于多通道融合和轻量级神经网络的人脸表情识别方法，从而进一步提取了更加完整的图像特征，提高了人脸表情识别的准确率和鲁棒性。
[0005]为了达到上述目的，本专利技术所采用的技术方案是：基于多通道融合和轻量级神经网络的人脸表情识别方法，包括以下步骤：S1、通过表情数据库或者摄像头获取图像数据，并使用基于Haar特征的Cascade级联分类器对人脸表情库图像进行人脸区域检测，获取人脸图像；S2、采用局部二值模式提取人脸区域的局部纹理特征，并基于Canny边缘检测算法对人脸区域的边缘进行检测；S3、构建并初始化轻量级神经网络；S4、把获取到的人脸图像、LBP纹理特征图像、边缘检测Canny图像进行通道融合，并将融合后的图像进行数据归一化和数据增强后输入到构建的轻量级神经网络中进行训练和识别。
[0006]进一步的，步骤S4在对构建的轻量级神经网络进行训练时，使用数据增强的训练集进行模型训练，并按批次训练模型，逐批生成数据，然后执行反向传播，并更新模型中的权重，重复该过程直到达到期望的epoch数量。
[0007]进一步的，步骤S1中，在获取人脸图像后，还需要进行图像归一化处理，把不同维度的特征值尺度调整到相近的范围内。
[0008]进一步的，步骤S2中，采用局部二值模式提取人脸区域的局部纹理特征的过程如下：给定一个像素(x
c
,y
c
)，采样点数为P以及采样圆形领域半径为R，得到的LBP可以用十进制表示如下：其中p表示圆形区域中总计P个采样点中的第p个采样点,i
c
表示圆邻域内中心像素的灰度值，i
p
表示圆形邻域内P个周围像素的灰度值，函数s(x)定义为：原始LBP的数值转化为二进制编码，对它进行循环移位操作，用数学公式表示，取所有结果中最小的那个值：其中ROR(x,i)指对P位数x执行循环位右移i次。
[0009]进一步的，步骤S2中基于Canny边缘检测算法对人脸区域的边缘进行检测的过程如下：S21、采用高斯平滑滤波器进行卷积降噪，即对原始数据与高斯滤波器进行卷积操作，使图像更平滑，用数学公式表示，二维高斯函数为：其中(x,y)为原图像h(x,y)像素点的纵横坐标点，σ为高斯函数标准差；把高斯函数和原图像h(x,y)进行卷积处理后得到H(x,y)：
H(x,y)＝G(x,y)
×
h(x,y)
ꢀꢀꢀ
(5)噪声滤除后，对H(x,y)计算梯度幅度和方向来估计每一点处的边缘强度与方向，利用一阶偏导数有限差分计算梯度，其x和y方向的一阶偏导数矩阵为P(i,j)和Q(i,j)：由下式计算得到梯度幅值M(i，j)和梯度方向θ(i，j)：梯度角度θ范围从弧度
‑
π到π，并把它近似到四个方向，分别代表水平，垂直和两个对角线方向(0
°
，45
°
，90
°
，135
°
)，沿着梯度方向对梯度幅值进行非极大值抑制，寻找像素点的局部最大值，在每一点上，领域中心像素点与沿着其对应的梯度方向的两个像素相比，若中心像素为最大值，则保留，否则中心置0，从而可以抑制非极大值，保留局部梯度最大的点，以得到细化的边缘。
[0010]进一步的，步骤S4中，经通道融合后得到的图像为48
×
48像素的三通道图像。
[0011]进一步的，步骤S4在对输入轻量级神经网络中的图像进行识别时：首先依次通过两个2D卷积层进行卷积操作，卷积核大小均为3
×
3，卷积核个数分别为32、64，步长均为1；然后将输出依次经过残差模块一、残差模块一、残差模块二、残差模块一，卷积核个数分别为128、256、256、512，其中深度可分离卷积的卷积核大小为3
×
3，最大池化的卷积核大小为3
×
3，2D卷积层的卷积核大小为1
×
1；再然后将输出依次送入两个深度可分离卷积层，卷积核大小均为3
×
3，卷积核个数分别为1024、512，步长均为1；最后把输出依次送入全局平均池化本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多通道融合和轻量级神经网络的人脸表情识别方法，其特征在于，包括以下步骤：S1、通过表情数据库或者摄像头获取图像数据，并使用基于Haar特征的Cascade级联分类器对人脸表情库图像进行人脸区域检测，获取人脸图像；S2、采用局部二值模式提取人脸区域的局部纹理特征，并基于Canny边缘检测算法对人脸区域的边缘进行检测；S3、构建并初始化轻量级神经网络；S4、把获取到的人脸图像、LBP纹理特征图像、边缘检测Canny图像进行通道融合，并将融合后的图像进行数据归一化和数据增强后输入到构建的轻量级神经网络中进行训练和识别。2.根据权利要求1所述的基于多通道融合和轻量级神经网络的人脸表情识别方法，其特征在于，步骤S4在对构建的轻量级神经网络进行训练时，使用数据增强的训练集进行模型训练，并按批次训练模型，逐批生成数据，然后执行反向传播，并更新模型中的权重，重复该过程直到达到期望的epoch数量。3.根据权利要求1所述的基于多通道融合和轻量级神经网络的人脸表情识别方法，其特征在于，步骤S1中，在获取人脸图像后，还需要进行图像归一化处理，把不同维度的特征值尺度调整到相近的范围内。4.根据权利要求1所述的基于多通道融合和轻量级神经网络的人脸表情识别方法，其特征在于，步骤S2中，采用局部二值模式提取人脸区域的局部纹理特征的过程如下：给定一个像素(x
c
,y
c
)，采样点数为P以及采样圆形领域半径为R，得到的LBP可以用十进制表示如下：其中p表示圆形区域中总计P个采样点中的第p个采样点,i
c
表示圆邻域内中心像素的灰度值，i
p
表示圆形邻域内P个周围像素的灰度值，函数s(x)定义为：原始LBP的数值转化为二进制编码，对它进行循环移位操作，用数学公式表示，取所有结果中最小的那个值：其中ROR(x,i)指对P位数x执行循环位右移i次。5.根据权利要求1所述的基于多通道融合和轻量级神经网络的人脸表情识别方法，其特征在于，步骤S2中基于Canny边缘检测算法对人脸区域的边缘进行检测的过程如下：S21、采用高斯平滑滤波器进行卷积降噪，即对原始数据与高斯滤波器进行卷积操作，使图像更平滑，用数学公式表示，二维高斯函数为：
其中(x,y)为原图像h(x,y)像素点的纵横坐标点，σ为高斯函数标...

【专利技术属性】
技术研发人员：霍华，于亚丽，刘俊强，康世禄，于春豪，
申请(专利权)人：河南科技大学，
类型：发明
国别省市：