ResNet18与胶囊网络结合并进行剪枝的人脸表情识别方法技术

本发明专利技术公开了一种ResNet18与胶囊网络结合并进行剪枝的人脸表情识别方法，属于人脸识别技术领域。其步骤包括：构建胶囊网络、调整ResNet18网络模型、在调整后的ResNet18网络模型的四个残差块中加入注意力机制、利用调整后的ResNet18网络模型替换胶囊网络的单卷积层、利用调整后的ResNet18网络模型从输入特征中提取训练特征图、将训练特征图输入至胶囊网络中进行训练得到网络模型、针对网络模型，采用L2范数进行剪枝处理、利用数据集进行人脸表情识别。本发明专利技术利用结合后的网络模型进行人脸表情识别，可以避免出现池化层丢失特征数据的问题，以及避免出现胶囊网络自身卷积层特征提取不足的问题。不足的问题。

【技术实现步骤摘要】
ResNet18与胶囊网络结合并进行剪枝的人脸表情识别方法


[0001]本专利技术涉及人脸识别
，特别涉及ResNet18与胶囊网络结合并进行剪枝的人脸表情识别方法。

技术介绍

[0002]人脸表情识别技术的应用领域也越来越广泛，如医学、安全驾驶、零售等领域。
[0003]现有的人脸表情识别方法，通常依赖于卷积神经网络实现，在基于卷积神经网络对人脸进行特征提取时，卷积神经网络中的池化层存在丢失特征数据的问题。针对这一问题，虽然通过胶囊网络对人脸进行特征提取，可以保留卷积模块提取到的特征数据，但是胶囊网络存在自身卷积层特征提取不足的问题。
[0004]故而，在人脸识别
有必要提供一种稳定的人脸表情识别方法。

技术实现思路

[0005]为了解决现有技术中的问题，本专利技术实施例提供了一种ResNet18与胶囊网络结合并进行剪枝的人脸表情识别方法。所述技术方案如下：
[0006]第一方面，本专利技术提供了一种ResNet18与胶囊网络结合并进行剪枝的人脸表情识别方法，包括如下步骤：
[0007]步骤一、构建胶囊网络：所述胶囊网络包括：卷积层、初级胶囊层、数字胶囊层，所述卷积层是通道数为256，卷积核大小为9
×
9，步长为1的单卷积层，所述初级胶囊层包括：通道数为256、卷积核大小为9
×
9、步长为2的单卷积层，所述数字胶囊层包含7个胶囊，且所述数字胶囊层由所述初级胶囊层经过路由机制得到；
[0008]步骤二、调整ResNet18网络模型：去除ResNet18网络模型的全连接层，剔除ResNet18网络模型的全局平均池化层，将ResNet18网络模型的第一个卷积层的卷积核大小由3
×
3修改为5
×
5，ResNet18网络模型的第一个残差块保持不变，将ResNet18网络模型的第二个残差块和第三个残差块的步长调整为1，将所述ResNet的第四个残差块的通道数修改为256；
[0009]步骤三、在调整后的ResNet18网络模型的四个残差块中加入注意力机制；
[0010]步骤四、利用调整后的ResNet18网络模型替换所述胶囊网络的单卷积层；
[0011]步骤五、利用调整后的ResNet18网络模型从输入特征中提取训练特征图；包括：在所述输入特征上进行全局最大池化和全局平均池化得到两个一维向量，所述两个一维向量经过共享MLP层处理后相加，再经过Sigmoid激活函数，得到通道注意力权重，在所述通道注意力权重和输入特征的乘积上进行最大池化和平均池化，得到两个特征图，所述两个特征图经过卷积核大小为7
×
7的卷积层处理，得到一个新的特征图，再经过BN层和Sigmoid激活函数，得到空间注意力权重，将所述空间注意力权重与所述通道注意力权重和输入特征的乘积相乘得到所述训练特征图；
[0012]步骤六、将所述训练特征图输入至所述胶囊网络中进行训练，得到网络模型；
[0013]步骤七、针对所述网络模型，采用L2范数进行剪枝处理：具体包括如下步骤：
[0014]S1、通过L2范数评估所述网络模型每一层卷积的通道；其中，所述L2范数的计算公式如下：
[0015][0016]式中：x为输入向量，n为输入向量总的维度，i为当前输入向量的维数；
[0017]S2、判断所述通道是否满足L2范数，所述网络模型的卷积层中不满足L2范数的通道进行删减，并将所述训练特征图重新输入到所述网络模型中进行训练；
[0018]S3、重复执行上述步骤S1、S2，直至所述网络模型每一层卷积的通道满足L2范数；
[0019]S4、对所述网络模型的参数进行微调；
[0020]步骤八、利用数据集进行人脸表情识别：所述数据集至少包括：CK+数据集、RAF
‑
db数据集、FER+数据集。
[0021]进一步的，所述步骤一中，路由机制为所述胶囊网络的核心，低层特征和高层特征之间通过所述路由机制更新权重系数，且所述胶囊网络中采用的是动态路由机制，所述胶囊网络中的动态路由机制迭代3次。
[0022]进一步的，所述步骤一中，胶囊网络的初级胶囊层将提取到的特征封装为32个胶囊，每个胶囊含有8个卷积单元。
[0023]进一步的，所述步骤二中，ResNet18网络模型的四个残差块中加入的注意力机制为混合域的注意力机制，所述混合域的注意力机制包含通道域注意力机制和空间域注意力机制。
[0024]进一步的，所述步骤六中，胶囊网络采用ReLU激活函数；将所述胶囊网络采用的ReLU激活函数修改为ReLU6激活函数。
[0025]进一步的，所方法还包括：
[0026]网络模型构建模块，用于构建胶囊网络；所述胶囊网络包括：卷积层、初级胶囊层、数字胶囊层，所述卷积层是通道数为256，卷积核大小为9
×
9，步长为1的单卷积层，所述初级胶囊层包括：通道数为256、卷积核大小为9
×
9、步长为2的单卷积层，所述数字胶囊层包含7个胶囊，且所述数字胶囊层由所述初级胶囊层经过路由机制得到；
[0027]网络模型调整模块，用于调整ResNet18网络模型，包括：去除ResNet18网络模型的全连接层，剔除ResNet18网络模型的全局平均池化层，将ResNet18网络模型的第一个卷积层的卷积核大小由3
×
3修改为5
×
5，ResNet18网络模型的第一个残差块保持不变，将ResNet18网络模型的第二个残差块和第三个残差块的步长调整为1，将所述ResNet的第四个残差块的通道数修改为256；
[0028]注意力融入模块，用于在调整后的ResNet18网络模型的四个残差块中加入注意力机制；
[0029]卷积层替换模块，利用调整后的ResNet18网络模型替换所述胶囊网络的单卷积层；
[0030]特征图提取模块，利用调整后的ResNet18网络模型从输入特征中提取训练特征图；包括：在所述输入特征上进行全局最大池化和全局平均池化得到两个一维向量，所述两
个一维向量经过共享MLP层处理后相加，再经过Sigmoid激活函数，得到通道注意力权重，在所述通道注意力权重和输入特征的乘积上进行最大池化和平均池化，得到两个特征图，所述两个特征图经过卷积核大小为7
×
7的卷积层处理，得到一个新的特征图，再经过BN层和Sigmoid激活函数，得到空间注意力权重，将所述空间注意力权重与所述通道注意力权重和输入特征的乘积相乘得到所述训练特征图；
[0031]网络模型训练模块，用于将所述训练特征图输入至所述胶囊网络中进行训练，得到网络模型；
[0032]剪枝处理模块，用于针对所述网络模型，采用L2范数进行剪枝处理；
[0033]人脸表情识别模块，利用数据集进行人脸表情识别：所述数据集至少包括：CK+数据集、RAF
‑
db数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种ResNet18与胶囊网络结合并进行剪枝的人脸表情识别方法，其特征在于，包括如下步骤：步骤一、构建胶囊网络：所述胶囊网络包括：卷积层、初级胶囊层、数字胶囊层，所述卷积层是通道数为256，卷积核大小为9
×
9，步长为1的单卷积层，所述初级胶囊层包括：通道数为256、卷积核大小为9
×
9、步长为2的单卷积层，所述数字胶囊层包含7个胶囊，且所述数字胶囊层由所述初级胶囊层经过路由机制得到；步骤二、调整ResNet18网络模型：去除ResNet18网络模型的全连接层，剔除ResNet18网络模型的全局平均池化层，将ResNet18网络模型的第一个卷积层的卷积核大小由3
×
3修改为5
×
5，ResNet18网络模型的第一个残差块保持不变，将ResNet18网络模型的第二个残差块和第三个残差块的步长调整为1，将所述ResNet的第四个残差块的通道数修改为256；步骤三、在调整后的ResNet18网络模型的四个残差块中加入注意力机制；步骤四、利用调整后的ResNet18网络模型替换所述胶囊网络的单卷积层；步骤五、利用调整后的ResNet18网络模型从输入特征中提取训练特征图；包括：在所述输入特征上进行全局最大池化和全局平均池化得到两个一维向量，所述两个一维向量经过共享MLP层处理后相加，再经过Sigmoid激活函数，得到通道注意力权重，在所述通道注意力权重和输入特征的乘积上进行最大池化和平均池化，得到两个特征图，所述两个特征图经过卷积核大小为7
×
7的卷积层处理，得到一个新的特征图，再经过BN层和Sigmoid激活函数，得到空间注意力权重，将所述空间注意力权重与所述通道注意力权重和输入特征的乘积相乘得到所述训练特征图；步骤六、将所述训练特征图输入至所述胶囊网络中进行训练，得到网络模型；步骤七、针对所述网络模型，采用L2范数进行剪枝处理：具体包括如下步骤：S1、通过L2范数评估所述网络模型每一层卷积的通道；其中，所述L2范数的计算公式如下：式中：x为输入向量，n为输入向量总的维度，i为当前输入向量的维数；S2、判断所述通道是否满足L2范数，所述网络模型的卷积层中不满足L2范数的通道进行删减，并将所述训练特征图重新输入到所述网络模型中进行训练；S3、重复执行上述步骤S1、S2，直至所述网络模型每一层卷积的通道满足L2范数；S4、对所述网络模型的参数进行微调；步骤八、利用数据集进行人脸表情识别：所述数据集至少包括：CK+数据集、RAF
‑
db数据集、FER+数据集。2.根据权利要求1所述的ResNet18与胶囊网络结合并进行剪枝的人脸表情识别方法，其特征在于，所述步骤一中，路由机制为所述胶囊网络的核心，低层特征和高层特征之间通过所述路由机制更新权重系数，且所述胶囊网络中采用的是动态路由机制，所述胶囊网络中的动态路由机制迭代3次。3.根据权利要求1或2所述的ResNet18与胶...

【专利技术属性】
技术研发人员：冯宇平，刘宁，
申请(专利权)人：青岛科技大学，
类型：发明
国别省市：