【技术实现步骤摘要】
本专利技术属于计算机视觉领域，具体涉及一种基于yolov5的实时微表情识别方法。
技术介绍
1、面部表情是通过面部肌肉的运动来表达情绪和内心状态的一种自然表现形式，它在情绪传达、沟通以及人际关系中扮演着重要角色。相对于易识别的外显表情，微表情是一种短暂且不受控制的面部表情，通常持续0.04到0.2秒之间，反映了个体在抑制或隐藏情绪时的真实情感。研究表明，微表情具有高度情绪信息密度，能够揭示出诸如愤怒、恐惧、悲伤、惊讶等人类情感。这种特性使微表情识别在心理学、刑侦、犯罪预防、情绪计算、人机交互等领域中具有独特应用价值。
2、现有的微表情识别研究多基于面部特征点的位移或基于光流法等传统机器学习方法。然而，这些方法通常需要大量的手工特征工程和预处理步骤，需要手工标注大量特征点并进行复杂的预处理，导致识别效率低、实时性差。由于微表情持续时间极短且变化幅度微小，传统方法在准确性上也面临挑战，其主要难点在于数据采集和标注的复杂性，而微表情数据集通常通过诱导实验获取，这种方法限制了样本数量和样本的多样性。此外，微表情在表情强度、持续时间和发生频率上存在显著差异，导致模型在训练过程中需要高精度的数据标注和优化策略，以确保识别效果。
技术实现思路
1、本专利技术针对现有技术的不足，提供了一种基于yolov5的实时微表情识别方法，通过改进后的yolov5网络模型结构，能够提取到更加丰富和多样化的特征，提高改进后的yolov5网络模型的精确度、召回率和鲁棒性，使改进后的yolov5网络模型能
2、近年来，深度学习技术，特别是卷积神经网络(cnn)的引入，为微表情识别带来了新的可能性。cnn能够从原始图像数据中自动提取特征，极大地简化了特征工程，并提升了识别的准确性。yolo是一种实时目标检测框架，因其高效性和精度高而广泛应用于目标检测任务。yolov5作为yolo的改进版本，具备更高的检测精度和速度，非常适用于实时处理场景。通过在yolov5的基础上进行模型优化和训练，微表情识别可以在实时视频流中有效检测并分类，从而提升情绪分析和人机交互的智能化水平。
3、本专利技术采用的技术方案是：一种基于yolov5的实时微表情识别方法，包括如下具体步骤：
4、step1、搭建微表情原数据集，并对搭建的原数据集进行预处理，将预处理后得到新数据集分成训练集和测试集；
5、step2、在conda虚拟环境中对step1中的新数据集进行愤怒、高兴、正常、难过、厌恶五种表情的分类；
6、step3、对yolov5网络模型结构进行改进：在backbone部分利用c3_dcn模块替换c3模块，在transformer自注意力机制中引入aifi内部尺度特征交互模块，将训练的损失函数改为ota优化损失函数；
7、step4、将训练集放入改进后的yolov5网络模型中进行训练，将测试集放入改进后的yolov5网络模型中进行分析特征与识别，获取微表情的分类与识别，并对改进后的yolov5网络模型的性能进行评价；
8、step5、利用pyqt5进行软件界面设计，将改进后的yolov5网络模型与pyqt5结合，呈现实时的检测结果；
9、具体地，所述步骤step1中使用深度学习运动放大算法对微表情视频进行预处理，捕捉有用的面部运动信息，将微表情视频集截取为图片，与其余微表情图片组成新数据集。
10、具体地，所述步骤step2中采用labelimg对新数据集进行人工标注，创建训练文件夹将人脸表情锚定框与类别信息进行类别的标注并存放为原始照片，再创建一个新的标签文件夹，用于存储指定文件夹yolo格式的txt注释文件，即权重文件。
11、具体地，所述步骤step3中：
12、(1)c3_dcn模块，即可变形卷积dcn模块：
13、在backbone部分利用c3_dcn模块替换c3模块，通过卷积操作计算出偏移量掩码，将偏移量掩码分解为偏移量和掩码两部分，再利用偏移量和掩码信息进行可变形卷积操作，最后通过批归一化和激活函数处理得到最终输出，其具体表达式如下：
14、
15、式中，y(p0)表示输出特征图在位置p0的值；p0表示当前输出特征点的位置；pn表示固定的卷积核采样位置；δpn表示动态学习得到的偏移量；r表示卷积核的采样位置集合；w(pn)表示卷积核权重；x表示输入特征图；
16、(2)aifi内部尺度特征交互模块：
17、在transformer自注意力机制中引入aifi内部尺度特征交互模块，对特征图的不同位置进行交互建模，在处理长序列时捕获长距离依赖关系，构建二维正余弦位置编码，使长序列的全局依赖建模能力能够感知特征图中每个位置的空间信息；
18、(4)ota优化损失函数
19、将训练的损失函数改为ota优化损失函数，将computelossota损失函数作为ota优化损失函数，其两个核心部分的具体表示如下所示：
20、l为ota优化损失函数的总损失，其表达式为：
21、
22、式中，m表示所有分配的正样本对(i,j)的集合；πij表示预测框i和目标框j之间的分配权重；表示训练过程自动得到的边界框回归损失；表示训练过程自动得到的分类损失；表示训练过程自动得到的目标置信度损失；
23、在ota优化损失函数中，代价矩阵cij是核心的计算部分，其表达式为：
24、
25、代价矩阵cij是一个np×nt的矩阵，其中np是预测框的数量，nt是目标框的数量。式中，iouij表示第i个预测框与第j目标框的iou；表示分类损失；表示目标置信度损失；α表示控制边界框回归损失权重的超参数；β表示控制分类损失权重的超参数；γ表示控制目标置信度损失权重的超参数。
26、具体地，对改进后的yolov5网络模型性能评价的指标包括：交并比iou、查全率r、查准率p、平均准确率ap和平均准确率均值map，其具体表达式如下：
27、
28、
29、式中，a∩b表示预测框和真实框的交集面积；a∪b表示预测框和真实框的并集面积；tp表示正确预测为正样本的数量；fn表示真实正样本被错误预测为负样本的数量；fp表示错误预测为正样本的数量；n表示目标类别的总数；apc表示类别c的平均精度；p(r)表示当召回率r达到某个特定值时，模型在该召回率下的精确率。
30、具体地，所述步骤step5中，使用pyqt5进行设计与实时微表情识别，为使用者提供一个软件界面来选取检测图片还是检测视频，利用pyqt5的文件对话框功能，实现文件的浏览和选择，使用者点击软件界面上的加载按钮之后，选中的文件路径将在此软件界面中呈现，软件界面整合了导航菜单、展示区和信息栏，导航菜单允许用户进行文件选取、设置和调节，展示区呈现实时的检测结果，而本文档来自技高网...
【技术保护点】
1.一种基于yolov5的实时微表情识别方法，其特征在于：包括如下具体步骤：
2.根据权利要求1所述的一种基于yolov5的实时微表情识别方法，其特征在于：所述步骤Step1中使用深度学习运动放大算法对微表情视频进行预处理，捕捉有用的面部运动信息，将微表情视频集截取为图片，与其余微表情图片组成新数据集。
3.根据权利要求1所述的一种基于yolov5的实时微表情识别方法，其特征在于：所述步骤Step2中采用Labelimg对新数据集进行人工标注，创建训练文件夹将人脸表情锚定框与类别信息进行类别的标注并存放为原始照片，再创建一个新的标签文件夹，用于存储指定文件夹YOLO格式的txt注释文件，即权重文件。
4.根据权利要求1所述的一种基于yolov5的实时微表情识别方法，其特征在于：所述步骤Step3中：
5.根据权利要求1所述的一种基于yolov5的实时微表情识别方法，其特征在于：对改进后的yolov5网络模型性能评价的指标包括：交并比IoU、查全率R、查准率P、平均准确率AP和平均准确率均值mAP，其具体表达式如下：
6.
...【技术特征摘要】
1.一种基于yolov5的实时微表情识别方法，其特征在于：包括如下具体步骤：
2.根据权利要求1所述的一种基于yolov5的实时微表情识别方法，其特征在于：所述步骤step1中使用深度学习运动放大算法对微表情视频进行预处理，捕捉有用的面部运动信息，将微表情视频集截取为图片，与其余微表情图片组成新数据集。
3.根据权利要求1所述的一种基于yolov5的实时微表情识别方法，其特征在于：所述步骤step2中采用labelimg对新数据集进行人工标注，创建训练文件夹将人脸表情锚定框与类别信息进行类别的标注并存放为原始照片，再创建一个新的标签文件夹，用于存储指定文件夹yolo格式的txt注释文件，即权重文件。
4.根据权利要求1所述的一种基于yolov5的实时微表情识别方法，其特征在于：所述步骤step3中：<...
【专利技术属性】
技术研发人员：李文国，杨添博，陶欣冉，曹创，林红军，朱鑫，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。