【技术实现步骤摘要】
本专利技术属于人工智能神经网络和计算机视觉，特别涉及一种快速反应且高准确率的人类情感识别的系统和方法。
技术介绍
1、面部表情是人类情感和心理状态的直观反映，在人际交往和多种社会活动中占据着重要地位。随着人工智能技术的快速发展，尤其是深度学习技术的突破，面部表情识别技术已成为研究的热点，其在提高用户体验、增强操作效率、实现智能监控等方面具有重要的应用价值。
2、然而，面部表情识别技术面临着多方面的挑战。首先，人类表情的微妙变化、复杂的光照条件、面部遮挡以及个体差异性等因素，增加了表情识别的难度。其次，现有技术在实时性和准确性之间往往难以取得理想平衡，限制了其在实际应用中的广泛部署。此外，传统方法在泛化能力和处理复杂情感变化方面存在不足。
技术实现思路
1、本专利技术的目的在于针对现有技术的不足，提供一种快速反应且高准确率的人类情感识别的方法和系统，通过结合端到端的深度学习模型和vgg模型的优势，对人类面部表情进行快速检测和准确分类，提高了面部表情识别的准确性和实时性，增强了系统的泛化能力和处理复杂情感变化的能力。
2、本专利技术基于端到端的深度学习模型yolo和vgg的进行面部表情识别，利用端到端的深度学习模型快速准确的目标定位能力实现迅速识别面部区域。利用vgg模型的深层网络结构，对检测到的面部图像进行表情分类，提取丰富的特征信息。通过对端到端的深度学习模型yolo的微调和vgg模型的迁移学习，在标准面部表情数据集上取得了令人满意效果，提高了面部表情识别的
3、本专利技术提供的快速反应且高准确率的人类情感识别方法，包括以下内容：
4、步骤1：使用多个公开的面部表情数据集进行数据预处理，包括大小调整、归一化等，以适配后续处理的的输入要求；
5、步骤2：对经过预处理的图像采用端到端的学习模型yolo算法快速进行人脸检测，并且截取人脸图像；
6、步骤3：对截取的人脸图像采用vgg进行表情特征提取、识别与分类；并对vgg模型进行迁移学习，利用在大规模数据集上学习到的特征表示进行表情分类；
7、步骤4：将表情识别和表情分类的结果通过ui用户界面进行描框、数值显示呈现。
8、上述方法中，进一步地，步骤2对端到模型进行预训练，以提高面部检测的准确性，利用加载预训练权重的yolo模型进行前向传播，得到面部区域及其置信度。进一步优选地，端到端的学习模型优选yolov5。
9、所述yolo面部检测算法的实现过程如下：
10、(1)模型初始化与训练微调：采用convnext、cspdarknet或swin transformer模型作为yolo算法的主干网络来进行人脸检测，提取图像特征；然后加载yolo的预训练权重，选择优化器adam优化器对选择的模型进行训练微调使模型对人脸的检测更加精准；
11、(2)图像输入：接收经过处理时的适合yolo模型尺寸的图片为输入图像；
12、(3)特征提取(`yolobody`):yolo通过其主干网络，包含卷积层、上采样、下采样和连接层，构建有效的特征层来提取图像特征，然后通过多尺度特征融合、锚框等操作以更好地适应本任务(表情识别)；
13、(4)yolo头部(`yolo_head_p3`,`yolo_head_p4`,`yolo_head_p5`):采用模型的输出层，`yolo_head_p3`,`yolo_head_p4`或`yolo_head_p5`预测每个特征层上每个网格单元中的对象存在的概率、类别和边界框坐标；
14、(5)损失函数(`yololoss`):使用二元交叉熵(binary cross-entropy,bce)损失函数来计算分类损失，对每个类别进行sigmoid激活；
15、(6)多尺度预测:在多个尺度上进行预测，实现不同大小的对象的检测；
16、(7)锚框(anchor boxes):使用预定义的锚框来预测对象的检测框；
17、(8)非极大值抑制(nms):在步骤(6)预测阶段，应用阈值滤波和非极大值抑制(nms)去除重复和低置信度的检测框，保留最终的面部检测结果。
18、上述方法中，进一步地，步骤(1)中的模型训练微调中还包括使用mosaic数据增强、自适应锚框计算、图片防失真和自适应图片缩放技术来增强模型的泛化能力。
19、上述方法中，进一步地，步骤3优选通过vgg16算法实现面部表情的分类，该算法利用迁移学习技术在表情识别数据集上进行训练，以提取表情特征并进行分类；分类结果通过softmax层输出，得到不同表情类别的置信度。所述vgg16模型由5层卷积层、3层全连接层、1层softmax输出层组成，并用maxpool分别隔开，激活单元为relu函数。第一次经过64个卷积核的两次卷积后，采用一次pooling，第二次经过两次128个卷积核卷积后，再采用pooling，再重复两次三个512个卷积核卷积后，再pooling，然后经过三次全连接，得到1x1x1000的输出之后,最后经过softmax层进行预测类别。每层填充都是用3*3、步长为1的卷积(保证输出和输入的特征图大小保持不变)，池化用2*2，步长为2的卷积，(让输出和输入的特征图大小为1：2关系)，最后输出1000(采用imagenet数据集为1000类别)。
20、所述vgg16具体的算法实现如下：
21、(1)模型准备阶段：在`vgg16.py`文件选择`my_vgg16`的类(继承自`torch.nn.module`)，来实现vgg16模型(定义vgg的神经网络结构)，包括特征提取层和分类层。在初始化方法`__init__`中，指定类别的数量(`num_classes`)，初始化权重(`init_weight`)，以及加载预训练权重(`pretrained`)。
22、(2)特征提取：通过`my_vgg16`类中的`features`属性完成特征提取。所述`features`为由多个卷积层(`nn.conv2d`)和激活函数(`nn.relu`)以及池化层(`nn.maxpool2d`)组成的序列；通过多个卷积层共同作用于输入图像，提取出表情的特征。
23、(3)分类器训练：分类器由`classifier`属性实现，其为由全连接层(`nn.linear`)和激活函数(`nn.relu`)以及dropout层组成的序列。最后一个全连接层的输出特征数等于类别数，用于表情分类；在imagenet数据集上预训练的权重，通过迁移学习来提高面部表情识别的准确性；在训练过程中，通常会使用交叉熵损失函数(`nn.crossentropyloss`)来训练模型。
24、(4)性能优化：通过本文档来自技高网...
【技术保护点】
1.一种快速反应且高准确率的人类情感识别方法，其特征在于，包括以下内容：
2.根据权利要求1所述方法，其特征在于，步骤2所述端到端的学习模型YOLO面部检测算法的实现过程如下：
3.根据权利要求1所述方法，其特征在于，步骤(1)中的模型训练微调中还包括使用Mosaic数据增强、自适应锚框计算、图片防失真和自适应图片缩放技术来增强模型的泛化能力。
4.根据权利要求1所述方法，其特征在于，步骤3通过VGG16算法实现面部表情的分类，所述VGG16模型由5层卷积层、3层全连接层、1层softmax输出层组成，并用maxpool分别隔开，激活单元为ReLU函数；第一次经过64个卷积核的两次卷积后，采用一次pooling，第二次经过两次128个卷积核卷积后，再采用pooling，再重复两次三个512个卷积核卷积后，再pooling，然后经过三次全连接，得到1x1x1000的输出之后,最后经过softmax层进行预测类别；每层填充都是用3*3、步长为1的卷积，池化用2*2，步长为2的卷积，最后输出1000；
5.根据权利要求1所述方法，其特征在
6.根据权利要求1所述方法，其特征在于，通过端到端的深度学习模型和VGG模型的参数进行调整，以适应不同光照条件、面部遮挡和表情强度的变化；通过单元测试、集成测试和用户测试对系统进行全面的性能评估，确保系统的稳定性和可靠性，评估系统的准确性、鲁棒性和实时性；根据测试结果对模型结构和算法流程进行优化，提高系统在复杂条件下的识别准确率。
7.根据权利要求1所述方法，其特征在于，所述用户界面采用PyQt5框架构建，提供用户友好的操作界面。
8.根据权利要求3所述方法，其特征在于，通过算法融合技术结合YOLO的检测置信度和VGG16的分类置信度，引入错误检测机制，对不一致或低置信度的结果进行二次分析，以此提高系统的整体性能和鲁棒性。
9.基于权利要求1-8中任一权利要求所述方法的快速反应且高准确率的人类情感识别方法和相关算法的系统，其特征在于，包括输入模块、预处理模块、面部检测模块、表情分类模块、后处理模块、用户界面模块；
10.根据权利要求9所述系统，其特征在于，还包括性能评估模块，用于在完成表情识别后评估系统在准确性、实时性和鲁棒性；该模块通过测量系统处理单张图像所需的时间、比较模型预测结果和测试集的真实标签是否一致，以及在不同光照、表情强度和面部遮挡条件下的测试来进行评估；通过单元测试、集成测试、性能测试和用户测试方法，确保系统的稳定性和可靠性；还包括数据增强模块，对输入VGG模型进行训练的数据通过图像的旋转、缩放、翻转等变换来扩充数据集，从而提高模型训练时的泛化能力和鲁棒性。
...【技术特征摘要】
1.一种快速反应且高准确率的人类情感识别方法，其特征在于，包括以下内容：
2.根据权利要求1所述方法，其特征在于，步骤2所述端到端的学习模型yolo面部检测算法的实现过程如下：
3.根据权利要求1所述方法，其特征在于，步骤(1)中的模型训练微调中还包括使用mosaic数据增强、自适应锚框计算、图片防失真和自适应图片缩放技术来增强模型的泛化能力。
4.根据权利要求1所述方法，其特征在于，步骤3通过vgg16算法实现面部表情的分类，所述vgg16模型由5层卷积层、3层全连接层、1层softmax输出层组成，并用maxpool分别隔开，激活单元为relu函数；第一次经过64个卷积核的两次卷积后，采用一次pooling，第二次经过两次128个卷积核卷积后，再采用pooling，再重复两次三个512个卷积核卷积后，再pooling，然后经过三次全连接，得到1x1x1000的输出之后,最后经过softmax层进行预测类别；每层填充都是用3*3、步长为1的卷积，池化用2*2，步长为2的卷积，最后输出1000；
5.根据权利要求1所述方法，其特征在于，在步骤3前对要输入vgg模型进行训练的数据进行旋转、缩放、翻转来扩充数据集；步骤3对vgg模型进行迁移学习技术，通过在标准面部表情数据集上的预训练权重进行微调，以适应特定的表情识别任务。
6.根据权利要求1所述方法，其特征在于，通过端到端的深度学习模型和vgg...
【专利技术属性】
技术研发人员：赵泽发，罗日贵，詹永强，蒋明，陶星宇，张峰，卢垚，
申请(专利权)人：广西广播电视信息网络股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。