【技术实现步骤摘要】
本专利技术涉及深度学习和图像处理，尤其涉及一种融合不确定性估计与主动学习的表情识别方法。
技术介绍
1、在计算机视觉和人机交互领域中具有重要的应用。传统的表情识别方法主要依赖于手工特征提取和机器学习算法，这些方法在处理大规模数据和复杂场景时往往表现不佳。随着深度学习技术的发展，基于深度神经网络的方法在表情识别任务中取得了显著进展。然而，深度学习模型的训练通常需要大量标注数据，而数据标注过程费时费力且昂贵。
2、此外，深度学习模型在训练和推理过程中通常对训练数据的分布和质量高度敏感。特别是在存在噪声标签或数据分布不均的情况下，模型的性能可能会显著下降。为了解决这些问题，引入了不确定性估计和主动学习技术。不确定性估计通过量化模型对每个样本的预测置信度，可以帮助识别出难以分类或可能被错误分类的样本。主动学习技术则通过智能选择最有价值的样本进行标注，从而在减少标注成本的同时提高模型性能。
3、然而，现有技术中对于如何有效结合这两种方法以实现最佳性能的研究仍然较少。因此，需要一种新的表情识别方法，将不确定性估计与主动学习技术有机结合，以提高表情识别的准确性和鲁棒性。
技术实现思路
1、为了解决上述现有技术存在的不足之处，本专利技术提出一种融合不确定性估计与主动学习的表情识别方法，以减少标注成本、提高模型性能并增强对未见表情的泛化能力。
2、本专利技术提供的融合不确定性估计与主动学习的表情识别方法包括如下步骤：
3、步骤1、构建第一阶段：对比预训
4、步骤2、构建simclr(simpleframeworkforcontrastivelearningofvisualrepresentations)：对比预训练表情识别网络，是由骨干网络、全局平均池化层、投影头、动态重标注模块构成；
5、步骤3、构建基于不确定性估计的重标注模块，主要包括自注意力权重模块，对数加权交叉熵损失，正则化排序和动态阈值重标注；
6、步骤4、主动学习。
7、优选的，所述步骤1包括子步骤：
8、步骤1.1、数据采样：选定数据集并通过随机采样人脸图像得到人脸图象数据集x＝{x1,x2,···,xk···xk}，xk表示第k个人脸图像，并将其人脸所对应的标签值单独保存为y＝{y1,y2,···,yk···yk}，yk表示第k个人脸图像所对应的标签值；
9、步骤1.2、分别对数据集x中的每张人脸做调整图象大小，归一化像素值操作，接着应用随即变换(旋转、裁切、颜色等调整)来得到数据增强图象x'＝{x'1,x'2,···,x'k···x'k}，x”＝{x”1,x”2,···,x”k···x”k}，其中x'k和x”k分别表示第k个样本的随机数据增强视图，并将这两个视图作为正样本对。
10、优选的，所述步骤2包括子步骤：
11、步骤2.1、所述骨干网络网络是resnet18网络，并依次包括第一卷积块、第二卷积块、第三卷积块、第四卷积块、第五卷积块、第六全连接块；
12、第一卷积块的卷积核为m1×m2，第二卷积块的由一个残差块构成，第三卷积块由一个残差块构成；第四卷积块由二个残差块构成；第五卷积块由二个残差块构成；第六全连接块包含全局平均池化和全连接层；每个残差块中包含两个3×3的卷积核；
13、步骤2.2、将x',x”分别输入所述骨干网络中进行处理，并依次经过五个卷积块的处理后，分别输出第k张增强图形特征图f'k、f”k，全局平均池化层将每个特征图的空间维度压缩到单个数值，从而得到两个定长的特征向量zi,zj；
14、步骤2.3、对比损失计算和训练，计算正样本对zi,zj的余弦相似度；从当前批次中选择负样本；每个视图的特征向量对其他视图的特征向量都是负样本；利用公式(1)对于每个正样本对，最大化其相似度，同时最小化其与所有负样本对的相似度，
15、
16、式(1)zi,zj中分别是样本i和正样本p的嵌入表示，za为负样本的嵌入表示，τ是温度参数，1[k≠i]是一个指示函数，当k≠i时为1，否则为0；p(i)＝{p∈{1,...,n}|yp＝yi,p≠i}为正样本集。
17、优选的，所述步骤3包括子步骤：
18、步骤3.1、计算自注意力权重：将f”k输入所述softmax分类器中进行反向传播后，提取全连接fc层的特征权重并与样本x进行特征加权，通过公式(2)得到每一个图像样本所对应的特征权值；
19、
20、式(2)中，αi是第i个样本的特征权重，是全连接层的权重系数，σ是sigmod函数；
21、步骤3.2、利用公式(3)计算对数加权交叉熵损失lwce
22、
23、其中wj是第j个分类器的权重；
24、步骤3.3、正则化排序：首先对注意力权重进行降序排序，然后比例将其分为高标准差注意力权重组as和低标准差注意力权重组au两组；接着使用公式(4)和(5)的秩正则化来确保高重要性组的标准差注意力权重略高于低重要性组的标准差注意力权重；
25、lrr＝max{0,δ1-(αs-αu)}(4)
26、式(4)中，其中δ1为控制低重要性群体总数所占比例的边际值，训练时，将综合损失函数定义为：
27、lall＝γlrr+(1-γ)lwce(5)
28、式(5)，中γ是权衡比；
29、步骤3.4、动态阈值重新标记：不确定样本通常表现出较低的重要权重，即au,重标注模块将au中的样本数据使用softmax概率的方法来评估具有较低重要权重的样本；使用公式(6)和(7)在最高预测概率和分配给原始标签的概率之间进行比较；当前者超过后者时，样本被重新分配一个新的伪标签；动态阈值重标记过程的操作如下:
30、
31、式(6)中，δ2为阈值，pmax为预测概率最大的值，pgtind表示给定标签值的概率；lmax和lorg分别是原始给定标签的索引和最大预测值的索引；
32、式(7)中，increase和decrease表示每次调整的幅度大小；
33、步骤3.5、基于总体损失函数lall对对比监督预训练网络进行训练，当训练迭代次数达到设定的次数或总体损失函数lall收敛时，训练停止，从而得到最优的人脸表情特征提取网络模型mp，用于后续主动学习。
34、优选的，所述步骤4包括子步骤：
35、步骤4.1、将人脸数据集x划分为一个小规模的已标注数据集
36、和一个大量的未标注数据集dl所在数据集中的最后位置initial_points为区分有无标注数据的起始点；
37、步骤4.2、最小置信度法：
38、设置学习轮数为7，在每一轮主动学习中，模型mp从未标注数据集du中选择样本的批处理大小，对于du中的每个样本都通过softmax分类器分别对其本文档来自技高网...
【技术保护点】
1.一种融合不确定性估计与主动学习的表情识别方法，其特征在于，包括如下步骤：
2.如权利要求1所述的融合不确定性估计与主动学习的表情识别方法，其特征在于，所述步骤1包括子步骤：
3.如权利要求1所述的融合不确定性估计与主动学习的表情识别方法，其特征在于，所述步骤2包括子步骤：
4.如权利要求1所述的融合不确定性估计与主动学习的表情识别方法，其特征在于，所述步骤3包括子步骤：
5.如权利要求4所述的融合不确定性估计与主动学习的表情识别方法，其特征在于，所述步骤4包括子步骤：
【技术特征摘要】
1.一种融合不确定性估计与主动学习的表情识别方法，其特征在于，包括如下步骤：
2.如权利要求1所述的融合不确定性估计与主动学习的表情识别方法，其特征在于，所述步骤1包括子步骤：
3.如权利要求1所述的融合不确定性估计与主动学习的表情识别方...
【专利技术属性】
技术研发人员：王宇键，张建勋，孙仁浩，廖丹丹，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。