本发明专利技术公开了一种课堂环境下多视角教学表情识别方法及系统。该方法包括步骤：获取教室内教师上课时长波红外多视角表情图像序列；分别对上述长波红外多视角表情图像序列进行预处理；分别将预处理后上述长波红外多视角表情图像输入到训练好的表情识别模型，获取教师上课时的表情结果；根据课堂中教师的教学表情变化，确定教师的教学情感状态，统计整节课所述的教学情感状态，从而为课堂教学评价智能化提供服务。本发明专利技术可以提高课堂环境下教师表情识别的准确性，进而可以用于分析教师的课堂情绪和情感，促进课堂评价的精细化和个性化。促进课堂评价的精细化和个性化。促进课堂评价的精细化和个性化。
【技术实现步骤摘要】
一种课堂环境下多视角教学表情识别方法及系统
[0001]本专利技术属于模式识别
，更具体地，涉及一种课堂环境下多视角教学表情识别方法及系统。
技术介绍
[0002]教师的教学情感状态是衡量教师课堂积极性的一种重要手段，可为课堂教学评价智能化提供更智能的服务。面部表情是人类表达内心情感和意图最普遍的信号之一，教师的面部表情是教师教学情感状态的有效表现形式。将面部表情识别技术应用于教师的教学状态检测，从一定程度上保证了评价的公平性和准确性。面部表情识别的难点在于：
①
面部图像不清晰，受其他因素(光照，拍摄角度等)影响图像像素低；
②
面部图像表情具有极大的不确定性；
③
相同表情之间的差异性，不同表情之间相似性极大地影响了模型的识别性能等。
[0003]传统的表情识别方法大多是基于2D图像的卷积神经网络模型。该模型方法的基本流程为：
①
通过图片直接输入2D卷积处理，通过不断训练来优化卷积内的参数；
②
通过卷积层后，进入最大池化层和全局归一化层；
③
得出最后的表情识别结果，计算预测值与真实值的损失，进行反向传播。
[0004]但是，该类传统方法的局限性主要体现在两方面。首先，图像是直接输入卷积模块的，破坏了图像内部信息，不能准确捕获图像的浅层信息。其次，学习环境的光照变化，光照过强或过弱，都会导致面部细节的丢失，有时还会产生阴影，影响识别结果。
技术实现思路
[0005]针对现有技术的至少一个缺陷或改进需求，本专利技术提供了一种课堂环境下多视角教学表情识别方法及系统，可以提高课堂环境下教师表情识别的准确性。
[0006]为实现上述目的，按照本专利技术的第一方面，提供了一种课堂环境下多视角教学表情识别方法，包括步骤：
[0007]S1，采集用户表情的多视角图像序列，所述多视角图像序列包括多类视角的图像序列；
[0008]S2，将所述多视角图像序列输入到表情识别模型，以获得用户表情识别结果；所述表情识别模型包括自相似矩阵提取模块、特征提取器、时间注意力网络、融合拼接模块和分类网络；所述自相似矩阵提取模块用于从所述多视角图像序列中分别提取每类视角的自相似矩阵；所述特征提取器用于根据每类视角的自相似矩阵获得每类视角的第一类特征向量；所述时间注意力网络用于根据每类视角的自相似矩阵获得每类视角的第二类特征向量；所述融合拼接模块用于将两类特征向量进行融合拼接后输入到所述分类网络。
[0009]优选地，在所述S2之前，还包括步骤：对所述多视角图像序列进行预处理，所述预处理包括：
[0010]将所述多视角图像序列的图像转化为PIL图像，然后将PIL图像的尺寸调整为224
×
224像素，再将PIL图像转换成张量图像，用平均值和标准偏差归一化张量图像。
[0011]优选地，在所述S2之后，还包括步骤：
[0012]S3，获取预设时间段内的用户表情识别结果总数和表情变化的次数，计算用户课堂表情变化的频率，并且绘制用户情感变化折线图。
[0013]优选地，所述多视角图像序列包括三类，分别是：左侧视角图像序列、正面视角的图像序列、和右侧视角图像序列。
[0014]优选地，所述多视角图像序列为长波红外图像序列，所述左侧视角图像序列包括同属于左侧视角的多个角度的多个图像序列，所述右侧视角图像序列包括同属于右侧视角的多个角度的多个图像序列。
[0015]优选地，所述S2包括子步骤：
[0016]分别提取所述左侧视角图像序列的第一自相似矩阵、所述正面视角图像序列的第二自相似矩阵、和所述右侧视角图像序列的第三自相似矩阵；
[0017]将所述第一自相似矩阵、所述第二自相似矩阵和所述第三自相似矩阵分别输入到所述特征提取器，分别获得第一特征向量、第二特征向量和第三特征向量；
[0018]将所述第一自相似矩阵、所述第二自相似矩阵和所述第三自相似矩阵分别输入到所述时间注意力网络，分别获得第四特征向量、第五特征向量和第六特征向量；
[0019]计算所述第一特征向量、所述第四特征向量的张量积，获得左侧视角融合特征向量，计算所述第二特征向量、所述第五特征向量的张量积，获得正面视角融合特征向量，计算所述第三特征向量、所述第六特征向量的张量积，获得右侧视角融合特征向量；
[0020]将所述左侧视角融合特征向量、所述正面视角融合特征向量、所述右侧视角融合特征向量进行拼接后输入到分类网络，获得用户表情识别结果。
[0021]优选地，所述特征提取器为3D特征提取器。
[0022]优选地，所述3D特征提取器包括两个卷积模块，两个卷积模块之间由3D平均池化层连接，每个卷积模块包括依次连接的一个3D卷积层、一个Rule层、两个3D卷积层、一个Rule层、一个3D最大池化层、两个3D卷积层、一个3D最大池化层。
[0023]优选地，所述时间注意力网络包括依次连接的1个全连接层、一个Rule层、一个全连接层、一个Rule层、一个全连接层、一个sigmoid层和一个重复层。
[0024]按照本专利技术的第二方面，提供了一种课堂环境下多视角教学表情识别系统，包括：
[0025]数据采集模块，用于采集用户表情的多视角图像序列，所述多视角图像序列包括多类视角的图像序列；
[0026]输出模块，用于将所述多视角图像序列输入到表情识别模型，以获得用户表情识别结果；所述表情识别模型包括自相似矩阵提取模块、特征提取器、时间注意力网络、融合拼接模块和分类网络；所述自相似矩阵提取模块用于从所述多视角图像序列中分别提取每类视角的自相似矩阵；所述特征提取器用于获得每类视角的第一类特征向量；所述时间注意力网络用于获得每类视角的第二类特征向量；所述融合拼接模块用于将两类特征向量进行融合拼接后输入到所述分类网络。
[0027]总体而言，本专利技术与现有技术相比，具有有益效果：
[0028](1)本专利技术采集多个不同视角的表情图像序列，通过提取不同视角图像序列的特征，融合同一人的各位置特征等辅助信息获得更加细致的特征信息，以辅助表情识别，极大
地提高了表情识别的准确率。
[0029](2)为了有效应对教师教学情绪检测任务中教师表情随时间变化而引起的问题，融入了时间注意力机制，同时利用自相似矩阵和特征提取器对图像进行了两次特征提取，将浅层特征提取和深层特征提取进行融合，克服传统卷积神经网络不能同时兼顾卷积的深度和识别的准确率问题。
[0030](3)采集图像为长波红外图像，可以获取更多表情细节信息，有效应对教室内不同光亮变化和教师活动引起的角度变化的影响。
附图说明
[0031]图1是本专利技术实施例的课堂环境下多视角教学表情识别方法的原理示意图；
[0032]图2是本专利技术实施例的教师课堂场景的模拟图；
[0033]图3是本专利技术实施例的表情识别模型的网络示意图。
具体实施方式
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种课堂环境下多视角教学表情识别方法，其特征在于，包括步骤：S1，采集用户表情的多视角图像序列，所述多视角图像序列包括多类视角的图像序列；S2，将所述多视角图像序列输入到表情识别模型，以获得用户表情识别结果；所述表情识别模型包括自相似矩阵提取模块、特征提取器、时间注意力网络、融合拼接模块和分类网络；所述自相似矩阵提取模块用于从所述多视角图像序列中分别提取每类视角的自相似矩阵；所述特征提取器用于根据每类视角的自相似矩阵获得每类视角的第一类特征向量；所述时间注意力网络用于根据每类视角的自相似矩阵获得每类视角的第二类特征向量；所述融合拼接模块用于将两类特征向量进行融合拼接后输入到所述分类网络。2.如权利要求1所述的一种课堂环境下多视角教学表情识别方法，其特征在于，在所述S2之前，还包括步骤：对所述多视角图像序列进行预处理，所述预处理包括：将所述多视角图像序列的图像转化为PIL图像，然后将PIL图像的尺寸调整为224
×
224像素，再将PIL图像转换成张量图像，用平均值和标准偏差归一化张量图像。3.如权利要求1所述的一种课堂环境下多视角教学表情识别方法，其特征在于，在所述S2之后，还包括步骤：S3，获取预设时间段内的用户表情识别结果总数和表情变化的次数，计算用户课堂表情变化的频率，并且绘制用户情感变化折线图。4.如权利要求1所述的一种多视角教学表情识别方法，其特征在于，所述多视角图像序列包括三类，分别是：左侧视角图像序列、正面视角的图像序列、和右侧视角图像序列。5.如权利要求4所述的一种多视角教学表情识别方法，其特征在于，所述多视角图像序列为长波红外图像序列，所述左侧视角图像序列包括同属于左侧视角的多个角度的多个图像序列，所述右侧视角图像序列包括同属于右侧视角的多个角度的多个图像序列。6.如权利要求4所述的一种多视角教学表情识别方法，其特征在于，所述S2包括子步骤：分别提取所述左侧视角图像序列的第一自相似矩阵、所述正面视角图像序列的第二自相似矩阵、和所述右侧视角图像序列的第三自相似矩阵；将所述第一自相似矩阵、所述第二...
【专利技术属性】
技术研发人员：刘婷婷，杨兵，刘海，张昭理，吴远芳，李友福，陈胜勇，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。