【技术实现步骤摘要】
一种基于教师非言语行为的教学过程评价方法
[0001]本专利技术涉及教学评价信息化技术，尤其涉及一种基于教师非言语行为的教学过程评价方法。
技术介绍
[0002]传统课堂评价依赖课堂观察，这种方式耗时耗力，不够客观。而教师课堂非言语行为体现了教师的教学艺术水平，是教师课堂言语行为的必要补充；能对学生起典型示范作用，影响着学生的交流技能和对教师传递信息的理解程度。从而最终影响教学质量，所以对教师课堂非言语行为研究对全面提高教学质量起着关键作用。
[0003]以往人们对教师素养评价是从言语行为的角度对语言运用技能，组织教学技能等方面进行。传统非言语行为的理解缺乏对教学效果的全面描述，导致教师课堂非言语行为量化的可解释性无法保证。并且行为模式个体差异大，现有理解模式效率低、规模小、主观性强、缺乏科学化评判标准，整体智能化不足、效能偏低。传统方案依赖于问卷调查的结果性评价，教师非言语行为贯穿着教学的整个过程，在教学实践中的独特作用被广大优秀教师所重视。教学活动是特殊情境下的认知过程，教师非言语行为能调动学生诸如动机、意志、态度、兴趣等因素，这些因素不直接参与认知过程，但对认知获得有着促进和调节作用。在信息技术与教育理论深度融合的当今时代，立足数字化教学场景，利用人工智能技术对教师非语言行为进行有效量化，是实现教学模式创新与改革工作推进的关键一环。
[0004]利用大数据技术通过智慧教学环境下教师非言语行为量化计算方法来对课堂教学过程进行评价，具有客观性、持续性以及迭代性等性质，打破传统的量表评价形式。>
技术实现思路
[0005]本专利技术要解决的技术问题在于针对现有技术中的缺陷，提供一种基于教师非言语行为的教学过程评价方法。
[0006]本专利技术解决其技术问题所采用的技术方案是：一种基于教师非言语行为的教学过程评价方法，包括以下步骤：
[0007]1)非言语行为数据采集，获取教学课堂中教师的非言语行为数据，包括：情绪、身势和生理信号三种模态数据；所述情绪模态数据为教师的面部表情图像和该面部表情下对应的手势动作图片；所述身势模态数据为教师的头部转向姿态图片；所述生理信号为教师的脑电数据；
[0008]2)采用行为特征矩阵对教师教学非言语行为进行全方位表征量化；
[0009]2.1)数据预处理；包括噪声数据、冗余数据和缺失值的处理；
[0010]2.2)对教师教学非言语行为进行表征量化；
[0011]2.2.1)教师面部表情和手势动作的特征表示，将情绪模态数据输入LeNet
‑
5神经网络对面部表情图像和手势动作进行特征提取，最后一层输出的特征作为情绪特征向量；
[0012]其中，LeNet
‑
5神经网络的训练方法如下：
[0013]通过余弦相似度公式计算不同教师面部表情、手势动作的相似度；其次，对所计算的教师面部表情、手势动作相似度融合后得到的情绪相似度按照Hump排序算法进行排序，并使用student
‑
t分布函数对排序结果进行拟合，得到每种教学情绪的真实标签分布，经过若干迭代优化后可以得到最优解，即教师面部情绪结果；用于表情标签构造的Student
‑
t分布函数表示为公式(1)，其中Γ(
·
)表示Gamma函数，v表示自由度；
[0014][0015]2.2.2)提取教师头部转向姿态图像，将教师的头部转向姿态图片作为输入，并利用EfficientNet网络进行特征的提取；
[0016]EfficientNet网络的训练方法如下：
[0017]进行三元姿态感知损失和von Mises
‑
Fisher分布损失的计算。三元姿态感知的损失是通过计算不同特征间的相似度生成的，首先定义相似度度量D，而后得到感知损失L
t
，其表示为公式(2)和(3)；
[0018][0019]L
t
(x
n
,x
a
,x
p
)＝max(0,D(x
a
,x
n
)
‑
D(x
a
,x
p
)).
ꢀꢀ
(4)
[0020]而对于分布损失，是通过将各自的特征输入到分布模块所得到的。在von Mises
‑
Fisher分布模块中，首先将得到的特征输入全连接层，输出得到无约束矩阵M并构造von Mises
‑
Fisher分布，而后利用表示教师头部姿态的旋转矩阵R进行分布损失的计算；
[0021]提取教师脸部图像，将图像宽度和高度分别设置为w和h，获取左右眼瞳孔中心的坐标B1和B2等信息，计算并得到教师左、右眼的pitch和yaw角，采用均方差和KL散度损失作为网络模型的loss，经过多次迭代提高左右眼的pitch和yaw角的准确度。拟将学习标签构造成高斯分布的形式，其具体公式为：
[0022][0023]其中，x表示一幅教师教学的脸部图像，代表眼球的pitch角和yaw角。
[0024]2.2.3)将采集的多通道的脑电信号分成多个段，从每段信号中采用用于表情标签构造的Student
‑
t分布函数提取时域、频域和非线性动力学特征，并构造成特征序列；
[0025]构建一种基于长短时记忆(LongShort
‑
TermMemor,LSTM)网络和EGG的情绪识别模型。首先对脑电信号进行预处理，获取高效鲁棒的脑电数据；然后从预处理的脑电数据中分别提取多种特征并构造成特征序列；最后使用特征序列与相应的情绪标签来训练分类器。
[0026]2.3)根据表征完成后的特征向量形成每位教师实时精准的行为特征矩阵；行为表征矩阵H
ij
，i表示教师的编号，j表示三种模态数据的特征表征；
[0027]将步骤2.2)中的通过对教师的非言语行为进行表征量化后，得到教师的行为表现向量，包括：面部情绪E＝<e1,e2,
…
,e
t
>、身势B＝<b1,b2,
…
,b
t
>以及生理P＝<p1,p2,
…
,p
t
>，
[0028]首先通过多通道注意力机制，针对不同行为向量，学习行为权重W
E
、W
B
和W
P
，并与之向量相乘后输入到帧注意力模型，学习不同行为向量中的帧序列权重，如W
e,1
、W
e,2
、W
e,3
等。为不同时间序列下的行为状态进行权重分配后，输入到LSTM模块中进行学习，第t时刻的
LSTM层汇聚学习上一层记忆h
t
‑1，例如面部情绪下的LS本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于教师非言语行为的教学过程评价方法，其特征在于，包括以下步骤：1)非言语行为数据采集，获取教学课堂中教师的非言语行为数据，包括：情绪、身势和生理信号三种模态数据；所述情绪模态数据为教师的面部表情图像和该面部表情下对应的手势动作图片；所述身势模态数据为教师的头部转向姿态图片；所述生理信号为教师的脑电数据；2)采用行为特征矩阵对教师教学非言语行为进行全方位表征量化；2.1)数据预处理；包括噪声数据、冗余数据和缺失值的处理；2.2)对教师教学非言语行为进行表征量化；2.2.1)教师面部表情和手势动作的特征表示，将情绪模态数据输入LeNet
‑
5神经网络对面部表情图像和手势动作进行特征提取，最后一层输出的特征作为情绪特征向量；2.2.2)提取教师头部转向姿态图像，将教师的头部转向姿态图片作为输入，并利用EfficientNet网络进行特征的提取；2.2.3)将采集的多通道的脑电信号分成多个段，从每段信号中采用用于表情标签构造的Student
‑
t分布函数提取时域、频域和非线性动力学特征，并构造成特征序列；2.3)根据表征完成后的特征向量形成每位教师实时精准的行为特征矩阵；行为表征矩阵H
ij
，i表示教师的编号，j表示三种模态数据的特征表征；将步骤2.2)中的通过对教师的非言语行为进行表征量化后，得到教师的行为表现向量，包括：面部情绪E＝<e1,e2,
…
,e
t
>、身势B＝<b1,b2,
…
,b
t
>以及生理P＝<p1,p2,
…
,p
t
>，首先通过多通道注意力机制，针对不同行为向量，学习行为权重W
E
、W
B
和W
P
，并与之向量相乘后输入到帧注意力模型，学习不同行为向量中的帧序列权重；为不同时间序列下的行为状态进行权重分配后，输入到LSTM模型中进行学习，对LSTM模型的输出使用Hadamard乘积进行特征压缩编码，得到最终的行为特征矩阵H
ij
＝(E
ij
,B
ij
,P
ij
)；3)行为特征分类器训练：使用情绪标签训练分类器，得到教师类人格型特征表征、课堂非言语行为特征；3.1)从情绪指标、身势指标和生理指标构建基于时间递归的神经网络进行矩阵特征分解，得到教师类人格型特征表征和课堂非言语行为特征表征；使用非负矩阵分解将教师行为特征矩阵H
ij
分解为教师类人格型特征表征θ
i*
和课堂非言语行为特征β
j*
；以最小为目标函数，计算确定教师类人格型特征向量和课堂非言语行为特征向量其中，上标T表示转置；其中，N为教师的总数，M为矩阵分解得到的课堂行为隐特征数量，a
i
为学习得到的自注意力权重；3.2)将行为表征矩阵H
ij
与学习标签构造成高斯分布的形式，最后使用特征序列与相应的情绪标签来训练基于时间递归的神经网络分类器；4)根据某一特定教师非言语行为采集数据，进行特征表征和特征分解，得到教师本身的特征表征和课堂行为特征表征，并将两者的特征向量相乘，得到教师的教学评价表示。2.根据权利要求1所述的基...
【专利技术属性】
技术研发人员：刘海，张昭理，李林峰，赵万里，张胜强，时振武，童宇航，吴远芳，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。