【技术实现步骤摘要】
本专利技术涉及课堂教学质量智能评估，尤其涉及一种基于云边协同的课堂教学质量辅助评估方法、设备及系统。
技术介绍
1、目前课堂教学质量的评估主要通过课堂听课、科目测试等人工评价方法来评估教学质量，虽然在一定程度上可以反映教育质量，但其存在实施成本高、频率低，难以对于教学质量的改进形成有效的督促等问题。课堂教学质量智能评估是利用机器学习、自然语言处理、计算机视觉等人工智能技术，通过提取教师或学生的语音、图像等特征，自动评估和分析课堂教学的质量，可以大大提高评估的效率、降低人工成本，同时提高评估的精度。
2、针对于课堂教学质量智能评估，现有技术中通常是采用服务器进行模型部署方式，由一台处理器运行机器学习模型，实时接收到对教师或学生采集的语音或图像数据后，利用机器学习模型识别出教师或学生的状态以评估教学质量。但是上述方法，由于所有的数据处理均集中在一台处理器中，服务器运行模型需处理大量图像数据，会增加服务器计算、存储压力，因而对处理器的存储容量以及数据处理能力要求较高，导致整体硬件部署成本较高；另一方面，由于需要实时通过网络将摄像头采集到的视频数据传输至服务器进行处理，导致整体系统对网络的稳定性依赖较高，系统的抗干扰能力降低。
技术实现思路
1、本专利技术要解决的技术问题就在于：针对现有技术存在的技术问题，本专利技术提供一种实现方法简单、成本低、实时性以及精度高、鲁棒性强的基于云边协同的课堂教学质量辅助评估方法、设备及系统。
2、为解决上述技术问题，本专利技术提出的
3、一种基于云边协同的课堂教学质量辅助评估方法，步骤包括：
4、由边缘设备实时接收摄像头采集到的课堂上学生的视频图像数据；
5、在边缘设备中，对实时接收到的视频图像数据使用预先训练好的学生课堂行为识别模型进行学生课堂行为识别，并对检测到的各检测框进行跟踪，在跟踪过程中使用邻近多帧的识别结果与当前帧识别结果进行融合得到当前帧的最终识别结果，根据学生课堂行为识别结果计算评估指标以评估课堂教学质量，将学生课堂行为识别结果以及评估结果发送给云端视频服务器进行保存；
6、所述学生课堂行为识别模型为预先基于多标签目标检测算法并采用知识蒸馏结构进行训练得到。
7、进一步地，所述学生课堂行为识别模型为基于yolov（you only look once）8构建形成，且yolov8的backbone（主干网络）部分中的卷积运算使用rfaconv（receptive fieldattention convolution，感受野注意力卷积）算子，所述rfaconv算子的表达式为：
8、
9、其中，表示rfaconv算子，表示一个大小为1×1的分组卷积，表示一个大小为k×k的分组空洞卷积，k表示卷积核的大小，norm表示归一化， x表示输入的特征图，表示激活函数，表示softmax函数，表示软池化且计算公式为：
10、
11、其中， r为框选的局部区域，表示软池化后结果，，、分别表示区域 r中第 k、j个位置的特征值。
12、进一步地，使用学生课堂行为识别模型进行学生课堂行为识别中，分类函数采用如下的类权重焦点损失函数：
13、
14、其中，为第i类学生课堂行为的权重因子，，m为学生课堂行为的类别，为学生课堂行为数据集训练集中第 i 类学生课堂行为的正样本数量，为第i 类学生课堂行为的预测值，为 sigmoid 函数，为第i 类学生课堂行为的真实标签值，为平衡因子，为权重因子。
15、进一步地，对学生课堂行为识别模型采用知识蒸馏结构进行训练的步骤包括：
16、配置第一预训练权重；
17、使用所述第一预训练权重对学生课堂行为识别模型进行训练，得到第二预训练权重；
18、使用第二预训练权重采用基于知识蒸馏结构对学生课堂行为识别模型进行微调，得到第三预训练权重；
19、使用所述第三预训练权重采用基于知识蒸馏的量化感知训练方法，对微调后的学生课堂行为识别模型进行量化训练，得到最终的学生课堂行为识别模型量化权重，所述基于知识蒸馏的量化感知训练方法中学生模型采用量化感知模型进行参数更新。
20、进一步地，采用知识蒸馏结构对学生课堂行为识别模型进行微调时，知识蒸馏模型更新采用如下的损失函数：
21、
22、
23、其中，表示学生课堂行为识别教师模型预测值与学生课堂行为识别student预测值之间的损失函数，表示学生课堂行为识别学生模型预测值与学生课堂行为真实标签之间的损失函数，x表示学生课堂行为识别教师模型预测值与学生课堂行为真实标签之间的损失值。
24、进一步地，所述使用所述第三预训练权重采用基于知识蒸馏的量化感知训练方法，对微调后的学生课堂行为识别模型进行量化训练的过程中，还包括根据对、的比重进行动态调节，其中当学生课堂行为识别教师模型预测准确度高于学生模型，扩大的占比重，反之降低的占比重、增加的占比重。
25、进一步地，所述在跟踪过程中使用邻近多帧的识别结果与当前帧识别结果进行融合得到当前帧的最终识别结果的步骤包括：
26、获取当前帧一个检测框作为当前检测框，并获取当前检测框及对应的行为识别结果；
27、判断当前检测框是否被跟踪成功；
28、若当前跟踪不成功则直接将当前识别结果作为当前检测框的最终识别结果；
29、若当前跟踪成功，则统计当前检测框与邻近多帧数据中各个动作识别结果，使用统计结果对当前检测框的各动作识别结果进行微调，得到当前检测框的最终识别结果。
30、进一步地，所述评估指标包括课堂互动性指标及学生专注度指标，所述课堂互动性指标为使用学生举手行为识别结果的统计结果计算得到，所述学生专注度指标为使用学生举手行为识别结果的统计结果计算得到正面指标，以及使用抬头率识别结果的统计结果计算得到反面指标；
31、所述课堂互动性指标的计算表达式为：
32、
33、所述学生专注度指标的计算表达式为：
34、
35、
36、其中，表示课堂互动性指标，表示学生专注度指标中的正面指标，表示学生专注度指标中的反面指标， n代表课堂上视觉检测的总次数；表示第i次检测时行人检测的总人数；表示第i次检测时举手行为检测到的总次数；第i次检测时抬头行为检测到的总次数；、分别表示第i次检测时玩手机、趴桌子分别检测到的总次数。
37、一种边缘设备，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序以执行如上述方法。
38、一种基于云本文档来自技高网...
【技术保护点】
1.一种基于云边协同的课堂教学质量辅助评估方法，其特征在于，步骤包括：
2.根据权利要求1所述的基于云边协同的课堂教学质量辅助评估方法，其特征在于，所述学生课堂行为识别模型为基于YOLOV8构建形成，且YOLOV8的BackBone部分中的卷积运算使用RFAConv算子，所述RFAConv算子的表达式为：
3.根据权利要求1所述的基于云边协同的课堂教学质量辅助评估方法，其特征在于，使用学生课堂行为识别模型进行学生课堂行为识别中，分类函数采用如下的类权重焦点损失函数：
4.根据权利要求1所述的基于云边协同的课堂教学质量辅助评估方法，其特征在于，对学生课堂行为识别模型采用知识蒸馏结构进行训练的步骤包括：
5.根据权利要求4所述的基于云边协同的课堂教学质量辅助评估方法，其特征在于，采用知识蒸馏结构对学生课堂行为识别模型进行微调时，知识蒸馏模型更新采用如下的损失函数：
6.根据权利要求5所述的基于云边协同的课堂教学质量辅助评估方法，其特征在于，所述使用所述第三预训练权重采用基于知识蒸馏的量化感知训练方法，对微调后的学生课堂行为识
7.根据权利要求1~6中任意一项所述的基于云边协同的课堂教学质量辅助评估方法，其特征在于，所述在跟踪过程中使用邻近多帧的识别结果与当前帧识别结果进行融合得到当前帧的最终识别结果的步骤包括：
8.根据权利要求1~6中任意一项所述的基于云边协同的课堂教学质量辅助评估方法，其特征在于，所述评估指标包括课堂互动性指标及学生专注度指标，所述课堂互动性指标为使用学生举手行为识别结果的统计结果计算得到，所述学生专注度指标为使用学生举手行为识别结果的统计结果计算得到正面指标，以及使用抬头率识别结果的统计结果计算得到反面指标；
9.一种边缘设备，包括处理器以及存储器，所述存储器用于存储计算机程序，其特征在于，所述处理器用于执行所述计算机程序以执行如权利要求1～8中任意一项所述方法。
10.一种基于云边协同的课堂教学质量辅助评估系统，其特征在于，包括：
...【技术特征摘要】
1.一种基于云边协同的课堂教学质量辅助评估方法，其特征在于，步骤包括：
2.根据权利要求1所述的基于云边协同的课堂教学质量辅助评估方法，其特征在于，所述学生课堂行为识别模型为基于yolov8构建形成，且yolov8的backbone部分中的卷积运算使用rfaconv算子，所述rfaconv算子的表达式为：
3.根据权利要求1所述的基于云边协同的课堂教学质量辅助评估方法，其特征在于，使用学生课堂行为识别模型进行学生课堂行为识别中，分类函数采用如下的类权重焦点损失函数：
4.根据权利要求1所述的基于云边协同的课堂教学质量辅助评估方法，其特征在于，对学生课堂行为识别模型采用知识蒸馏结构进行训练的步骤包括：
5.根据权利要求4所述的基于云边协同的课堂教学质量辅助评估方法，其特征在于，采用知识蒸馏结构对学生课堂行为识别模型进行微调时，知识蒸馏模型更新采用如下的损失函数：
6.根据权利要求5所述的基于云边协同的课堂教学质量辅助评估方法，其特征在于，所述使用所述第三预训练权重采用基于知识蒸馏的量化感知训练方法，对微...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。