一种基于姿态检测的学生课堂参与状态评价方法及系统技术方案

本发明专利技术涉及图像识别领域，提供一种基于姿态检测的学生课堂参与状态评价方法及系统。该方法包括以下步骤：(1)学生姿态样本特征标注，将训练用的课堂实录视频资源转换为图片，并对学生画面图片进行特征标注，对标注后的图片进行数据处理，得到学生姿态样本；(2)学生姿态检测模型构建，改进YOLO

【技术实现步骤摘要】
一种基于姿态检测的学生课堂参与状态评价方法及系统


[0001]本专利技术涉及图像识别领域，具体涉及一种基于姿态检测的学生课堂参与状态评价方法及系统。

技术介绍

[0002]学生课堂参与状态作为学生课堂表现的主要方面，是表现性教育评价的基本依据。开展基于姿态检测的学生课堂参与状态充分利用了深度学习在图像识别领域的优势，有利于全面准确了解学生学习情况，为促进学生学习、建设高质量课堂提供支持。当前基于姿态检测的学生课堂参与状态评价中存在以下困难：(1)当前课堂实录视频资源受限于拍摄角度、学生复杂分布情况、视频质量较低，机器难以自动准确识别学生姿态以及各姿态差异，难以实现对学生姿态细节的准确提取和识别；(2)缺乏针对学生课堂参与状态的特征识别与指标构建，难以实现全面系统的学生课堂参与状态监测评价；(3)缺乏基于姿态检测的学生课堂参与状态评价的规范化流程和方法，致使规模化、自动化、客观化的学生课堂参与状态监测评价难以实现。

技术实现思路

[0003]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于姿态检测的学生课堂参与状态评价方法及系统，通过自动识别和判断课堂实录视频资源中学生姿态，提取学生课堂参与状态特征，实现学生课堂参与状态的智能监测和精准评价，为全面准确了解学生学习情况、促进学生高效学习、建设高质量课堂提供支持。
[0004]本专利技术的目的是通过以下技术措施实现的。
[0005]一种基于姿态检测的学生课堂参与状态评价方法，包括以下步骤：
[0006](1)学生姿态样本特征标注。加载训练用的课堂实录视频资源并将其转换为图片，筛选出学生画面，并对学生画面图片进行特征标注，对标注后的图片进行数据处理，得到学生姿态样本。
[0007](2)学生姿态检测模型构建。改进YOLO
‑
V5模型结构，通过模型优化与训练，构建面向课堂环境的学生姿态检测模型YOLO
‑
action。
[0008](3)学生课堂参与状态评价。应用课堂参与状态评价算法和学生姿态检测模型，测算学生课堂参与状态评价结果，并以可视化方式反馈评价结果。
[0009]本专利技术还提供一种基于姿态检测的学生课堂参与状态评价系统，包括以下模块：
[0010]特征标注模块，通过课堂实录视频，提取上课样本，并将样本中的学生姿态进行特征标注，得到学生姿态数据集；
[0011]样本数据处理模块，将获取到的学生姿态数据集进行清晰度提高和数据增强操作，得到学生姿态样本；
[0012]网络模块，构建基于YOLO深度网络的用于检测学生上课姿态的YOLO
‑
action网络；
[0013]训练模块，使用学生姿态样本和YOLO
‑
action网络进行模型训练，并保存F1
‑
Score
值最高的模型；
[0014]检测模块，使用训练好的学生姿态检测模型，将待检测的课堂实录视频放入模型中，检测已经归类的学生姿态；
[0015]课堂参与状态评分算法模块，建立课堂参与状态评价算法；
[0016]评价模块，基于检测到的学生姿态，利用课堂参与状态评分算法对整体学生课堂参与状态做出评价；
[0017]可视化反馈模块，对反馈结果进行分析，并利用柱状图和折线图给出可视化结果。
[0018]本专利技术的有益效果在于：
[0019]应用计算机信息处理和图像识别技术，抓取课堂实录视频中学生姿态信息，对学生姿态检测处理，识别学生课堂参与状态特征，智能评价学生课堂参与状态，并给出可视化方式反馈，支持学生课堂参与状态的实时检测与自动反馈，有利于全面准确了解学生课堂表现与学习情况，促进学生有效学习和高质量课堂建设。
附图说明
[0020]图1是本专利技术实施例的学生课堂参与状态评价方法构建流程图。
[0021]图2是本专利技术实施例的图像处理流程图。
[0022]图3是本专利技术实施例的神经网络结构的Focus
‑
action模块示意图。
[0023]图4是本专利技术实施例的神经网络结构的CBL
‑
action模块示意图。
[0024]图5是本专利技术实施例的神经网络结构的CSP1_5模块示意图。
[0025]图6是本专利技术实施例的神经网络结构的空间金字塔池化结构示意图。
[0026]图7是本专利技术实施例的神经网络结构的骨干网络层示意图。
[0027]图8是本专利技术实施例的神经网络结构的Neck
‑
action层示意图。
[0028]图9是本专利技术实施例的神经网络结构的CSP2_2模块示意图。
[0029]图10是本专利技术实施例的神经网络结构的输出端结构示意图。
[0030]图11是本专利技术实施例的学生课堂参与状态评价结果反馈示意图。
具体实施方式
[0031]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0032]如图1所示，本专利技术实施例提供一种基于姿态检测的学生课堂参与状态评价方法，包括如下步骤：
[0033](1)学生姿态样本特征标注。加载训练用的课堂实录视频资源，通过视频切割切出上课片段，然后将视频转换为图片样本筛选出学生画面，对学生画面中“饮食”相关姿态特征、“违规使用电子产品”相关姿态特征和“睡觉”相关姿态特征进行标注，并使用生成对抗网络对标注后的数据进行处理得到分辨率更高的图片样本，使用马赛克方法进行数据增强，得到学生姿态样本，图片处理流程图如图2所示。具体过程如下：
[0034](1
‑
1)有效视频获取。读取数据库中的课堂实录视频资源，然后对视频进行分段，
保留课堂视频片段为有效视频片段。
[0035](1
‑1‑
1)视频信息读取。读取数据库中的课堂实录视频资源，然后获取视频的帧率F、分辨率P、时长T。
[0036](1
‑1‑
2)视频分段。以课堂上课时长45分钟、下课休息时长10分钟为单位，根据时长T将视频资源切分为课堂视频片段和课间视频片段；剔除课间视频片段，保留课堂视频片段为有效视频片段数据集Images1。
[0037](1
‑
2)样本标注。将课堂视频片段转换为图片，对图片进行标注，得到学生姿态数据集，具体流程如下：
[0038](1
‑2‑
1)图片筛选。根据画面内容是否有学生存在，将数据集Images1划分为学生样本和非学生样本，保留学生样本数据为数据集Images2。
[0039](1
‑2‑
2)特征标注。首先使用labelImg对20％的样本数据集Images2进行手工姿态标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于姿态检测的学生课堂参与状态评价方法，其特征在于该方法包括以下步骤：(1)学生姿态样本特征标注，加载训练用的课堂实录视频资源并将其转换为图片，筛选出学生画面，并对学生画面图片进行特征标注，对标注后的图片进行数据处理，得到学生姿态样本；(2)学生姿态检测模型构建，改进YOLO
‑
V5模型结构，通过模型优化与训练，构建面向课堂环境的学生姿态检测模型YOLO
‑
action；(3)学生课堂参与状态评价，应用课堂参与状态评价算法和学生姿态检测模型，测算学生课堂参与状态评价结果，并以可视化方式反馈评价结果。2.根据权利要求1所述的基于姿态检测的学生课堂参与状态评价方法，其特征在于步骤(1)中所述学生姿态样本特征标注的具体过程为：(1
‑
1)有效视频获取，读取数据库中的课堂实录视频资源，对视频进行分段，保留课堂视频片段为有效视频片段；(1
‑1‑
1)视频信息读取，读取数据库中的课堂实录视频资源，获取视频资源的帧率F、分辨率P、时长T；(1
‑1‑
2)视频分段，以课堂上课时长45分钟、下课休息时长10分钟为单位，根据时长T将视频资源切分为课堂视频片段和课间视频片段；剔除课间视频片段，保留课堂视频片段为有效视频片段数据集Images1；(1
‑
2)样本标注，将课堂视频片段转换为图片，对图片进行标注，得到学生姿态数据集，具体流程如下：(1
‑2‑
1)图片筛选，根据画面内容是否有学生存在，将数据集Images1划分为学生样本和非学生样本，保留学生样本数据为数据集Images2；(1
‑2‑
2)特征标注，首先使用labelImg对20％的样本数据集Images2进行手工姿态标注，姿态内容包括“饮食”相关姿态特征、“违规使用电子产品”相关姿态特征和“睡觉”相关姿态特征，通过修改labelImg运行参数，利用已经标注好的样本作为特征，对剩下80％的样本自动标注，保留标注了学生姿态数据集Images3；(1
‑
3)数据处理，对标注了学生姿态的数据集进行清晰度提升以及数据增强处理，具体处理内容如下：(1
‑3‑
1)清晰度处理，使用生成对抗网络，对学生姿态数据集Images3进行处理，提高样本的分辨率得到数据集Images4；(1
‑3‑
2)马赛克数据增强，对数据集Images4进行数据增强，随机抽取同一组batch
‑
size数据的四张图片，对四张图片进行随机缩放、随机裁剪、随机排布的方式进行拼接达到数据增强的效果，获得学生姿态样本Sample_posture。3.根据权利要求1所述的基于姿态检测的学生课堂参与状态评价方法，其特征在于步骤(2)中所述学生姿态检测模型构建的具体过程为：(2
‑
1)学生姿态检测模型网络结构构建，改进YOLO
‑
V5网络结构，构建学生姿态检测模型YOLO
‑
action网络结构，包括输入端、骨干网络、Neck
‑
action网络、输出端；(2
‑1‑
1)输入端，输入学生姿态样本Sample_posture，经过自适应缩放处理为608*608*3的数据，输出到骨干网络；
(2
‑1‑
2)骨干网络，骨干网络由Focus
‑
action模块、CBL
‑
action模块、CSP1_5模块和空间金字塔池化结构组成，数据在骨干网络的处理过程为：经过Focus
‑
action模块进行切片处理，然后由CBL
‑
action模块和CSP1_5模块处理进行特征提取和特征融合，最后经过空间金字塔池化结构处理，生成数据交由Neck
‑
action网络；(2
‑1‑
3)Neck
‑
action网络，数据导入Neck
‑
action网络中经过不同的张量拼接层进行特征聚合，生成待预测的图片，传到输出端；(2
‑1‑
4)输出端，输出端用于生成预测结果，并使用Focal
‑
EIOU_Loss函数计算损失值；(2
‑
2)模型训练与构建，设置模型训练参数，根据损失值计算结果迭代训练模型，并记录每次的F1_Score，当F1_Score不再提升时停止训练，最后选择F1
‑
Score最高的模型保存为学生姿态检测模型；具体计算公式如下：为学生姿态检测模型；具体计算公式如下：为学生姿态检测模型；具体计算公式如下：其中，Precision代表精确率，Recall代表召回率，TP指正确预测真实值的次数，FP指正确预测错误值的次数，FN指错误预测真实值的次数。4.根据权利要求1所述的基于姿态检测的学生课堂参与状态评价方法，其特征在于步骤(3)中所述学生课堂参与状态评价的具体过程为：(3
‑
1)待测资源获取，获取需要进行学生课堂参与状态检测的课堂实录视频资源，并统一放入detect_datas；(3
‑
2)学生姿态检测，将detect_datas的课堂实录视频资源全部转换为图片，并标记每个图片对应的时间点t，应用学生姿态检测模型检测图片数据，得到图片中每个学生的姿态标签；(3
‑
3)学生人数和持续时长测算，针对每类学生姿态，筛选包含该类姿态标签的图片，并记录每个图片中该类姿态的检测框数量m、检测框中心位置集合Positon、图片对应时刻t，采用如下步骤统计该姿态的学生人数和持续时长：(3
‑3‑
1)学生人数测算，筛选各图片检测框数量m的最大值，选取最大值为学生人数；(3
‑3‑
2)持续时长测算，a.根据时间顺序，对各图片进行排序；b.记录各图片检测框中心位置集合Positon中位置要素数量，将每张图片与下张图片的位置要素数量进行比较，当不一致时则将下张图片及其后续图片划分为新的一类，依此方法共将图片可分为K类；c.针对K类图片中，记录每类图片中第一张图片的检测框中心位置集合，并与后序图片的检测框中心位置集合进行比较，当集合对应位置要素的差值超过图片...

【专利技术属性】
技术研发人员：陈敏，吴砥，周驰，徐建，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：