本发明专利技术公开了一种基于自监督学习的学生行为检测方法，涉及机器学习技术领域，包括以下步骤：对无标签输入数据进行预处理并进行数据增强得到两个增强视图，并划分为固定长度的时间窗口；对两个增强视图的时间窗口分别进行特征提取；计算两个增强视图的时间一致性损失；计算对比损失函数；对时间一致性损失和对比损失加权求和，形成最终的综合损失函数来训练模型；利用预训练好的特征提取器与分类头结合。本发明专利技术采用上述一种基于自监督学习的学生行为检测方法，解决了对大量标记数据的依赖和特征提取难题，通过自动学习和优化特征，提高了模型的泛化能力和检测准确性，该方法实现了实时、准确的学生行为监测，支持个性化教学和教育质量提升。
【技术实现步骤摘要】
本专利技术涉及机器学习，尤其是涉及一种基于自监督学习的学生行为检测方法。
技术介绍
1、随着人工智能的发展，教育领域正逐步将ai技术应用于学生行为检测，以实现更智能化和个性化的教学方式。学生行为检测是教育数据分析中的关键环节，能够提供关于学生注意力、参与度和情绪状态的实时反馈，帮助教师及时调整教学策略。然而，现有的学生行为检测方法主要依赖于大量人工标注的数据，这种依赖带来了诸多挑战和缺陷。
2、首先，人工标注数据需要大量人力和时间投入。收集和标注学生行为数据不仅过程繁琐，还需要专业人员进行数据处理和校验，导致整体成本高昂。特别是在大规模应用场景中，标注工作量巨大，难以实现持续和有效的标注。此外，人工标注的数据质量也参差不齐，由于主观因素和人为错误，标注结果可能存在不一致性和偏差，这进一步影响了模型训练的准确性和鲁棒性。其次，人工标注数据的获取存在隐私和伦理问题。学生行为数据属于敏感信息，在收集和使用过程中需要严格遵守相关法律法规和伦理准则，确保学生隐私的保护。这些限制增加了数据收集的难度，使得在实际教学环境中大规模获取高质量标注数据变得更加困难。。
3、因此，提出一种基于自监督学习的学生行为检测方法来解决上述问题。自监督学习方法不仅大幅降低了对标记数据的依赖，提高了训练效率和特征表示的准确性，还解决了数据隐私和伦理问题，使得在实际教学环境中更容易部署和应用。通过这种方法，教育工作者可以实时监测学生的注意力和参与情况，及时调整教学策略，提供个性化的教学支持，最终提升教学质量和学生学习效果。
技术实现思路
1、本专利技术的目的是提供一种基于自监督学习的学生行为检测方法，通过从未标记数据中自动学习特征，减少了对大量标记数据的依赖，提高了训练效率和特征提取的准确性，结合时间一致性损失和对比损失，模型能够更好地捕捉行为动态，实现准确的学生行为检测，并支持个性化教学。
2、为实现上述目的，本专利技术提供了一种基于自监督学习的学生行为检测方法，包括以下步骤：
3、步骤s1、对无标签输入数据进行预处理并进行数据增强得到两个增强视图，将两个增强视图划分为固定长度的时间窗口；
4、步骤s2、对两个增强视图的时间窗口分别进行特征提取；
5、步骤s3、计算两个增强视图的时间一致性损失，鼓励相邻时间步的特征表示在特征空间中保持相似；
6、步骤s4、计算对比损失函数，增强两个增强视图不同时间窗口之间的特征差异，同时保持同一时间窗口内部的特征一致性；
7、步骤s5、对时间一致性损失和对比损失加权求和，形成最终的综合损失函数来训练模型；
8、步骤s6、利用预训练好的特征提取器与分类头结合，进行少量标记数据的微调，最终实现对学生行为的准确检测。
9、优选的，所述步骤s1中对无标签的输入数据进行预处理，包括对数据进行视频帧提取、帧间去重、图像放缩、去噪处理、色彩调整和图像归一化处理。
10、优选的，所述步骤s1中对无标签输入数据进行数据增强，包括：
11、(1)传统数据增强：对比度增强、灰度变化、添加噪声、翻转、平移；
12、(2)时序信息变换：调整视频的播放速度、帧间插值、帧间删除；
13、(3)基于色调变换的数据增强：通过对图像通道顺序的随机打乱来模拟色调的变化；
14、(4)基于生成式的视频数据增强：视频生成模型、视频超分辨率增强、视频去噪降噪。
15、优选的，所述步骤s2中的特征提取，提取的特征具体如下：
16、(1)姿态特征：学生的身体姿势和肢体运动，包括坐姿、站姿、手势；
17、(2)面部表情特征：学生的面部表情和情绪状态，包括微笑、皱眉、专注、困倦；
18、(3)动作和行为特征：学生在时间窗口内的具体动作，包括书写、阅读、举手、打哈欠；
19、(4)时序特征：时间步之间的行为变化和依赖关系，反映行为的时间序列模式；
20、(5)空间特征：图像帧中的局部信息，包括头部位置、手的位置、身体的各个部分的相对位置；
21、(6)运动特征：帧间的变化和运动轨迹，包括运动方向、速度、加速度。
22、优选的，所述步骤s3中的计算时间一致性损失，具体过程包括：
23、(1)对于包含n个样本的输入数据x，经过数据增强后的两个增强视图为x1和x2，时间窗口长度是t，将每个增强视图划分为t个时间窗口，得到其中，和表示第i个视频的第t个窗口；
24、(2)经过特征提取后得到特征表示为其中，f(·)是特征提取函数，和是提取的特征；
25、(3)计算两个增强视图的时间一致性损失，鼓励相邻时间步的特征表示在特征空间中保持相似，损失函数具体如下：
26、
27、其中，是a和b的l2范数。
28、优选的，所述步骤s4中的计算对比损失函数，计算公式如下：
29、
30、其中，t≠t'，t'表示与t不同的时间窗口，sim(x,y)＝xty/||x||||y||表示x和y之间的余弦相似度，τ表示温度系数。
31、优选的，所述步骤s5中的综合损失函数的表达式如下：
32、ltotal＝αltime+(1-α)lcontrast
33、其中，α是加权系数。
34、因此，本专利技术采用上述一种基于自监督学习的学生行为检测方法，具有以下有益效果：
35、(1)本专利技术通过自动学习特征，减少了对大量标记数据的依赖，解决了传统方法中数据标注耗时、成本高且质量不一致的问题，通过数据增强技术，生成多个增强视图，并对这些视图的时间窗口进行特征提取，模型能够从未标记的数据中捕捉到更多有用的信息。
36、(2)本专利技术引入了时间一致性损失和对比损失，确保了模型不仅能保持相邻时间步特征的连续性，还能增强不同时间窗口之间的特征差异。这种设计使模型更好地捕捉到视频数据的时间动态特征，从而提高了行为检测的准确性和鲁棒性。
37、(3)本专利技术具有很高的实用性，教育领域的学生行为检测需要处理大量未标记的视频数据，自监督学习方法显著降低了标注成本和时间，实时监测学生的注意力、参与度和情绪状态，使教师能够及时调整教学策略，提供个性化支持，提升教学效果；此外，这种方法还能帮助教育机构优化资源配置，改进教学质量。
38、(4)本专利技术不仅解决了数据标注的瓶颈问题，还通过高效的特征提取和行为检测，提高了模型的实用性和准确性，有望在未来的教育实践中发挥重要作用。
39、下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。
本文档来自技高网...
【技术保护点】
1.一种基于自监督学习的学生行为检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于自监督学习的学生行为检测方法，其特征在于：所述步骤S1中对无标签的输入数据进行预处理，包括对数据进行视频帧提取、帧间去重、图像放缩、去噪处理、色彩调整和图像归一化处理。
3.根据权利要求2所述的一种基于自监督学习的学生行为检测方法，其特征在于，所述步骤S1中对无标签输入数据进行数据增强，包括：
4.根据权利要求3所述的一种基于自监督学习的学生行为检测方法，其特征在于，所述步骤S2中的特征提取，提取的特征具体如下：
5.根据权利要求4所述的一种基于自监督学习的学生行为检测方法，其特征在于，所述步骤S3中的计算时间一致性损失，具体过程包括：
6.根据权利要求5所述的一种基于自监督学习的学生行为检测方法，其特征在于，所述步骤S4中的计算对比损失函数，计算公式如下：
7.根据权利要求5所述的一种基于自监督学习的学生行为检测方法，其特征在于，所述步骤S5中的综合损失函数的表达式如下：
【技术特征摘要】
1.一种基于自监督学习的学生行为检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于自监督学习的学生行为检测方法，其特征在于：所述步骤s1中对无标签的输入数据进行预处理，包括对数据进行视频帧提取、帧间去重、图像放缩、去噪处理、色彩调整和图像归一化处理。
3.根据权利要求2所述的一种基于自监督学习的学生行为检测方法，其特征在于，所述步骤s1中对无标签输入数据进行数据增强，包括：
4.根据权利要求3所述的一种基于自监督学习的学...
【专利技术属性】
技术研发人员：倪艺洋，李骏，代雅娇，王玉玺，陈书文，刘潇，周文军，崔继轩，
申请(专利权)人：江苏第二师范学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。