一种基于深度学习的学生课堂行为检测方法技术

本发明专利技术公开了一种基于深度学习的学生课堂行为检测方法，涉及行为识别技术领域，其技术方案要点是：S1、制成数据库；S2、将原始数据集按比例分为训练集、验证集及测试集，利用yolo_v3检测算法获取图像中学生的位置信息，根据学生的位置信息，利用Opencv裁剪学生图像，将图像统一缩放为224

【技术实现步骤摘要】
一种基于深度学习的学生课堂行为检测方法


[0001]本专利技术涉及行为识别
，更具体地说，它涉及一种基于深度学习的学生课堂行为检测方法。

技术介绍

[0002]课堂是学生学习知识、接受教育的重要场所。随着社会技术的不断发展，教育改革的不断深入，对课堂教学质量进行信息化、智能化分析的要求越来越急迫。采用信息化手段对课堂中学生的行为进行实时的观测、处理和分析，不仅可以提醒学生注意规范自己在课堂上的行为，帮助教师管理课堂，也可以反映出课堂氛围好坏，帮助教师改进教学方式。
[0003]目前，专门研究学生课堂行为识别的较少,常用的经典分析系统主要有S
‑
T教学分析法、弗兰德斯互动分析方法(FIAS)、国际数学与科学趋势研究方法(TIMSS)、基于信息技术的互动分析系统(ITIAS)等。但是，通过对目前各种分析系统的分析过程进行进一步了解即可发现，大部分研究过程都存在的共同的不足和问题是：现有的方法标记操作逻辑复杂、容易产生误操作，手工标注效率较低。
[0004]因此，本专利技术旨在设计提供一种基于深度学习的学生课堂行为检测方法，以解决上述问题。

技术实现思路

[0005]本专利技术的目的是为了克服上述技术问题，提供一种基于深度学习的学生课堂行为检测方法，该方法通过建立原始数据库，并将该数据送入基于卷积神经网络的识别系统，得到预训练模型，并对预训练模型进行不断地优化后，可以很好地识别教学领域的学生课堂行为，并且能够更加有效、有针对性地帮助教师了解到课堂中学生上课的情况，便于老师对学生的上课情况做出有效的评估。
[0006]本专利技术的上述技术目的是通过以下技术方案得以实现的：一种基于深度学习的学生课堂行为检测方法，具体包括以下步骤：
[0007]S1、收集图片数据，制成数据库；
[0008]S2、将原始数据集按比例分为训练集、验证集以及测试集，然后利用yolo_v3检测算法获取图像中学生的位置信息，并根据学生的位置信息，利用Opencv裁剪学生图像，将图像统一缩放为224
×
224；
[0009]S3、数据增强，通过数据扩容的方式扩大训练集，以确保迁移学习算法的效果；
[0010]S4、使用ResNet50网络结构作为预训练模型进行训练，并据验证集的验证结果对网络结构进行微调，训练得到的分类模型用于后期学生图像的行为识别；
[0011]S5、利用训练好的模型结构对测试集进行测试，并观察图像分类情况与实际情况之间的差异，得到模型的分类效果，并保存分类结果。
[0012]进一步地，步骤S1中制成所述数据库的具体方法为：
[0013]1)获取多个学生在教室里上课的视频文件，且所述视频文件来源于多个不同的课
堂；
[0014]2)提取步骤1)中所述的视频文件中的关键帧图像，并进行数据筛选与处理，去除所述视频文件中的非课堂场景部分，并对课堂场景部分进行均匀采样，生成jpg格式图片数据集；
[0015]3)行为统计，统计课堂场景部分中学生的行为类别总数，舍弃出现频率低的，选择课堂场景部分中出现频率最高的行为类别。
[0016]进一步地，步骤S2中的利用yolo_v3检测算法获取图像中学生的位置信息的具体方法为：
[0017]A、将训练集图像输送至yolo_v3检测框架中，通过yolo_v3将图像分割为S*S个格子，每一个格子负责该区域的物体检测，且输出该格子的目标物体类别；
[0018]B、定义训练标签，对每个网格定义向量y
i
，则：
[0019]yi＝[P
c
，b
x
，b
y
，b
n
，b
w
，c1，c
n
]；
[0020]其中，Pc表示是否含有目标对象，(b
x
，b
y
)表示目标物体的中点，(b
n
，b
w
)分别表示边界框的高和宽，这些数字均根据边界框位置与图像大小的关系进行缩放，(c1，c
n
)依次表示是否含有训练集中第1到第n类的目标对象；
[0021]C、通过卷积神经网络中的前向操作提取每个格子中的特征，并使用定位算法与分类技术识别每个格子，输出每个格子中目标对象图像的左上角坐标以及裁剪框的宽与高；
[0022]D、组合S*S个格子的标签以获得最终目标输出y。
[0023]进一步地，步骤S3中所述的数据扩容的具体方式包括仿射变化、翻转变化、平移变换、尺度变换、对比度变换、噪声扰动、灰度值设置为零、设置部分像素值为零、中值模糊、均值模糊、颜色变化。
[0024]综上所述，本专利技术具有以下有益效果：
[0025]1、本专利技术的方法利用卷积神经网络的迁移学习、抗干扰能力强的特点，通过对学生上课图像进行特征提取，能够很好地识别学生的课堂行为，并且能对学生在课堂上的行为进行可量化的观察和数据处理；
[0026]2、本专利技术的该方法可以很好地识别教学领域的学生课堂行为，如：举手、低头、侧身、趴桌和端正五类行为，便于更加有效、有针对性地帮助教师了解到课堂中学生上课的情况，并根据这种对学生课堂行为识别对学生的上课情况做出有效的评估。
附图说明
[0027]图1是本专利技术实施例中的流程图；
[0028]图2是本专利技术实施例中制作数据库的流程图。
具体实施方式
[0029]以下结合附图1
‑
2对本专利技术作进一步详细说明。
[0030]实施例：一种基于深度学习的学生课堂行为检测方法，如图1所示，包括以下步骤：
[0031]S1、收集图片数据，制成自己的数据库，实验数据来源于17个不同课堂，经采集、筛选和处理、行为统计步骤完成数据集制作；
[0032]S2、将原始数据集按比例分为训练集、验证集以及测试集，利用yolo_v3检测算法
获取图像中学生的位置信息，根据学生位置信息利用Opencv裁剪学生图像，并将图像统一缩放为224*224；
[0033]S3、数据增强，为了保证迁移学习算法的效果，通过数据扩容的方式扩大训练集，具体数据扩容方式包括仿射变化、翻转变化、平移变换、尺度变换、对比度变换、噪声扰动、灰度值设置为零、设置部分像素值为零、中值模糊、均值模糊，颜色变化等；
[0034]S4、使用ResNet50网络结构作为预训练模型进行训练，根据验证集的验证结果对网络进行微调，训练得到的分类模型用于后期学生图像行为识别；
[0035]S5、利用训练好的模型结构对测试集进行测试，观察图像分类情况与实际情况之间的差异，得到模型的分类效果，保存分类结果。
[0036]如图2所示，为步骤S1中制成数据库的流程示意图，包括以下步骤：
[0037]1)、获得多个学生在教室里上课的视频文件，视频分辨率为1920(水平)
×
108本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的学生课堂行为检测方法，其特征是：具体包括以下步骤：S1、收集图片数据，制成数据库；S2、将原始数据集按比例分为训练集、验证集以及测试集，然后利用yolo_v3检测算法获取图像中学生的位置信息，并根据学生的位置信息，利用Opencv裁剪学生图像，将图像统一缩放为224
×
224；S3、数据增强，通过数据扩容的方式扩大训练集，以确保迁移学习算法的效果；S4、使用ResNet50网络结构作为预训练模型进行训练，并据验证集的验证结果对网络结构进行微调，训练得到的分类模型用于后期学生图像的行为识别；S5、利用训练好的模型结构对测试集进行测试，并观察图像分类情况与实际情况之间的差异，得到模型的分类效果，并保存分类结果。2.根据权利要求1所述一种基于深度学习的学生课堂行为检测方法，其特征是：步骤S1中制成所述数据库的具体方法为：1)获取多个学生在教室里上课的视频文件，且所述视频文件来源于多个不同的课堂；2)提取步骤1)中所述的视频文件中的关键帧图像，并进行数据筛选与处理，去除所述视频文件中的非课堂场景部分，并对课堂场景部分进行均匀采样，生成jpg格式图片数据集；3)行为统计，统计课堂场景部分中学生的行为类别总数，舍弃出现频率低的，选择课堂场景部分中出现频率最高的行为类别。3.根据权利要求1所述一种基于深度学习的学生课堂行为识别方法，其特征是：步骤S2中的利用yolo_v3检测算法获取图像中学生的位置信息的具体...

【专利技术属性】
技术研发人员：刘复昌，潘志庚，曹明亮，丁丹丹，张明敏，梁应滔，梁应鸿，胡丽平，
申请(专利权)人：广州玖的数码科技有限公司，
类型：发明
国别省市：