一种基于深度学习的课堂信息化评价及管理的系统及方法技术方案

本发明专利技术公开了一种基于深度学习的课堂信息化评价及管理的系统及方法，包括边缘计算模块、服务器和客户端，所述边缘计算模块包括摄像头和开发板，所述摄像头采集和传输教室不同区域的坐标数据以及课堂上学生的静态图像和实时图像，所述开发板对接收到的数据进行分析得到人脸图像和不同动作的识别结果和识别时间，并以文档形式传输给服务器，所述服务器分析统计接收到的人脸图像、识别结果和识别时间文档得到考勤结果、课堂环节丰富程度指标、课堂氛围指标，并根据考勤结果得到出勤率指标，并根据课堂环节丰富程度指标、课堂氛围指标和出勤率指标得到最终的课堂质量评价结果，本发明专利技术自动进行课堂信息化评价及管理，评价结果客观、高效。

A system and method of classroom information evaluation and management based on deep learning

【技术实现步骤摘要】
一种基于深度学习的课堂信息化评价及管理的系统及方法
本专利技术涉及课堂管理设备领域，具体涉及一种基于深度学习的课堂信息化评价及管理的系统及方法。
技术介绍
课堂教学作为一种最主要的教学形式受到广泛重视，因此对于如何有效的管理课堂纪律，提高课堂教学质量及教学效率是非常重要的且需要进行深度探讨研究的。目前对于课堂教学的评价和管理问题尚未存在一种客观、全面、智能、高效的方法。随着人工智能技术的推广应用，一系列基于人工智能的课堂教学评价及管理的相关方法和系统大量涌现，这种基于专用系统的方式在很大程度上提高了课堂教学评价的客观性，但这些方法与系统在信息全面性和系统功能和性能方面均存在一定缺陷。赵埕萱、吴迪所著“一种多用途课堂抬头率监测设备”描述了包括用于采集图像的视频采集装置、用于传输图像信号的图像无线传输装置、用于接收分析图像并生成和发送抬头率统计数据或发出作弊嫌疑报警信号的交互平台。但是该设备只能检测抬头率这一种指标，而无法通过多种指标得出更全面的课堂评价结果。
技术实现思路
本专利技术所要解决的技术问题是现有的基于人工智能的课堂评价及管理方法和系统只能通过采集单一的指标对课堂教学进行评价以及管理，而缺少多样化、全面性的指标，使得课堂的评价和管理更加客观、全面、智能且高效，同时现有的系统对于需要进行高效评价的指标数据在进行加载对于网络带宽的需求过大的问题，目的在于提供一种基于深度学习的课堂信息化评价及管理的系统及方法，解决上述问题。本专利技术通过下述技术方案实现：一种基于深度学习的课堂信息化评价及管理的系统，包括边缘计算模块、服务器和客户端；所述边缘计算模块包括摄像头和开发板；所述摄像头采集教室的区域坐标数据、讲台数据、课堂的静态图像和实时图像，并将所述各种数据保存到云台以及传输给所述开发板；所述开发板加载人脸检测算法、抬头识别网络模型、表情识别网络模型和动作识别网络模型对接收到的数据进行分析识别，得到人脸图像、和抬头率识别、表情识别和动作识别的识别结果及识别时间；将所述人脸图像传输给所述服务器，将所述识别结果和识别时间以文档形式保存并传输给所述服务器；所述服务器加载人脸识别网络模型对接收到的人脸图像进行识别，得到考勤结果，并对考勤结果进行分析得到出勤率指标；所述服务器分析接收到的识别结果和识别时间文档得到课堂质量评定结果的不同指标，并根据不同指标得出最终的课堂质量评定结果；所述客户端下载所述服务器分析后的识别结果和识别时间文档，显示考勤结果、出勤率、课堂质量评定结果。本专利技术中边缘计算模块的摄像头主要为带PTZ云台、可变焦、支持ONVIF协议的球型网络摄像头，开发板搭载神经网络推理引擎的嵌入式ARM开发板，可对训练好的神经网络模型进行推理实现，搭载神经网络推理引擎的高性能服务器，可对训练好的神经网络模型进行推理实现，实现对不同类型数据的存储和管理，可同时处理多组边缘计算端传来的数据。本专利技术通过由包括摄像头、开发板的边缘计算模块、服务器和客户端组成一种基于深度学习的课堂信息化评价及管理的系统以及方法，不需要人工统计，且数据客观高效，因为本专利技术整个课堂评价过程都是通过对摄像头采集的数据进行处理分析得到的结果，在相同的课堂时间内，只需要绑定课堂信息系统就会自动进行整个课堂时间内的不同数据的分析，全程不需要人工参与，当课程结束就可以得到详细的结果，提高了课堂信息化评价的效率，且参考的信息化指标不是单一指标，从而使得评价结果更为客观准确，且在短时间内得到的数据更加全面详细，服务器在进行人脸识别得到的考勤结果包括考勤日期、考勤星期、考勤时间、课程地点、课程名称和学生学号、学生姓名、学生性别，更方便查阅，人脸图像主要是用于得到考勤结果，因此以可识别的低分辨率JPEG图片格式进行保存和传输，降低了网络带宽的需求。一种基于深度学习的课堂信息化评价及管理的方法，当教室为第一次使用时，将所述教室的座位分为多个区域，采集每个区域的坐标数据并存储到云台；加载课程信息，并与当地时间进行同步，当到达课程开始时间时，控制系统自动启动；当系统启动后，对云台进行控制，并调节摄像头的角度到可以拍摄到讲台；对采集的讲台数据进行判断，当判断结果为有人时，开始进行考勤操作；当开始进行考勤操作时，进行所述摄像头焦距的调节；分别对划分的采集区域的静态图像进行采集，并将采集的静态图像进行传输；使用人脸检测算法对接收到的静态图像中的人脸进行框选，得到所有人脸图像并进行保存和传输；对所有人脸图像进行人脸识别考勤得到考勤结果，并调整所述摄像头的角度至可以采集到教室里的所有学生；对所有学生进行实时图像采集，并将采集的实时图像进行传输；对接收到的实时图像进行抬头率识别、表情识别和动作识别，并将识别结果和识别时间以文本形式进行保存以及传输；分析考勤结果、识别结果和识别时间文档得到课堂质量评定结果的不同指标得分，并根据不同指标得分进行加权平均得出最终的课堂质量评定结果。进一步的，当接收到所有人脸图像后，加载人脸识别网络模型，将所有人脸图像与保存的正面人脸照片进行比对识别，将识别后的学生姓名和识别时的时间以文档形式进行保存；将文档中的学生姓名和存储的学生信息进行匹配，得到考勤结果并进行保存；将考勤结果中的学生信息与存储的选择课程的学生信息进行对比，得到缺勤结果；将识别的人数和记录的课程人数进行对比，得出当堂课程的出勤率指标，并根据课堂总分数得到出勤率得分。进一步的，当接收到实时图像后，加载抬头识别网络模型、表情识别网络模型和动作识别网络模型；对实时图像每30秒等间隔取一帧进行抬头率识别、表情识别和动作识别，得到识别结果和识别时间，并以文本形式保存和传输。进一步的，分析接收到的识别结果和识别时间文档；通过每30秒识别到的抬头人数与总人数的比值得到每30秒的抬头率，将课程后40分钟内的每30秒抬头率进行平均值计算，得到当堂课程的抬头率得分；通过每30秒识别到的笑脸人数与总人数的比值得到每30秒的笑脸率，当笑脸率大于或等于三分之一时开始计时，当笑脸率小于三分之一时停止计时，统计时段数，进行计算得到当堂课程的笑脸率得分。进一步的，分析接收到的识别结果和识别时间文档；分析每30秒识别到的动作，当识别动作全部为坐下时，将课堂状态记录为教师讲课；当有识别动作为举手或者站立时，将课堂状态记录为师生互动；当有三分之二的识别动作为写字时，将课堂状态记录为课堂作业；统计三种状态的时间得出当堂课程的课堂环节丰富程度指标。进一步的，在课程记录的上课时间内，当识别动作先出现举手后出现站立时，将课堂状态记录为学生自主回答问题；当识别动作只出现站立动作时，将课堂状态记录为老师点名回答问题；当在识别动作为坐下后的30秒内有识别动作为举手或站立时，将课堂状态记录为师生互动；当在识别动作为坐下后的30秒内没有出现识别动本文档来自技高网...

【技术保护点】
1.一种基于深度学习的课堂信息化评价及管理的系统，其特征在于，包括边缘计算模块、服务器和客户端；/n所述边缘计算模块包括摄像头和开发板；/n所述摄像头采集教室的区域坐标数据、讲台数据、课堂的静态图像和实时图像，并将所述各种数据保存到云台以及传输给所述开发板；/n所述开发板加载人脸检测算法、抬头识别网络模型、表情识别网络模型和动作识别网络模型对接收到的数据进行分析识别，得到人脸图像、和抬头率识别、表情识别和动作识别的识别结果及识别时间；/n将所述人脸图像传输给所述服务器，将所述识别结果和识别时间以文档形式保存并传输给所述服务器；/n所述服务器加载人脸识别网络模型对接收到的人脸图像进行识别，得到考勤结果，并对考勤结果进行分析得到出勤率指标；/n所述服务器分析接收到的识别结果和识别时间文档得到课堂质量评定结果的不同指标，并根据不同指标得出最终的课堂质量评定结果；/n所述客户端下载所述服务器分析后的识别结果和识别时间文档，显示考勤结果、出勤率、课堂质量评定结果。/n

【技术特征摘要】
1.一种基于深度学习的课堂信息化评价及管理的系统，其特征在于，包括边缘计算模块、服务器和客户端；
所述边缘计算模块包括摄像头和开发板；
所述摄像头采集教室的区域坐标数据、讲台数据、课堂的静态图像和实时图像，并将所述各种数据保存到云台以及传输给所述开发板；
所述开发板加载人脸检测算法、抬头识别网络模型、表情识别网络模型和动作识别网络模型对接收到的数据进行分析识别，得到人脸图像、和抬头率识别、表情识别和动作识别的识别结果及识别时间；
将所述人脸图像传输给所述服务器，将所述识别结果和识别时间以文档形式保存并传输给所述服务器；
所述服务器加载人脸识别网络模型对接收到的人脸图像进行识别，得到考勤结果，并对考勤结果进行分析得到出勤率指标；
所述服务器分析接收到的识别结果和识别时间文档得到课堂质量评定结果的不同指标，并根据不同指标得出最终的课堂质量评定结果；
所述客户端下载所述服务器分析后的识别结果和识别时间文档，显示考勤结果、出勤率、课堂质量评定结果。


2.一种基于深度学习的课堂信息化评价及管理的方法，其特征在于，当教室为第一次使用时，将所述教室的座位分为多个区域，采集每个区域的坐标数据并存储到云台；
加载课程信息，并与当地时间进行同步，当到达课程开始时间时，控制系统自动启动；
当系统启动后，对云台进行控制，并调节摄像头的角度到可以拍摄到讲台；
对采集的讲台数据进行判断，当判断结果为有人时，开始进行考勤操作；
当开始进行考勤操作时，进行所述摄像头焦距的调节；
分别对划分的采集区域的静态图像进行采集，并将采集的静态图像进行传输；
使用人脸检测算法对接收到的静态图像中的人脸进行框选，得到所有人脸图像并进行保存和传输；
对所有人脸图像进行人脸识别考勤得到考勤结果，并调整所述摄像头的角度至可以采集到教室里的所有学生；
对所有学生进行实时图像采集，并将采集的实时图像进行传输；
对接收到的实时图像进行抬头率识别、表情识别和动作识别，并将识别结果和识别时间以文本形式进行保存以及传输；
分析考勤结果、识别结果和识别时间文档得到课堂质量评定结果的不同指标得分，并根据不同指标得分进行加权平均得出最终的课堂质量评定结果。


3.根据权利要求2所述的一种基于深度学习的课堂信息化评价及管理的方法，其特征在于，当接收到所有人脸图像后，加载人脸识别网络模型，将所有人脸图像与保存的正面人脸照片进行比对识别，将识别后的学生姓名和识别时的时间以文档形式进行保存；
将文档中的学生姓名和存储的学生信息进行匹配，得到考勤结果并进行保存；
将考勤结果中的学生信息与存储的选择课程的学生信息进行对比，得到缺勤结果；
将识别的人数和记录的课程人数进行对比，得出当堂课程的出勤率指标，并根据课堂总分数得到出勤率得分。


4.根据权利要求2所述的一种基于深度学习的课堂信息化评价及管理的方法，其特征在于，当接收到实时图像后，加载抬头识别网络模型、表情识别网络模型和动作识别网络模型；
对实时图像每30秒等间隔取一帧进行抬头率识别、表情识别和动作识别，得到识别结果和识别时间，并以文本形式保存和传输。


5.根据权利要求2所述的一种基于深度学习的课堂信息化评价及管理的方法，其特征在于，分析接收到的识别结果和识别时间文档；
通过每30秒识别到的抬头人数与总人数的比值得到每30秒的抬头率，将课程后40分钟内的每30秒抬头率进行平均值计算，得到当堂课程的抬头率得分；
通过每30秒识别到的笑脸人数与总人数的比值得到每30秒的笑脸率，当笑脸率大于或等于三分之一时开始计时，当笑脸率小于三分...

【专利技术属性】
技术研发人员：何伟，金小淞，林英撑，刘平净，梁松红，伍名美，刘永兵，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆;50