一种基于多学生疲劳状态检测的在线课堂监视方法及系统技术方案

本发明专利技术公开了一种基于多学生疲劳状态检测的在线课堂监视方法，主要分成4个模块：学生端，老师端，人脸疲劳检测模块和服务器端，其中疲劳检测模块是学生端的核心模块。在满足基本音视频通话功能下，学生端完成疲劳状态自测，并将疲劳检测结果上传到云端服务器；在获取到学生端的实时监控数据之后，老师端完成学生疲劳检测报表的绘制，该功能辅助老师在授课期间监控学生的学习状态，适当调整自己的教学进度。度。度。

【技术实现步骤摘要】
一种基于多学生疲劳状态检测的在线课堂监视方法及系统


[0001]本专利技术涉及在线课堂互动交流系统，特别涉及一种基于多学生疲劳状态检测的在线课堂监视方法及系统。

技术介绍

[0002]在线课堂作为一种新的教学模式，在新冠疫情期间广泛应用在大中小学教育中，有效缓解了学生无法回学校上课导致学业落后的问题。在线课堂为学生们提供了一个安全开放的学习环境，学生可以在任意地方通过网络登录在线课堂，享受低延迟高质量的网络直播授课，而且学生可以通过电子设备截屏，利用图片转文字软件转存笔记，记笔记的方式更加灵活。但是在实际应用中，却存在较多问题，其中最大的不足是课堂中老师无法时刻关注每一个学生的学习状态，无法根据学生的面部表情变化适当调整自己的教学进度，无法保证学生对知识点的理解和掌握情况。学生在云课堂上需要通过自律来保证学习质量，但是这一点对于很多学生很难做到，让学生家长监督孩子上课也不切实际。
[0003]为了让学生有更好的学习体验，可以通过疲劳识别技术，辅助老师实时监督学生的学习状态，如果发现学生疲劳，则会第一时间通知老师，老师可以及时做出反应，提醒学生保持专注度，提高在线课堂的学习质量。

技术实现思路

[0004]专利技术目的：针对上述现有技术，提出一种基于多学生疲劳状态检测的在线课堂监视方法及系统
[0005]技术方案一种基于多学生疲劳状态检测的在线课堂监视方法，包括以下步骤：
[0006]1)学生端采集学生的脸部图像，并通过疲劳检测模型获取疲劳检测数据完成疲劳自测，接着将疲劳检测数据实时上传到云端服务器；
[0007]2)老师端通过云端服务器，实时获取课堂内每个学生的疲劳检测数据，实时监视每个学生的状态。
[0008]优选的，步骤1)中学生端在其用户界面中选择要接入的摄像头设备，麦克风设备，完成音视频流的分发；在摄像头设备开启之后，使用疲劳检测模型进行疲劳状态自测，并实时地将疲劳检测数据上传到云端服务器上；
[0009]如果主视频界面没有被老师或其他学生占用，则该学生可以上讲台发言，此时该学生的视频流为大流；
[0010]如果该学生现在在讲台上，则可以选择下讲台听课，此时该学生的视频流为小流。
[0011]优选的，所述疲劳检测模型的构建包括以下步骤：
[0012]a)使用轻量级的人脸检测模型SCRFD采集学生符合要求的正脸图片；
[0013]b)获取疲劳多特征；
[0014]c)使用多特征经验融合算法构建疲劳检测模型。
[0015]优选的，步骤a)中通过采集在一段时间间隔内关于学生人脸区域的多个图片，接
着在该时间间隔内依次判断图片中的人脸是否处于正脸状态，如果没有一个图片符合正脸要求的，则会提醒学生摆正头部姿态，保持上课专注；继续通过时间窗口采集人脸，直至采集到符合要求的正脸图片为止。
[0016]优选的，步骤b)中所述疲劳多特征包括眼睛闭合时间百分比特征、嘴巴张开时间百分比特征、头部姿态3个自由度特征、提眉特征、皱眉特征、人脸距离特征。
[0017]优选的，步骤c)中在符合要求的正脸图片中，找到最大眼睛纵横比所在的图片，作为校准图片，疲劳检测模型使用轻量级的人脸检测模型SCRFD，使用移动端网络模型MobileNetV2进行人脸关键点定位，使用校准图片和头部姿态3个自由度特征信息自适应调整眼睛纵横比阈值，嘴巴纵横比阈值，以及眉眼纵横比阈值，引入眼睛闭合时间百分比特征、嘴巴张开时间百分比特征、头部姿态3个自由度特征、提眉特征、皱眉特征、人脸距离特征，完成疲劳检测模型的构建。
[0018]优选的，在构建疲劳检测模型之后，先对每种疲劳特征进行编码，再人为为每个编码设置疲劳值，接着通过singleton单特征算子，mutual特征组合算子和activate/inhibit激活抑制算子，利用构建好的多特征经验融合模型完成多特征经验融合，输出早后期疲劳的疲劳值，最后通过使用两个KNN分别对短时间间隔/长时间间隔采集的每种疲劳特征进行学习，实现早后期疲劳的级联推理，其中KNN是K近邻模型。
[0019]优选的，老师端在其用户界面中选择要接入的摄像头设备，麦克风设备，完成音视频流的分发；老师在其用户界面上选择要查看的学生状态类型，其中学生状态类型包括人脸检测和疲劳检测，人脸检测和疲劳检测均通过云端数据以报表的形式显示在老师端的用户界面上，并按疲劳检测数据等级优先调整学生的视频窗口顺序，辅助老师监视学生；其中对于人脸检测，只需要判断当前学生的人脸是否在屏幕前，进而自动监视学生是否在认真听课；
[0020]如果主视频界面没有被老师或其他学生占用，老师可以上讲台讲课，此时该老师的视频流为大流；如果老师现在在台上，则可以选择下讲台巡视，此时该老师的视频流为小流。
[0021]一种基于多学生疲劳状态检测的在线课堂监视系统，所述系统包括学生端、教师端、疲劳检测模块、云端服务器；
[0022]老师端：包括3个子模块：登录注册模块，房间创建模块，和授课监视模块；
[0023]在登录注册模块中，老师需要先注册账号才可登录在线课堂监视系统；
[0024]在房间创建模块中，老师需要通过输入具有唯一标识的字符串来创建房间，房间创建成功后，直接进入课堂；
[0025]在授课监视模块中，老师在其用户界面中可以选择要接入的摄像头设备，麦克风设备，完成音视频流的分发，实现网络授课；
[0026]学生端：包括2个子模块：登录注册模块和听课自检模块。
[0027]在登录注册模块中，学生需要先注册账号才可登录在线课堂监视系统，在学生的用户界面上，学生需要验证个人信息，并输入房间号进入课堂；
[0028]在听课自检模块中，学生在其用户界面上选择要接入的摄像头设备，麦克风设备，完成音视频流分发；在摄像头开启之后，学生端自动获取本地的CPU资源，使用学生端内部的疲劳检测模型进行疲劳状态自测，并实时地将检测结果更新到云端服务器上；
[0029]服务器端：包括2个子模块：数据存储模块和音视频通话模块；
[0030]在数据存储模块中，完成包括对老师学生个人信息，房间管理信息，以及学生疲劳检测数据的存储；
[0031]在音视频通话模块，包括5个子模块：音视频采集模块和音视频编码模块，网络传输模块、音视频解码模块和音视频渲染模块。
[0032]有益效果：本专利技术公开的基于多学生疲劳检测的在线课堂监控系统中，主要分成4个模块：学生端，老师端，人脸疲劳检测模块和服务器端，其中疲劳检测模块是学生端的核心模块。在满足基本音视频通话功能下，学生端完成疲劳状态自测，并将疲劳检测结果上传到云端服务器；在获取到学生端的实时监控数据之后，老师端完成学生疲劳检测报表的绘制，该功能辅助老师在授课期间监控学生的学习状态，适当调整自己的教学进度。
附图说明
[0033]图1是本专利技术较佳实施方式中的在线课堂系统架构的示意图；
[0034]图2是本专利技术较佳实施方式中的学生端主页面示意本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多学生疲劳状态检测的在线课堂监视方法，其特征在于，包括以下步骤：1)学生端采集学生的脸部图像，并通过疲劳检测模型获取疲劳检测数据完成疲劳自测，接着将疲劳检测数据实时上传到云端服务器；2)老师端通过云端服务器，实时获取课堂内每个学生的疲劳检测数据，实时监视每个学生的状态。2.如权利要求1所述的一种基于多学生疲劳状态检测的在线课堂监视方法，其特征在于，步骤1)中学生端在其用户界面中选择要接入的摄像头设备，麦克风设备，完成音视频流的分发；在摄像头设备开启之后，使用疲劳检测模型进行疲劳状态自测，并实时地将疲劳检测数据上传到云端服务器上；如果主视频界面没有被老师或其他学生占用，则该学生可以上讲台发言，此时该学生的视频流为大流；如果该学生现在在讲台上，则可以选择下讲台听课，此时该学生的视频流为小流。3.如权利要求1所述的一种基于多学生疲劳状态检测的在线课堂监视方法，其特征在于，所述疲劳检测模型的构建包括以下步骤：a)使用轻量级的人脸检测模型SCRFD采集学生符合要求的正脸图片；b)获取疲劳多特征；c)使用多特征经验融合算法构建疲劳检测模型。4.如权利要求3所述的一种基于多学生疲劳状态检测的在线课堂监视方法，其特征在于，步骤a)中通过采集在一段时间间隔内关于学生人脸区域的多个图片，接着在该时间间隔内依次判断图片中的人脸是否处于正脸状态，如果没有一个图片符合正脸要求的，则会提醒学生摆正头部姿态，保持上课专注；继续通过时间窗口采集人脸，直至采集到符合要求的正脸图片为止。5.如权利要求3所述的一种基于多学生疲劳状态检测的在线课堂监视方法，其特征在于，步骤b)中所述疲劳多特征包括眼睛闭合时间百分比特征、嘴巴张开时间百分比特征、头部姿态3个自由度特征、提眉特征、皱眉特征、人脸距离特征。6.如权利要求5所述的一种基于多学生疲劳状态检测的在线课堂监视方法，其特征在于，步骤c)中在符合要求的正脸图片中，找到最大眼睛纵横比所在的图片，作为校准图片，疲劳检测模型使用轻量级的人脸检测模型SCRFD，使用移动端网络模型MobileNetV2进行人脸关键点定位，使用校准图片和头部姿态3个自由度特征信息自适应调整眼睛纵横比阈值，嘴巴纵横比阈值，以及眉眼纵横比阈值，引入眼睛闭合时间百分比特征、嘴巴张开时间百分比特征、头部姿态3个自由度特征、提眉特征、皱眉特征、人脸距离特征，完成疲劳检测模型的构建。7.如权利要求5所述的一种基于多学生疲劳状态检测的在线课堂监视方法，其特征在于，在构建疲劳检测模型之后，先对每种疲劳特征进行编码，...

【专利技术属性】
技术研发人员：王寰希，张德平，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：