一种基于多重刺激的夜间学习方法技术

本发明专利技术涉及一种基于多重刺激的夜间学习方法，1）分析模块对图像采集单元的数据进行分析，判断为有疲劳症状时，干扰单元启动，为无疲劳症状时，继续对学员进行图像采集；2）蓝光模块启动，若学员清醒，取消干扰单元，若学员未做出回应，判断学员仍处于疲劳状态；3）喷雾模块启动，若学员清醒，取消干扰单元，若学员未做出任何回应，判断学员还是处于疲劳状态；4）干扰单元的声音模块启动，若学员清醒，取消干扰单元的工作，若学员未做出任何回应，判断学员依然处于疲劳状态；5）声音模块继续工作，并加大分贝，直至学员做出回应；本发明专利技术提供的夜间学习方法，通过对眼部及嘴部状态的评定，依据人体疲劳等级进行预警，促使人从疲劳中清醒，提高警觉度。

【技术实现步骤摘要】
一种基于多重刺激的夜间学习方法
本专利技术属于学习用具
，具体涉及一种基于多重刺激的夜间学习方法。
技术介绍
心率、呼吸频率和腰部肌肉表面肌电值对疲劳状态评价具有有效性，通过声音与疲劳的相关性研究，说明了声强、节奏、频率对疲劳的不同影响程度，生理信号作为人体最真实的指标数据，在疲劳检测方面最能准确反映人的实际精神状态，因此，基于生理信号的学习疲劳检测技术，在反映疲劳状态上具有较好的表现力。但是，受制于生理信号提取和分析所需的仪器设备，生理信号不能直观直接地反映疲劳程度，不易实现实时监测，其次，目前广泛应用的生理信号检测用传感器设备多为接触性，需要受测人佩戴一些装置，例如手环、电线、电极等，属于侵入性检测，在英语学习过程中，多数人对英语具有抵触情绪，且英语需要记忆内容过多，需要投入大量的时间学习语法和记忆单词，学习过程比较枯燥，因此在学习过程中经常容易犯困，外设装置的存在可能造成学员的部分抵触情绪，影响学员的学习情绪，甚至造成学员的不适反应，同时，大部分生理信号指标的研究仅局限于清醒和疲劳状态下相关测量数据的对比分析上，不能真实描述疲劳与该项参数的直接联系，具有一定的局限性。
技术实现思路
本专利技术的目的是为了解决
技术介绍
中所提出的问题，而提供一种基于多重刺激的夜间学习方法，通过对眼部及嘴部状态的评定，判定人体疲劳程度，并依据人体疲劳等级进行预警，施加提神喷雾、闪光和声音结合的方式的物理刺激，促使人从疲劳中清醒，提高警觉度。本专利技术的目的是这样实现的：一种基于多重刺激的夜间学习方法，包括对学员进行监测的图像采集单元和对学员疲劳进行干预的干预单元，所述图像采集单元和干预单元均通信连接至主控单元；所述图像采集单元包括人脸采集模块、眼部采集模块和嘴部采集模块；所述干预单元包括喷雾模块、蓝光模块和声音模块；所述主控单元包括分析模块和控制模块；所述控制模块根据分析模块的分析结果对学员的疲劳程度进行判断，所述控制模块根据判断的结果向所述干预单元发送信号，通过所述干预单元对学员进行促醒；所述的多重刺激的夜间学习方法包括如下步骤：1)所述图像采集单元对学员的人脸、眼部和嘴部进行图像采集，所述分析模块对图像采集单元采集的数据进行疲劳分析，判断为有疲劳症状时，干扰单元启动，判断为无疲劳症状时，图像采集单元对学员进行图像采集；2)判断为有疲劳症状时，干扰单元的蓝光模块启动，对学员进行蓝光闪烁刺激，若学员在蓝光的刺激下清醒，分析模块判断学员处于清醒状态，则取消干扰单元的工作，若学员在蓝光的刺激下未做出任何回应，则分析模块判断学员仍处于疲劳状态；3)干扰单元的喷雾模块启动，对学员周围的空气进行提神精油雾化喷射，通过气味刺激学员，若学员在气味的刺激下清醒，分析模块判断学员处于清醒状态，则取消干扰单元的工作，若学员在气味的刺激下未做出任何回应，则分析模块判断学员还是处于疲劳状态；4)干扰单元的声音模块启动，通过语音提醒刺激学员，若学员在声音的刺激下清醒，分析模块判断学员处于清醒状态，则取消干扰单元的工作，若学员在气味的刺激下未做出任何回应，则分析模块判断学员依然处于疲劳状态；5)干扰单元的声音模块继续工作，并通过加大声音模块的语音分贝来刺激学员，直至学员做出回应，分析模块判断学员处于清醒状态为止，主控单元继续通过图像采集单元对学员的疲劳状态进行监测。优选的，所述图像采集单元通过摄像头采集视频信号，所述图像采集单元将视频信号进行解码，由模拟信号转换成数字视频信号，传输到主控单元，主控单元对视频数据进行处理。优选的，所述分析模块在对人脸采集模块采集到的信息进行分析时，在Rein-LienHsu算法的基础上，对单幅图像中人脸的肤色分布进行分析，根据每幅图像的人脸肤色分布特点进行区域分割，自动选取类似区域作为肤色区域，检测并定位人脸。优选的，所述的人脸肤色的检测算法步骤如下：S1、将采集到的图像格式设定为YUV(4:2:2:)，直接对每个像素的UV值取其对数值形成呈现一定峰状的二维直方图，引入参数K来消除干扰，且有K＝S/H，其中S表示从峰值到邻近峰谷的最短距离，H表示峰值的高度；S2、检测二维直方图中的各个峰值区域，将参数K大于阈值K0(K0＝0.1)的峰值作为标记，进行下一步的肤色检测；S3、对二维直方图进行区域分割：设定初始水平面为二维直方图的最高峰值点所在的水平面，水平面以下的二维直方图为起伏的峰谷，调整水平面使之下移，使得各个山峰按顺序依次在水平面上方出现，设定初始水平面的高度为H0，下移到水平面到H0-d，对于高于水平面H0-d的峰值分配唯一的标记号，继续下移水平面，检测位于H0-2d和H0-d之间的所有像素的值，判断是否有新的峰值出现，如果有，则分配一个新的标记号，否则给它分配与周围最近的像素点相同的标记号，直到所有指定高度的像素都分配到一个标记号；S4、由S3分割得到若干个区域，根据人脸的肤色椭圆模型来确定可能的肤色点的区域，并将该区域的中心点设为标准中心点，比较各个区域的峰值点与标准中心点之间的距离，距离越近是肤色区域的可能性越大，保留距离标准中心点最近的区域；S5、根据S1-S4对输入图像的像素逐个进行检测，若它在YUV空间中的UV分量属于肤色区域，则定义为肤色值，否则为非肤色值；S6、对肤色进行分割：将S5检测出的肤色像素点设为1，非肤色点设为0，把原图像转换为灰度图像提取边缘特征，利用Sobel边缘检测算子对图像的边缘进行处理，将检测出的边缘像素点置为0其余置为1；S7、将边缘特征提取的结果和肤色检测的结果逐像素进行取“与”操作；S8、使用四方向判断的算法进行形态学处理，当前点的上下左右有一个点的颜色是白色的时候，就把这点的颜色填充成白色，首先对图像进行两次连续的腐蚀操作，腐蚀操作可以让类似肤色区域与肤色区域分离开，然后对图像连续使用两次膨胀操作，使脸部区域中的不连续的块更连续；S9、人脸在分割中由于边缘像素的干扰而被分割为多个区域，所以我们对分割后的区域进行有效的合并，并把面积太小的区域去除，得到最终的输出矩形，即肤色分割处理的最终结果。优选的，所述分析模块在对人脸定位后，利用眨眼信息初步定位学员的眼睛位置，并在Susan眼角提取算子的基础上对眼睛进行精确定位，提取眼角小模板用于眼睛的跟踪，通过获取单帧图像中学员眼睛的开合程度，统计眼睛开合状态，提取眼睛状态的相关参数建立疲劳特征，以建立基于眼睛状态的学员的疲劳特征参数。优选的，所述分析模块在对眼部的定位和跟踪的过程中，包括眼睛的定位和眼睛的跟踪，定位眼睛以后进行跟踪，跟踪失败，再返回到定位状态，具体的步骤如下：A1、眼睛的初步定位：根据眨眼信息，定位出眼睛的位置范围；具体的，有：A1-1：根据眼睛的眨眼信息进行眼睛搜索窗口所对应的原始捕获设定为图像序列f1(x,y)，f2(x,y)…fn(x,y)，对该图像序列进行滤波处理，对对原序列图和变化图进行初始化：υ本文档来自技高网...

【技术保护点】
1.一种基于多重刺激的夜间学习方法，其特征在于：包括对学员进行监测的图像采集单元和对学员疲劳进行干预的干预单元，所述图像采集单元和干预单元均通信连接至主控单元；包括如下步骤：/n1）所述图像采集单元对学员的人脸、眼部和嘴部进行图像采集，所述主控单元的分析模块对图像采集单元采集的数据进行疲劳分析，当分析结果判断为有疲劳症状时，控制模块控制干扰单元启动，当分析结果判断为无疲劳症状时，图像采集单元继续对学员进行图像采集；/n2）当分析结果判断为有疲劳症状时，主控单元的控制模块控制干扰单元的蓝光模块启动，对学员进行蓝光闪烁刺激，若学员在蓝光的刺激下清醒，分析模块判断学员处于清醒状态，则取消干扰单元的工作，若学员在蓝光的刺激下未做出任何回应，则分析模块判断学员仍处于疲劳状态；/n3）控制模块控制干扰单元的喷雾模块启动，对学员周围的空气进行提神精油雾化喷射，通过气味刺激学员，若学员在气味的刺激下清醒，分析模块判断学员处于清醒状态，则取消干扰单元的工作，若学员在气味的刺激下未做出任何回应，则分析模块判断学员还是处于疲劳状态；/n4）控制模块控制干扰单元的声音模块启动，通过语音提醒刺激学员，若学员在声音的刺激下清醒，分析模块判断学员处于清醒状态，则取消干扰单元的工作，若学员在气味的刺激下未做出任何回应，则分析模块判断学员依然处于疲劳状态；/n5）控制模块控制干扰单元的声音模块继续工作，并通过加大声音模块的语音分贝来刺激学员，直至学员做出回应，分析模块判断学员处于清醒状态为止，主控单元继续通过图像采集单元对学员的疲劳状态进行监测。/n...

【技术特征摘要】
1.一种基于多重刺激的夜间学习方法，其特征在于：包括对学员进行监测的图像采集单元和对学员疲劳进行干预的干预单元，所述图像采集单元和干预单元均通信连接至主控单元；包括如下步骤：
1）所述图像采集单元对学员的人脸、眼部和嘴部进行图像采集，所述主控单元的分析模块对图像采集单元采集的数据进行疲劳分析，当分析结果判断为有疲劳症状时，控制模块控制干扰单元启动，当分析结果判断为无疲劳症状时，图像采集单元继续对学员进行图像采集；
2）当分析结果判断为有疲劳症状时，主控单元的控制模块控制干扰单元的蓝光模块启动，对学员进行蓝光闪烁刺激，若学员在蓝光的刺激下清醒，分析模块判断学员处于清醒状态，则取消干扰单元的工作，若学员在蓝光的刺激下未做出任何回应，则分析模块判断学员仍处于疲劳状态；
3）控制模块控制干扰单元的喷雾模块启动，对学员周围的空气进行提神精油雾化喷射，通过气味刺激学员，若学员在气味的刺激下清醒，分析模块判断学员处于清醒状态，则取消干扰单元的工作，若学员在气味的刺激下未做出任何回应，则分析模块判断学员还是处于疲劳状态；
4）控制模块控制干扰单元的声音模块启动，通过语音提醒刺激学员，若学员在声音的刺激下清醒，分析模块判断学员处于清醒状态，则取消干扰单元的工作，若学员在气味的刺激下未做出任何回应，则分析模块判断学员依然处于疲劳状态；
5）控制模块控制干扰单元的声音模块继续工作，并通过加大声音模块的语音分贝来刺激学员，直至学员做出回应，分析模块判断学员处于清醒状态为止，主控单元继续通过图像采集单元对学员的疲劳状态进行监测。


2.根据权利要求1所述的一种基于多重刺激的夜间学习方法，其特征在于：所述图像采集单元包括人脸采集模块、眼部采集模块和嘴部采集模块，所述干预单元包括喷雾模块、蓝光模块和声音模块；
所述主控单元包括分析模块和控制模块，所述控制模块根据分析模块的分析结果对学员的疲劳程度进行判断，所述控制模块根据判断的结果向所述干预单元发送信号，通过所述干预单元对学员进行促醒。

【专利技术属性】
技术研发人员：胡文莉，杨向格，尚季玲，梁超慧，尚宇，许卫红，刘博，
申请(专利权)人：郑州铁路职业技术学院，
类型：发明
国别省市：河南;41