一种心智游移状态识别系统与方法技术方案

本发明专利技术涉及智慧教育领域，尤其涉及一种心智游移状态识别系统与方法。包括相互之间电性连接的数据采集模块、校园局域网、路由器、学习数据库、中央处理器、教学一体化控制系统以及警示器，所述数据采集模块包括高清摄像机、电子血压测试仪、电子心率测试仪和眼动仪，所述高清摄像机通过光缆与路由器电性连接，所述血压测试仪、心率测试仪和眼动仪连接于校园局域网上，本发明专利技术的心智游移状态识别系统与方法，可以以减少学习者心智游移现象发生的频次和持续时间，提高学习效率，同时还有利于帮助教育者和管理者更好地理解和实时监测学习者注意力转移状态，并根据心智游移持续强度采取相应的干预措施，实现学习过程的有效监控。实现学习过程的有效监控。实现学习过程的有效监控。

【技术实现步骤摘要】
一种心智游移状态识别系统与方法


[0001]本专利技术涉及智慧教育领域，尤其涉及一种心智游移状态识别系统与方法。

技术介绍

[0002]近年来，伴随在线教育、微视频等优质教育资源获取途径越来越便捷，智慧学习环境建设的成熟度不断提升，尤其是教育大数据来源多元化促使我们对学习活动从关注学习结果向学习过程转变。然而，目前人们对学习者在学习过程中的注意力状态认识不够全面和深入，通常无法及时发现学习者的注意力是否偏离当前学习任务。我们把学习者在学习过程中的注意力不自觉地转移到与当前学习任务无关的一些内部思维活动或空白想象中去的现象称为“心智游移”，俗称“走神”。
[0003]多数研究者指出学习者内部思维活动中，心智游移发生频率介于30％～40％之间，通常会造成任务绩效降低。由于现有的心智游移自动监测模型通常数据来源比较单一，较难准确匹配心智游移状态，不能有效收集到反映学习者注意力状态的多源数据。
[0004]Blanchard等使用Affectiva Q传感器测量皮电反应和皮肤表面温度来辨别心智游移，并建立了与心智游移的相关性；D
’
Mello等尝试通过眼动轨迹来识别心智游移状态，通过随机位置设置语音探针触发来获取学习者的心智游移报告数据，并使用眼动轨迹数据来建立分类器识别心智游移，该模型准确性达到60％；中国专利CN 103679591 A公开了《一种远程学习状态监测系统及方法》，通过对学生的监控视频图像处理，判别眼睛和表情与正常学习状态的差异，实现远程学习状态的监测。该专利技术需要建立大量的学习者图像素材才能判别学生的学习状态。
[0005]因此，如何在学习情境中，不打扰学习者流畅的学习任务，获取大量反映其注意力状态的数据，并对其进行智能监测和判定，对于学习者心智游移状态监测和识别具有重要的意义。

技术实现思路

[0006]针对上述
技术介绍
中的技术缺点，本专利技术的目的在于提出一种心智游移状态识别系统与方法，用以减少学习者心智游移现象发生的频次和持续时间，提高学习效率，同时还有利于帮助教育者和管理者更好地理解和实时监测学习者注意力转移状态，并根据心智游移持续强度采取相应的干预措施，实现学习过程的有效监控。
[0007]为了达到上述目的，本专利技术所采取的技术方案如下：
[0008]一种心智游移状态识别系统，包括相互之间电性连接的数据采集模块、校园局域网、路由器、学习数据库、中央处理器、教学一体化控制系统以及警示器，所述数据采集模块包括高清摄像机、电子血压测试仪、电子心率测试仪和眼动仪，所述高清摄像机通过光缆与路由器电性连接，所述血压测试仪、心率测试仪和眼动仪连接于校园局域网上，所述校园局域网将血压测试仪、心率测试仪和眼动仪所采集到的数据传输至路由器，所述路由器将接收到的数据传输至校园数据库，所述校园数据库将接收到的实时信息传输至中央处理器，
所述中央处理器通过SVM对学习者的心智游移状态进行判别，并将判别数据传输至教学一体化系统，所述教学一体化系统与警示器电性连接，并通过警示器对学习者的状态进行警示和提醒。
[0009]进一步的，所述高清摄像机、电子血压测试仪、电子心率测试仪和眼动仪采集到数据分为结构化数据和非结构化数据，所述结构化数据包括通过电子血压测试仪和电子心率测试从学习者身上所采集到的数据，所述非结构化数据包括高清摄像机和眼动仪从学习者身上所采集到的数据。
[0010]根据上述技术方案本专利技术还公开了一种心智游移状态识别方法，包含如下步骤，
[0011]A.将学习者的心智游移状态分为四类，包括中重度、中度、良性、无；
[0012]B.数据采集模块对学习者的结构化数据和非结构化数据进行实时采集；
[0013]C.将实时采集的数据加入到SVM测试集中进行训练和分类；
[0014]D.通过结构化数据和非结构化数据的SVM分类结果，对学习者的心智游移状态进行综合判定；
[0015]d1.当SVM分类器的输出为重度或中度心智游移，中央处理器结合实时数据和历史数据形成学习者新的数据报表，并将数据报表和心智游移状态信息发送给教学一体化控制系统；
[0016]d2.教学一体化控制系统对接收到的数据报表进行储存；
[0017]d3.当处于重度心智游移状态时，教学一体化控制系统控制警示器对学习者进行提醒；
[0018]E.查询教学一体化控制系统内的历史数据报表即可了解学习者在学习时的心智游移程度。
[0019]进一步的，所述步骤C的具体操作步骤如下：(1)结构化数据(如血压、心率等)，根据学习者的档案标签和历史SVM分类器的结果，从数据库中取出具有代表性的生理特征数据作为训练样本，对历史数据进行归一化处理。采用Gaussian RBF核作为SVM的核函数对历史数据进行训练和判别，当SVM对历史数据的分类准确率达到90％以上，把实时采集到的数据加入到SVM测试集中进行训练和分类；
[0020](2)对于非结构化数据(如眼动、头部、脸部图像等)，图像特征集采用HSV与灰度共生矩阵相结合。HSV是最常用的颜色空间，对图像的色调H、饱和度S、亮度V进行非等间隔量化；灰度共生矩阵取0
°
、45
°
、90
°
、135
°
四个方向扫描，灰度级为256级，采用对比度、逆差矩和自相关作为灰度共生矩阵的特征。将图像的特征向量归一化处理后加入SVM进行训练，当SVM对历史图像的分类准确率达到80％以上时，把实时采集到的各类图像加入到SVM测试集中进行训练和分类。
[0021]进一步的，步骤D对结构化数据判别的方法具体如下：
[0022]依据历史SVM分类器的结果，从数据库中取出具有代表性的生理特征数据作为训练样本，对历史数据进行归一化处理。采用Gaussian RBF核作为SVM的核函数，将多维数据映射到一个更高维的空间，是局部性很强的核函数，具有相当高的灵活性，也是使用最广泛的核函数。其表达式为，
[0023]k(||x
‑
x
c
||)＝exp[
‑
||x
‑
x
c
||2/2*σ2][0024]其中k(||x
‑
x
c
||)表示空间中任一点x到核函数中心x
c
的欧氏距离，σ为核函数的宽
度参数。将归一化后的实时数据分别作为SVM的输入，训练和测试SVM，生成SVM分类。通过历史数据的训练，当SVM对历史数据的分类准确率达到90％以上，把实时采集到数据加入到SVM测试集中。其中血压采集数据包含收缩压(高、低)、舒张压(高、低)、脉压等指标；心率采集的数据位每分钟学习者的脉搏次数。
[0025]进一步的，步骤D中非结构化数据判别的方法具体如下：
[0026]从数据库中提取学习者的历史图片资料，根据历史SVM分类器提取学习者不同心智游移程度的特征。本专利技术中主要提取学习者的历史本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种心智游移状态识别系统，其特征在于：包括相互之间电性连接的数据采集模块、校园局域网、路由器、学习数据库、中央处理器、教学一体化控制系统以及警示器，所述数据采集模块包括高清摄像机、电子血压测试仪、电子心率测试仪和眼动仪，所述高清摄像机通过光缆与路由器电性连接，所述血压测试仪、心率测试仪和眼动仪连接于校园局域网上，所述校园局域网将血压测试仪、心率测试仪和眼动仪所采集到的数据传输至路由器，所述路由器将接收到的数据传输至校园数据库，所述校园数据库将接收到的实时信息传输至中央处理器，所述中央处理器通过SVM对学习者的心智游移状态进行判别，并将判别数据传输至教学一体化系统，所述教学一体化系统与警示器电性连接，并通过警示器对学习者的状态进行警示和提醒。2.根据权利要求1所述的一种心智游移状态识别系统，其特征在于：所述高清摄像机、电子血压测试仪、电子心率测试仪和眼动仪采集到数据分为结构化数据和非结构化数据，所述结构化数据包括通过电子血压测试仪和电子心率测试从学习者身上所采集到的数据，所述非结构化数据包括高清摄像机和眼动仪从学习者身上所采集到的数据。3.根据权利要求1或2所述的一种心智游移状态识别方法，其特征在于：包含如下步骤，A.将学习者的心智游移状态分为四类，包括中重度、中度、良性、无；B.数据采集模块对学习者的结构化数据和非结构化数据进行实时采集；C.将实时采集的数据加入到SVM测试集中进行训练和分类；D.通过结构化数据和非结构化数据的SVM分类结果，对学习者的心智游移状态进行综合判定；d1.当SVM分类器的输出为重度或中度心智游移，中央处理器结合实时数据和历史数据形成学习者新的数据报表，并将数据报表和心智游移状态信息发送给教学一体化控制系统；d2.教学一体化控制系统对接收到的数据报表进行储存；d3.当处于重度心智游移状态时，教学一体化控制系统控制警示器对学习者进行提醒；E.查询教学一体化控制系统内的历史数据报表即可了解学习者在学习时的心智游移程度。4.根据权利要求3所述的一种心智游移状态识别方法，其特征在于：所述步骤C具体如下：(1)对于结构化数据，根据学习者的档案标签和历史SVM分类器的结果，从数据库中取出具有代表性的生理...

【专利技术属性】
技术研发人员：胡云冰，谢庆明，武春岭，吴焱岷，张莺莺，李贺华，尹宽，华成丽，徐宏英，
申请(专利权)人：重庆电子工程职业学院，
类型：发明
国别省市：