一种基于面部表情识别的课堂教学评估系统技术方案

本发明专利技术公开了一种基于面部表情识别的课堂教学评估系统，包括监控模块、人脸监测模块、表情库、数据库、数据分析模块、计时单元、成绩获取模块、处理器、显示模块、存储模块、数据交互单元和教师互动端；所述教师互动端包括分控制器、提示模块、显示器、输入模块和记录单元；所述监控模块由设置在教室内的若干摄像头构成；本发明专利技术通过监控模块实时监控上课时教室内的影像资料，并通过人脸监测模块对影像资料进行分析，依靠微表情识别技术分析感知学生在课堂中的情感状态变化，反映学生对即时课堂教学的兴趣度，实现快速、全自动的课堂教学评估。

【技术实现步骤摘要】
一种基于面部表情识别的课堂教学评估系统
本专利技术属于教学评估领域，涉及一种面部表情识别技术，具体是一种基于面部表情识别的课堂教学评估系统。
技术介绍
表情识别是指从给定的静态图像或动态视频序列中分离出特定的表情状态，从而确定被识别对象的心理情绪。随着计算机技术和人工智能技术及其相关学科的迅猛发展，整个社会的自动化程度不断提高，人们对类似于人和人交流方式的人机交互的需求日益强烈。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。表情识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。人脸表情识别是指从给定的静态图像或动态视频序列中分离出特定的表情状态，从而确定被识别对象的心理情绪，实现计算机对人脸表情的理解与识别，从根本上改变人与计算机的关系，从而达到更好的人机交互。因此人脸表情识别在心理学、智能机器人、智能监控、虚拟现实及合成动画等领域有很大的潜在应用价值。而当前随着技术的发展，表情识别这项技术也慢慢的被引用到其他领域；而教育是人们当前普遍的关注点，对于学生成绩，教师的教学方式和内容也会对学生起到很大的影响，当前对于学生是否认真仅仅单凭成绩就可以大概判定；那么对于教师的教学质量呢，可能需要多个角度去判定；当前我们则希望有一种能够通过表情识别技术实时了解学生上课状态，同时结合其他因素，形成一个良好的对于教师教学质量进行评价的系统；为了实现上述构想，现提供一种解决方案。专利技术内容本专利技术的目的在于提供一种基于面部表情识别的课堂教学评估系统。本专利技术所要解决的技术问题为：(1)如何对学生的上课表情进行分类，这些表情对于教学内容的反应为什么样的；(2)如何根据上课的各类实时表情对教师的教学质量做出评价。本专利技术的目的可以通过以下技术方案实现：一种基于面部表情识别的课堂教学评估系统，包括监控模块、人脸监测模块、表情库、数据库、数据分析模块、计时单元、成绩获取模块、处理器、显示模块、存储模块、数据交互单元和教师互动端；其中，所述教师互动端包括分控制器、提示模块、显示器、输入模块和记录单元；其中，所述监控模块由设置在教室内的若干摄像头构成，用于获取教室内上课时的实时影像资料，所述数据库存储有班级所有学生的人脸总资料和课程信息；人脸总资料为该班级所有学生的人脸资料；课程信息为课程和对应教师；所述监控模块用于将影像资料传输到人脸监测模块；其中，所述表情库预存有学生的听课表情库，所述听课表情库包括大于一定数量的听课时的两大类表情样本；两大类表情样本具体为：A：积极听课类，积极听课类表情为理解表情和倾听表情；A1：理解表情为学生听懂课程的普遍反应，当学生理解了当前内容或者自身能够积极的参与到教学活动中，如回答问题和参与讨论中的情况时会流露出理解表情，采集大于一定数量的表情样本形成样本库；A2：倾听表情为学生在听课时的正常表情，当学生对教学内容感兴趣，愿意听老师讲课时，会流露出倾听的表情，采集大于一定数量的表情样本形成样本库；B：消极听课类，消极听课类表情包括疑惑表情和抗拒表情；B1：疑惑表情为学生对教学内容未理解且存在疑问时，会流露出疑问表情；B2：抗拒表情为学生觉得教学内容过于困难超出自己的认知水平的、过于简单的或对学习内容不感兴趣时，会流露出抗拒表情；所述人脸监测模块还用于在上课阶段结合表情库以及计时单元对影像资料进行学生专注度进行分析，具体分析步骤如下：步骤一：获取到所有学生的实时表情；步骤二：将学生的实时表情与表情库进行比对；步骤三：获取到每个学生在课程上出现理解表情、倾听表情、疑惑表情和抗拒表情各自表情的时间占比；具体获取步骤为：S1：获取任一学生；S2：并选定任一门课程；S3：获取该课程的总课程时间；S4：获取该学生对应该门课程出现理解表情的理解时间，将理解时间除以总课程时间得到理解表情出现的理解时间占比；S5：获取该学生对应该门课程出现倾听表情的倾听时间，将倾听时间除以总课程时间得到倾听表情出现的倾听时间占比；S6：获取该学生对应该门课程出现疑惑表情的疑惑时间，将疑惑时间除以总课程时间得到疑惑表情出现的疑惑时间占比；S7：获取该学生对应该门课程出现抗拒表情的抗拒时间，将抗拒时间除以总课程时间得到抗拒表情出现的抗拒时间占比；S8：选定下一门课程重复步骤S3-S7，直至获取该学生所有课程出现的各类表情的时间占比；S9:选定下一学生重复步骤S2-S8直至获取所有学生在所有课程上出现的各类表情的时间占比；SS1：将理解时间占比标记为Qij,，i＝1...m，j＝1...n；Qij表示为对应学生i在课程j时的理解时间占比；SS2：将倾听时间占比标记为Pij,，i＝1...m，j＝1...n；Pij表示为对应学生i在课程j时的倾听时间占比；SS3：将疑惑时间占比标记为Hij,，i＝1...m，j＝1...n；Hij表示为对应学生i在课程j时的疑惑时间占比；SS4：将抗拒时间占比标记为Kij,，i＝1...m，j＝1...n；Kij表示为对应学生i在课程j时的抗拒时间占比；所述人脸监测模块用于将学生各表情时间占比Qij、Pij、Hij和Kij传输到数据分析模块；所述数据分析模块用于结合Qij、Pij、Hij和Kij对教师课堂教学做统计，统计步骤如下：步骤一：获取到Qij、Pij、Hij和Kij；步骤二：因为上课出现疑惑时间和抗拒时间对教师上课质量影响不同，故在此处加入修正值来计算不同课程对应教师的消极教学率W1j；利用公式i＝1...m，j＝1...n，X1+X2＝1，其中X2>X1，且X1和X2均为预设值；计算得到课程j对应的教师的消极教学率W1j；步骤三：因为上课出现倾听时间和理解时间对教师上课质量影响不同，故在此处加入修正值来计算不同课程对应教师的积极教学率W2j；利用公式i＝1...m，j＝1...n；X1>X2，X1+X2＝1，且X1和X2均为预设值；计算得到课程j对应的教师的积极教学率W2j；所述数据分析模块用于将消极教学率W1j和积极教学率W2j传输到处理器，所述处理器用于将消极教学率W1j和积极教学率W2j传输到显示器和存储模块，所述显示器用于实时显示消极教学率W1j和积极教学率W2j，所述存储模块用于根据消极教学率W1j和积极教学率W2j结合对应教师将二者数据融合形成教学记录并实时存储。进一步地，所述处理器还用于通过数据交互单元将消极教学率W1j和积极教学率W2j传输到分控制器，所述分控制器用于在消极教学率W1j超过预设值时向提示模块传输提示信号，所述提示模块接收到分控制器传输的提示信号时会自动发出提示；所述分控制器用于将消极教学率W1j和积极教学率W2j传输到显示器进行实时显示；所述分控本文档来自技高网...

【技术保护点】
1.一种基于面部表情识别的课堂教学评估系统，其特征在于，包括监控模块、人脸监测模块、表情库、数据库、数据分析模块、计时单元、成绩获取模块、处理器、显示模块、存储模块、数据交互单元和教师互动端；/n其中，所述教师互动端包括分控制器、提示模块、显示器、输入模块和记录单元；/n其中，所述监控模块由设置在教室内的若干摄像头构成，用于获取教室内上课时的实时影像资料，所述数据库存储有班级所有学生的人脸总资料和课程信息；人脸总资料为该班级所有学生的人脸资料；课程信息为课程和对应教师；/n所述监控模块用于将影像资料传输到人脸监测模块；/n其中，所述表情库预存有学生的听课表情库，所述听课表情库包括大于一定数量的听课时的两大类表情样本；两大类表情样本具体为：/nA：积极听课类，积极听课类表情为理解表情和倾听表情；/nA1：理解表情为学生听懂课程的普遍反应，当学生理解了当前内容或者自身能够积极的参与到教学活动中，如回答问题和参与讨论中的情况时会流露出理解表情，采集大于一定数量的表情样本形成样本库；/nA2：倾听表情为学生在听课时的正常表情，当学生对教学内容感兴趣，愿意听老师讲课时，会流露出倾听的表情，采集大于一定数量的表情样本形成样本库；/nB：消极听课类，消极听课类表情包括疑惑表情和抗拒表情；/nB1：疑惑表情为学生对教学内容未理解且存在疑问时，会流露出疑问表情；/nB2：抗拒表情为学生觉得教学内容过于困难超出自己的认知水平的、过于简单的或对学习内容不感兴趣时，会流露出抗拒表情；/n所述人脸监测模块还用于在上课阶段结合表情库以及计时单元对影像资料进行学生专注度进行分析，具体分析步骤如下：/n步骤一：获取到所有学生的实时表情；/n步骤二：将学生的实时表情与表情库进行比对；/n步骤三：获取到每个学生在课程上出现理解表情、倾听表情、疑惑表情和抗拒表情各自表情的时间占比；具体获取步骤为：/nS1：获取任一学生；/nS2：并选定任一门课程；/nS3：获取该课程的总课程时间；/nS4：获取该学生对应该门课程出现理解表情的理解时间，将理解时间除以总课程时间得到理解表情出现的理解时间占比；/nS5：获取该学生对应该门课程出现倾听表情的倾听时间，将倾听时间除以总课程时间得到倾听表情出现的倾听时间占比；/nS6：获取该学生对应该门课程出现疑惑表情的疑惑时间，将疑惑时间除以总课程时间得到疑惑表情出现的疑惑时间占比；/nS7：获取该学生对应该门课程出现抗拒表情的抗拒时间，将抗拒时间除以总课程时间得到抗拒表情出现的抗拒时间占比；/nS8：选定下一门课程重复步骤S3-S7，直至获取该学生所有课程出现的各类表情的时间占比；/nS9:选定下一学生重复步骤S2-S8直至获取所有学生在所有课程上出现的各类表情的时间占比；/nSS1：将理解时间占比标记为Qij,，i＝1...m，j＝1...n；Qij表示为对应学生i在课程j时的理解时间占比；/nSS2：将倾听时间占比标记为Pij,，i＝1...m，j＝1...n；Pij表示为对应学生i在课程j时的倾听时间占比；/nSS3：将疑惑时间占比标记为Hij,，i＝1...m，j＝1...n；Hij表示为对应学生i在课程j时的疑惑时间占比；/nSS4：将抗拒时间占比标记为Kij,，i＝1...m，j＝1...n；Kij表示为对应学生i在课程j时的抗拒时间占比；/n所述人脸监测模块用于将学生各表情时间占比Qij、Pij、Hij和Kij传输到数据分析模块；所述数据分析模块用于结合Qij、Pij、Hij和Kij对教师课堂教学做统计，统计步骤如下：/n步骤一：获取到Qij、Pij、Hij和Kij；/n步骤二：因为上课出现疑惑时间和抗拒时间对教师上课质量影响不同，故在此处加入修正值来计算不同课程对应教师的消极教学率W1j；利用公式...

【技术特征摘要】
1.一种基于面部表情识别的课堂教学评估系统，其特征在于，包括监控模块、人脸监测模块、表情库、数据库、数据分析模块、计时单元、成绩获取模块、处理器、显示模块、存储模块、数据交互单元和教师互动端；
其中，所述教师互动端包括分控制器、提示模块、显示器、输入模块和记录单元；
其中，所述监控模块由设置在教室内的若干摄像头构成，用于获取教室内上课时的实时影像资料，所述数据库存储有班级所有学生的人脸总资料和课程信息；人脸总资料为该班级所有学生的人脸资料；课程信息为课程和对应教师；
所述监控模块用于将影像资料传输到人脸监测模块；
其中，所述表情库预存有学生的听课表情库，所述听课表情库包括大于一定数量的听课时的两大类表情样本；两大类表情样本具体为：
A：积极听课类，积极听课类表情为理解表情和倾听表情；
A1：理解表情为学生听懂课程的普遍反应，当学生理解了当前内容或者自身能够积极的参与到教学活动中，如回答问题和参与讨论中的情况时会流露出理解表情，采集大于一定数量的表情样本形成样本库；
A2：倾听表情为学生在听课时的正常表情，当学生对教学内容感兴趣，愿意听老师讲课时，会流露出倾听的表情，采集大于一定数量的表情样本形成样本库；
B：消极听课类，消极听课类表情包括疑惑表情和抗拒表情；
B1：疑惑表情为学生对教学内容未理解且存在疑问时，会流露出疑问表情；
B2：抗拒表情为学生觉得教学内容过于困难超出自己的认知水平的、过于简单的或对学习内容不感兴趣时，会流露出抗拒表情；
所述人脸监测模块还用于在上课阶段结合表情库以及计时单元对影像资料进行学生专注度进行分析，具体分析步骤如下：
步骤一：获取到所有学生的实时表情；
步骤二：将学生的实时表情与表情库进行比对；
步骤三：获取到每个学生在课程上出现理解表情、倾听表情、疑惑表情和抗拒表情各自表情的时间占比；具体获取步骤为：
S1：获取任一学生；
S2：并选定任一门课程；
S3：获取该课程的总课程时间；
S4：获取该学生对应该门课程出现理解表情的理解时间，将理解时间除以总课程时间得到理解表情出现的理解时间占比；
S5：获取该学生对应该门课程出现倾听表情的倾听时间，将倾听时间除以总课程时间得到倾听表情出现的倾听时间占比；
S6：获取该学生对应该门课程出现疑惑表情的疑惑时间，将疑惑时间除以总课程时间得到疑惑表情出现的疑惑时间占比；
S7：获取该学生对应该门课程出现抗拒表情的抗拒时间，将抗拒时间除以总课程时间得到抗拒表情出现的抗拒时间占比；
S8：选定下一门课程重复步骤S3-S7，直至获取该学生所有课程出现的各类表情的时间占比；
S9:选定下一学生重复步骤S2-S8直至获取所有学生在所有课程上出现的各类表情的时间占比...

【专利技术属性】
技术研发人员：石鑫，
申请(专利权)人：深圳峰诚志合信息科技有限公司，
类型：发明
国别省市：广东;44