一种基于表情识别的智慧教室交互方法及系统技术方案

本发明专利技术涉及智慧教室控制技术领域，具体公开了一种基于表情识别的智慧教室交互方法及系统，所述方法包括接收用户输入的含有用户信息的备案请求，建立以教室编号为标签的备案数据库；定时采集室内图像，对所述室内图像进行识别，确定环境调节设备的初始状态并激活人脸采集设备；接收人脸采集设备获取到的人脸信息，对所述人脸信息进行识别，基于所述备案数据库确定该用户的情绪评分；基于所述情绪评分确定环境调节设备的调整指令。本发明专利技术通过全景图像对教室内部进行预识别，进而激活人脸采集器，基于人脸采集器进行表情识别，进而控制环境调节设备，搭建了一个负反馈的系统，极大地提高了智慧教室的智能化水平。提高了智慧教室的智能化水平。提高了智慧教室的智能化水平。

【技术实现步骤摘要】
一种基于表情识别的智慧教室交互方法及系统


[0001]本专利技术涉及智慧教室控制
，具体是一种基于表情识别的智慧教室交互方法及系统。

技术介绍

[0002]智慧教室是一种典型的智慧学习环境的物化，是多媒体和网络教室的高端形态，它是借助物联网技术、云计算技术和智能技术等构建起来的新型教室，该新型教室包括有形的物理空间和无形的数字空间，通过各类智能装备辅助教学内容呈现、便利学习资源获取、促进课堂交互开展，实现情境感知和环境管理功能的新型教室。
[0003]现有的智慧教室中各设备的调节过程大都依赖于管理人员的人工调节，并不会根据室内人员的状态做出适应性调整，智能化程度并不高，尤其是环境调节设备。

技术实现思路

[0004]本专利技术的目的在于提供一种基于表情识别的智慧教室交互方法及系统，以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种基于表情识别的智慧教室交互方法，所述方法包括：接收用户输入的含有用户信息的备案请求，建立以教室编号为标签的备案数据库；所述用户信息包含身份标签项、表情特征项及含有情绪评级的情绪评分项；根据预设的含有测温传感器的图像采集设备定时采集室内图像，对所述室内图像进行识别，确定环境调节设备的初始状态并激活人脸采集设备；接收人脸采集设备获取到的人脸信息，对所述人脸信息进行识别，基于所述备案数据库确定该用户的情绪评分；基于所述情绪评分确定环境调节设备的调整指令；其中，环境调节设备的调整指令由教室内所有人员的含有情绪评分的分布信息确定。
[0006]作为本专利技术进一步的方案：所述接收用户输入的含有用户信息的备案请求，建立以教室编号为标签的备案数据库的步骤包括：接收用户输入的含有身份信息的备案请求，建立以身份信息为标签的元素；读取并显示预存的含有媒体类型的媒体数据，实时获取用户的表情特征；根据所述媒体类型对表情特征进行分类，得到训练集；基于所述训练集训练生成神经网络识别模型，基于训练好的神经网络识别模型对用户的表情特征进行识别，输出含有情绪评级的情绪评分；统计表情特征及其含有情绪评级的情绪评分，插入以身份信息为标签的元素中。
[0007]作为本专利技术进一步的方案：所述根据预设的含有测温传感器的图像采集设备定时采集室内图像，对所述室内图像进行识别，确定环境调节设备的初始状态并激活人脸采集
设备的步骤包括：根据预设的含有测温传感器的图像采集设备定时采集含有温度层的室内图像；根据时间信息对含有温度层的室内图像进行排序，并对排序后的室内图像的温度层进行叠加，得到预设时间段内的温度总层；根据所述温度总层确定异常区域；所述异常区域为温度值超出预设阈值的像素点组成的区域；根据所述异常区域确定环境调节设备的初始状态并激活人脸采集设备。
[0008]作为本专利技术进一步的方案：所述接收人脸采集设备获取到的人脸信息，对所述人脸信息进行识别，基于所述备案数据库确定该用户的情绪评分的步骤包括：接收人脸采集设备获取到的人脸信息，对所述人脸信息进行识别，确定该用户的身份标签；将所述人脸信息输入训练好的神经网络识别模型，输出含有情绪评级的情绪评分；根据输出的含有情绪评级的情绪评分在所述备案数据库中查询对应的表情特征；将查询到的表情特征与人脸信息进行比对，根据比对结果对含有情绪评级的情绪评分进行调整。
[0009]作为本专利技术进一步的方案：所述基于所述情绪评分确定环境调节设备的调整指令的步骤包括：根据人脸采集设备的位置及获取到的人脸信息确定用户位置；根据用户位置和含有情绪评级的情绪评分建立元组，根据所述元组确定用户分布图；根据所述用户分布图确定环境调节设备的调整指令。
[0010]作为本专利技术进一步的方案：所述根据所述用户分布图确定环境调节设备的调整指令的步骤包括：对所述用户分布图中的用户进行聚类；读取同类用户的含有情绪评级的情绪评分，计算基准评分；根据所述基准评分判定同类用户中各用户的情绪幅度；所述情绪幅度用于表征某一用户的情绪评分与基准评分的差异程度，所述情绪幅度含有符号，所述符号用于表征与基准评分的大小关系；根据基准评分和情绪幅度确定该类用户的环境调节幅度；依次获取各环境调节设备与各用户的空间距离，由空间距离确定影响权重，根据所述影响权重和所述环境调节幅度确定该环境调节设备的调整指令。
[0011]本专利技术技术方案还提供了一种基于表情识别的智慧教室交互系统，所述系统包括：数据库建立模块，用于接收用户输入的含有用户信息的备案请求，建立以教室编号为标签的备案数据库；所述用户信息包含身份标签项、表情特征项及含有情绪评级的情绪评分项；设备激活模块，用于根据预设的含有测温传感器的图像采集设备定时采集室内图像，对所述室内图像进行识别，确定环境调节设备的初始状态并激活人脸采集设备；
人脸识别模块，用于接收人脸采集设备获取到的人脸信息，对所述人脸信息进行识别，基于所述备案数据库确定该用户的情绪评分；设备调整模块，用于基于所述情绪评分确定环境调节设备的调整指令；其中，环境调节设备的调整指令由教室内所有人员的含有情绪评分的分布信息确定。
[0012]作为本专利技术进一步的方案：所述数据库建立模块包括：元素建立单元，用于接收用户输入的含有身份信息的备案请求，建立以身份信息为标签的元素；数据获取单元，用于读取并显示预存的含有媒体类型的媒体数据，实时获取用户的表情特征；训练集搭建单元，用于根据所述媒体类型对表情特征进行分类，得到训练集；模型训练单元，用于基于所述训练集训练生成神经网络识别模型，基于训练好的神经网络识别模型对用户的表情特征进行识别，输出含有情绪评级的情绪评分；数据统计单元，用于统计表情特征及其含有情绪评级的情绪评分，插入以身份信息为标签的元素中。
[0013]作为本专利技术进一步的方案：所述设备激活模块包括：图像采集单元，用于根据预设的含有测温传感器的图像采集设备定时采集含有温度层的室内图像；图层叠加单元，用于根据时间信息对含有温度层的室内图像进行排序，并对排序后的室内图像的温度层进行叠加，得到预设时间段内的温度总层；异常区域确定单元，用于根据所述温度总层确定异常区域；所述异常区域为温度值超出预设阈值的像素点组成的区域；激活执行单元，用于根据所述异常区域确定环境调节设备的初始状态并激活人脸采集设备。
[0014]作为本专利技术进一步的方案：所述人脸识别模块包括：身份标签确定单元，用于接收人脸采集设备获取到的人脸信息，对所述人脸信息进行识别，确定该用户的身份标签；模型应用单元，用于将所述人脸信息输入训练好的神经网络识别模型，输出含有情绪评级的情绪评分；特征查询单元，用于根据输出的含有情绪评级的情绪评分在所述备案数据库中查询对应的表情特征；比对验证单元，用于将查询到的表情特征与人脸信息进行比对，根据比对结果对含有情绪评级的情绪评分进行调整。
[0015]与现有技术相比，本专利技术的有益效果是：本专利技术通过全景图像对教室内部进行预识别，进而激活人脸采集器，基于人脸采集器进行表情识别，进而控制环境调节设备，在此基础上，由环境调节设备的人工调节过程再对表情本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于表情识别的智慧教室交互方法，其特征在于，所述方法包括：接收用户输入的含有用户信息的备案请求，建立以教室编号为标签的备案数据库；所述用户信息包含身份标签项、表情特征项及含有情绪评级的情绪评分项；根据预设的含有测温传感器的图像采集设备定时采集室内图像，对所述室内图像进行识别，确定环境调节设备的初始状态并激活人脸采集设备；接收人脸采集设备获取到的人脸信息，对所述人脸信息进行识别，基于所述备案数据库确定该用户的情绪评分；基于所述情绪评分确定环境调节设备的调整指令；其中，环境调节设备的调整指令由教室内所有人员的含有情绪评分的分布信息确定。2.根据权利要求1所述的基于表情识别的智慧教室交互方法，其特征在于，所述接收用户输入的含有用户信息的备案请求，建立以教室编号为标签的备案数据库的步骤包括：接收用户输入的含有身份信息的备案请求，建立以身份信息为标签的元素；读取并显示预存的含有媒体类型的媒体数据，实时获取用户的表情特征；根据所述媒体类型对表情特征进行分类，得到训练集；基于所述训练集训练生成神经网络识别模型，基于训练好的神经网络识别模型对用户的表情特征进行识别，输出含有情绪评级的情绪评分；统计表情特征及其含有情绪评级的情绪评分，插入以身份信息为标签的元素中。3.根据权利要求1所述的基于表情识别的智慧教室交互方法及系统，其特征在于，所述根据预设的含有测温传感器的图像采集设备定时采集室内图像，对所述室内图像进行识别，确定环境调节设备的初始状态并激活人脸采集设备的步骤包括：根据预设的含有测温传感器的图像采集设备定时采集含有温度层的室内图像；根据时间信息对含有温度层的室内图像进行排序，并对排序后的室内图像的温度层进行叠加，得到预设时间段内的温度总层；根据所述温度总层确定异常区域；所述异常区域为温度值超出预设阈值的像素点组成的区域；根据所述异常区域确定环境调节设备的初始状态并激活人脸采集设备。4.根据权利要求1所述的基于表情识别的智慧教室交互方法及系统，其特征在于，所述接收人脸采集设备获取到的人脸信息，对所述人脸信息进行识别，基于所述备案数据库确定该用户的情绪评分的步骤包括：接收人脸采集设备获取到的人脸信息，对所述人脸信息进行识别，确定该用户的身份标签；将所述人脸信息输入训练好的神经网络识别模型，输出含有情绪评级的情绪评分；根据输出的含有情绪评级的情绪评分在所述备案数据库中查询对应的表情特征；将查询到的表情特征与人脸信息进行比对，根据比对结果对含有情绪评级的情绪评分进行调整。5.根据权利要求1所述的基于表情识别的智慧教室交互方法及系统，其特征在于，所述基于所述情绪评分确定环境调节设备的调整指令的步骤包括：根据人脸采集设备的位置及获取到的人脸信息确定用户位置；根据用户位置和含有情绪评级的情绪评分建立元组，根据所述元组确定用户分布图；
根据所述用户分布图确定环境调节设备的调整指令。6.根据权利要求5所述的基于表情识别的智慧教室交互方法及系统，其特征在于，所述根据所述用户分布图确定环境调节设备的调整指令的步骤包括：对所述用户分布图中的用...

【专利技术属性】
技术研发人员：童炼，孟志刚，杨兰，赵昕，黄鉴琳，税典坤，
申请(专利权)人：长沙学院，
类型：发明
国别省市：