一种基于复杂学业情绪识别方法的智能学伴机器人技术

本发明专利技术公开了一种基于复杂学业情绪识别方法的智能学伴机器人，包括以下步骤：步骤S1：定义复杂学业情绪模型；步骤S2：收集复杂学业情绪数据集；步骤S3：对收集的复杂学业情绪数据集进行数据预处理；步骤S4：构建基于学业情绪模型的面部复杂表情识别网络，训练得到复杂表情的识别分类结果;步骤S5：基于复杂学业情绪识别方法对智能学伴机器人进行设置；步骤S6：智能学伴机器人对用户进行情绪检测并进行反馈；步骤S7：智能学伴机器人进行学习记录与反馈，并提出建议；本发明专利技术相较于基本表情识别而言更加具有针对性；通过复杂学业情绪集进行面部识别提高了有效性；通过智能学伴机器人能够保证用户长期稳定的学习状态。够保证用户长期稳定的学习状态。

【技术实现步骤摘要】
一种基于复杂学业情绪识别方法的智能学伴机器人


[0001]本专利技术涉及一种机器人设计领域，尤其是涉及一种基于复杂学业情绪识别方法的智能学伴机器人。

技术介绍

[0002]在国内外市场中，虽有适用于教育场景的智能学伴机器人不断涌现，但此类产品尚未关注到情绪对学业的关键性影响。目前此类产品主要面向幼龄儿童、中小学生等群体提供服务。在课内主打“AI+教育”的理念，提供适度的授课教学服务；在课外主要提供作业辅导（拍题搜答案）、监护辅助等辅助性教学。此类做法虽能在短期内让学习者提高效率，但也可能会造成学习者焦虑感提升等问题，并不能够让学习者长期保持健康且高效的学习状态。
[0003]例如，一种在中国专利文献上公开的“一种具有情感识别功能的人机协同学习用教育机器人”，其公告号：“CN202011072060.6”，包括一种具有情感识别功能的人机协同学习用教育机器人，通过情绪识别、视觉和听觉上的协同配合来促进用户学习效率，并在用户学习后自动生成学习报告。本专利技术主要是通过用户的表情以及声音语气来综合判断用户学习的情绪，对于分类以及实用性而言不够准确有效。

技术实现思路

[0004]本专利技术主要解决现有的情绪识别机器人通过声音以及语音语调来对情绪进行判断，对于基础情绪的识别来说具有较好的识别功能，考虑到情绪的复杂性，较于复杂情绪而言无法提供合适的识别手段，本专利技术提供一种可以识别复杂学业情绪的智能学伴机器人。本专利技术的上述技术问题主要是通过下述技术方案得以解决的：一种基于复杂学业情绪识别方法的智能学伴机器人，包括以下步骤，步骤S1：定义复杂学业情绪模型；步骤S2：收集复杂学业情绪数据集；步骤S3：对收集的复杂学业情绪数据集进行数据预处理；步骤S4：构建基于学业情绪模型的面部复杂表情识别网络，训练得到复杂表情的识别分类结果;步骤S5：基于复杂学业情绪识别方法对智能学伴机器人进行设置；步骤S6：智能学伴机器人对用户进行情绪检测并进行反馈；步骤S7：智能学伴机器人进行学习记录与反馈，并提出建议。
[0005]通过对复杂学业情绪进行定义使得智能学伴机器人能够对不同的复杂学业情绪进行反馈。通过带有摄像头功能的机器人对于用户的面部表情进行识别判断，进而实现反馈功能。
[0006]作为优选，所述复杂学业情绪模型包括积极学业情绪，消极学业情绪以及中性学业情绪；所述积极学业情绪包括好奇、激动、专注情绪，所述消极学业情绪包括分心、困惑、
焦虑、沮丧、疲倦情绪，所述中性学业情绪包括思考、发呆情绪。构建复杂学业情绪模型，并将复杂情绪分类与归纳，有利于智能学伴机器人判定用户学习状态。
[0007]作为优选，步骤S2包括以下步骤：步骤S21：线下教学活动中，在不打扰学习者真实学习状态下进行录像，或者收集允许用于研究的课堂监控录像；步骤S22：利用网络爬虫爬取数据，进行人工筛选有用数据；步骤S23：利用众包方式，在平台上发布数据收集需求。
[0008]作为优选，步骤S3包括以下步骤：步骤S31：使用面部识别工具，裁剪图像中面部区域，然后对图像进行统一缩放处理；步骤S32：使用在线和离线两种数据增强方法，对缩放处理后的图像进行图像增强，图像经过数据增强后批量送入Resnet18复杂表情识别网络中训练。采取面部识别进行初步处理，将图像增强后输入表情训练系统。
[0009]作为优选，步骤S4包括以下步骤：步骤S41：初始化 Resnet18 表情识别网络结构；步骤S42：使用数据预处理后的复杂学业情绪进行训练，通过卷积层对输入的图像进行空间特征提取，获得面部表情的特征信息；步骤S43：使用一个全连接层，联合 Softmax 损失函数对面部表情进行分类，得到面部复杂表情识别结果。
[0010]作为优选，智能学伴机器人本体的前侧外表面设置有显示屏模块、摄像头模块；机器人本体后侧外表面设置有开关及音量键、扬声器孔、Micro USB充电口；机器人本体内部设有蓝牙模块、扬声器模块，无线模块。智能学伴机器人通过对显示部分，摄像头部分的设定保证能够捕捉到用户学习时的表情来判断复杂学业情绪并根据复杂学业情绪进行适时反馈，从而使得用户能够及时有效收到反馈。
[0011]作为优选，步骤S6包括以下步骤：步骤S61：智能学伴机器人通过摄像头记录学习者表情数据并判断学业情绪类别；步骤S62：通过学业情绪提供情绪引导提高学习效率。将复杂学业情绪的采集具体化为摄像头采集，更加具有准确性。
[0012]作为优选：步骤S7包括以下步骤：步骤S71：将收集到的有关信息传递给移动端APP；步骤S72：通过移动端APP收集到的任务完成度数据，对学习者的学习状态做出多维度的数据分析，形成以图表为主的可视化结果并给出建议。通过图表等方式对用户学习的复杂学习情绪以及学习状态进行总和，有利于后续改进。
[0013]本专利技术的有益效果为：：1，相较于基本表情识别而言更加具有针对性；2，通过复杂学业情绪集进行面部识别提高了有效性；3，通过智能学伴机器人能够保证用户长期稳定的学习状态。
附图说明
[0014]图1为本专利技术的流程示意图。
[0015]图2为本专利技术的结构示意图。
[0016]图中：1，摄像头；2，显示屏模块；3，扬声器；4，开关；5，USB接口。
具体实施方式
[0017]下面将结合实施例，对本申请的技术方案进行描述。另外，为了更好的说明本专利技术，在下文中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本专利技术同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未做详细描述，以便于凸显本专利技术的主旨。
[0018]如图一所示，一种基于复杂学业情绪识别方法的智能学伴机器人，其特征是，定义复杂学业情绪模型包括积极学业情绪，消极学业情绪以及中性学业情绪；所述积极学业情绪包括好奇、激动、专注情绪，所述消极学业情绪包括分心、困惑、焦虑、沮丧、疲倦情绪，所述中性学业情绪包括思考、发呆情绪。
[0019]（2
‑
1）在线下教学活动中，在不打扰学习者真实学习状态下进行录像，或者收集允许用于研究的课堂监控录像，得到一般情况下的复杂学业情绪数据。
[0020]（2
‑
2）利用网络爬虫在有关数据网络爬取数据，进行人工筛选有用数据。
[0021]（2
‑
3）利用众包方式，在平台上发布数据收集需求，从而得到较为完整的复杂学业情绪数据集。
[0022]（3
‑
1）使用面部识别工具，裁剪图像中面部区域，然后对图像进行统一缩放处理，通过缩放处理得到一个较为准确大小的面部数据集。
[0023]（3
‑
2）使用在线和离线两种数据增强方法，对缩放处理后的图像进行图像增强，将较为模糊不清的图像进行处理后得到一个较为清晰的图像，图像经过数据增强后批量送入Resnet18复杂表情识别网络中训练。
[0024]（4
‑
1）需要初始化 Resnet18 本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于复杂学业情绪识别方法的智能学伴机器人，其特征是包括以下步骤：步骤S1：定义复杂学业情绪模型；步骤S2：收集复杂学业情绪数据集；步骤S3：对收集的复杂学业情绪数据集进行数据预处理；步骤S4：构建基于学业情绪模型的面部复杂表情识别网络，训练得到复杂表情的识别分类结果;步骤S5：基于复杂学业情绪识别方法对智能学伴机器人进行设置；步骤S6：智能学伴机器人对用户进行情绪检测并进行反馈；步骤S7：智能学伴机器人进行学习记录与反馈，并提出建议。2.根据权利要求1所述的一种基于复杂学业情绪识别方法的智能学伴机器人，其特征是，所述复杂学业情绪模型包括积极学业情绪，消极学业情绪以及中性学业情绪；所述积极学业情绪包括好奇、激动、专注情绪，所述消极学业情绪包括分心、困惑、焦虑、沮丧、疲倦情绪，所述中性学业情绪包括思考、发呆情绪。3.根据权利要求1所述的一种基于复杂学业情绪识别方法的智能学伴机器人，其特征是，所述步骤S2包括以下步骤：步骤S21：线下教学活动中，在不打扰学习者真实学习状态下进行录像，或者收集允许用于研究的课堂监控录像；步骤S22：利用网络爬虫爬取数据，进行人工筛选有用数据；步骤S23：利用众包方式，在平台上发布数据收集需求。4.根据权利要求1所述的一种基于复杂学业情绪识别方法的智能学伴机器人，其特征是，所述步骤S3包括以下步骤：步骤S31：使用面部识别工具，裁剪图像中面部区域，然后对图像进行统一缩放处理；步骤S32：使用在线和离线两种数据增强方法，对缩放处理后的图...

【专利技术属性】
技术研发人员：宣靖雯，李大仟，杨文武，叶玮，周灵，项益鸣，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：