一种基于CNN的在线学习情感识别方法技术

本发明专利技术涉及在线教育技术领域，公开了一种基于CNN的在线学习情感识别方法，通过构建基于卷积神经网络CNN模型的在线学习情感识别模型，实现在智慧学习环境中实现学习者情感分析，有利于教师直观感知学生的学习情感，能够使教师有效识别在线学习者情感，判断学习者学习状态，及时对学生进行正向反馈，从而提高课堂质量；同时可以根据在线课堂采集和预测的学员学习情感信息，对模型进行在线更新优化，有利于提高情感识别准确度，进一步提提高在线教学质量。学质量。学质量。

【技术实现步骤摘要】
一种基于CNN的在线学习情感识别方法


[0001]本专利技术涉及在线教育
，具体涉及一种基于CNN的在线学习情感识别方法。

技术介绍

[0002]线上教学打破了时间和空间的限制，具备较多优点，例如可以实现远距离授课、一对一的指导、点对点的沟通、课程内容可反复学习等。
[0003]而情感与认知加工之间存在着密不可分的联系，学习过程中的情感分类对学习效果有一定的影响。现有的在线教学过程中教师无法通过学生的动作、面部表情等感知学生的学习状态和学习情绪，不能对学生进行正向的反馈，如调整教学方式、对学生进行提醒等，进而课堂质量得不到保证。如何使教师有效识别在线学习者情感是线上教学领域内的一个研究热点和亟待解决的问题。

技术实现思路

[0004]基于以上问题，本专利技术提供一种基于CNN的在线学习情感识别方法，在智慧学习环境中实现学习者情感分析，有利于教师直观感知学生的学习情感，能够使教师有效识别在线学习者情感，判断学习者学习状态，及时对学生进行正向反馈，从而提高课堂质量。
[0005]为解决上述技术问题，本专利技术所采用的技术方案是：
[0006]一种基于CNN的在线学习情感识别方法，包括如下步骤：
[0007]步骤一：获取在线学习过程中的人脸图像，构建在线学习者人脸图像库；
[0008]步骤二：人工标注人脸图像库中部分在线学习者人脸图像的情感类别；
[0009]步骤三：对人脸图像库中每种情感类别对应的图像进行人脸区域的分割、提取，获得每种情感类别对应得人脸特征点的数据信息；
[0010]步骤四：以标注了情感类别的人脸图像以及每种情感类别对应的人脸特征点信息数据作为输入，对卷积神经网络CNN模型进行训练，构建基于卷积神经网络CNN模型的在线学习情感识别模型；
[0011]步骤五：学员进入在线学习平台，图像采集设备采集学员人脸图像，在线学习平台利用构建的在线学习情感识别模型预测在线教学中学习者学习情感分类，进而判断学习者的学习情感状态；
[0012]步骤六：构建好的在线学习情感识别模型进行在学预习情感分类识别过程中，将实时采集的人脸图像和预测的情感分类输入卷积神经网络CNN模型中，调整网络结构和参数，对在线学习情感识别模型进行在线优化。
[0013]进一步地，步骤五中的图像采集设备为摄像机。
[0014]进一步地，步骤二中在线学习者的情感描述类别包括中立、高兴、惊讶、悲伤、愤怒、厌恶、恐惧、轻蔑八种情绪类别。
[0015]进一步地，学员进入在线学习平台前，预先采集在线学习者人脸图像录入人脸图像库；登录过程中识别人脸图像中人脸特征点的数据信息，与人脸图像库中图像进行比对，
确认在线学习者身份，进行身份认证登录、签到。
[0016]与现有技术相比，本专利技术的有益效果是：本专利技术通过构建基于卷积神经网络CNN模型的在线学习情感识别模型，实现在智慧学习环境中实现学习者情感分析，有利于教师直观感知学生的学习情感，能够使教师有效识别在线学习者情感，判断学习者学习状态，及时对学生进行正向反馈，从而提高课堂质量；同时可以根据在线课堂采集和预测的学员学习情感信息，对模型进行在线更新优化，有利于提高情感识别准确度，进一步提提高在线教学质量。
附图说明
[0017]图1为实施例中基于CNN的在线学习情感识别方法的工作流程图；
具体实施方式
[0018]为使本专利技术的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本专利技术作进一步的详细说明，本专利技术的示意性实施方式及其说明仅用于解释本专利技术，并不作为对本专利技术的限定。
[0019]实施例：
[0020]参见图1，一种基于CNN的在线学习情感识别方法，包括如下步骤：
[0021]步骤一：获取在线学习过程中的人脸图像，构建在线学习者人脸图像库；
[0022]通过预先采集在线学习者的人脸区域图像并存储，形成在线学习者人脸图像库。
[0023]步骤二：人工标注人脸图像库中部分在线学习者人脸图像的情感类别；
[0024]本实施例中情感描述类别包括中立、高兴、惊讶、悲伤、愤怒、厌恶、恐惧、轻蔑八种情绪类别。
[0025]步骤三：对人脸图像库中每种情感类别对应的图像进行人脸区域的分割、提取，获得每种情感类别对应得人脸特征点的数据信息；
[0026]步骤四：以标注了情感类别的人脸图像以及每种情感类别对应的人脸特征点信息数据作为输入，对卷积神经网络CNN模型进行训练，构建基于卷积神经网络CNN模型的在线学习情感识别模型；
[0027]步骤五：学员进入在线学习平台，图像采集设备采集学员人脸图像，在线学习平台利用构建的在线学习情感识别模型预测在线教学中学习者学习情感分类，进而判断学习者的学习情感状态；
[0028]本实施例中，学员进入在线学习平台前，预先采集在线学习者人脸图像录入人脸图像库；登录过程中识别人脸图像中人脸特征点的数据信息，与人脸图像库中图像进行比对，确认在线学习者身份，进行身份认证登录、签到。
[0029]步骤六：构建好的在线学习情感识别模型进行在学预习情感分类识别过程中，将实时采集的人脸图像和预测的情感分类输入卷积神经网络CNN模型中，调整网络结构和参数，对在线学习情感识别模型进行在线优化。
[0030]本实施例中对于训练好的模型，借助在线课堂平台中的答题、点答、抢答、讨论等模块进行在线课堂的师生互动，并由该平台实时统计在线学习者的课堂互动参与数据，将互动参与数据输入卷积神经网络CNN模型中，调整网络结构和参数，对在线学习情感识别模
型进行在线优化；
[0031]通过构建基于卷积神经网络CNN模型的在线学习情感识别模型，实现在智慧学习环境中实现学习者情感分析，有利于教师直观感知学生的学习情感，能够使教师有效识别在线学习者情感，判断学习者学习状态，及时对学生进行正向反馈，从而提高课堂质量；同时可以根据在线课堂采集和预测的学员学习情感信息，对模型进行在线更新优化，有利于提高情感识别准确度，进一步提提高在线教学质量。
[0032]本实施例以高性能PC机和Windows操作系统为软硬件平台，采用MATLAB2010b结合VC++.NET，并用VC++.NET编程实现CNN卷积神经网络识别模型构建。主要使用ResNet18和VGG16。ResNet
‑
18在MSCeleb
‑
1M人脸识别数据集上进行预训练，VGG16从网站上下载。ResNet
‑
18的最后一个池化层和VGG16的第一个FC特征用于面部表征。
[0033]如上即为本专利技术的实施例。上述实施例以及实施例中的具体参数仅是为了清楚表述专利技术验证过程，并非用以限制本专利技术的专利保护范围，本专利技术的专利保护范围仍然以其权利要求书为准，凡是运用本专利技术的说明书及附图内容所作的等同结构变化，同理均应包含在本专利技术的保护范围内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于CNN的在线学习情感识别方法，其特征在于，包括如下步骤：步骤一：获取在线学习过程中的人脸图像，构建在线学习者人脸图像库；步骤二：人工标注人脸图像库中部分在线学习者人脸图像的情感类别；步骤三：对人脸图像库中每种情感类别对应的图像进行人脸区域的分割、提取，获得每种情感类别对应得人脸特征点的数据信息；步骤四：以标注了情感类别的人脸图像以及每种情感类别对应的人脸特征点信息数据作为输入，对卷积神经网络CNN模型进行训练，构建基于卷积神经网络CNN模型的在线学习情感识别模型；步骤五：学员进入在线学习平台，图像采集设备采集学员人脸图像，在线学习平台利用构建的在线学习情感识别模型预测在线教学中学习者学习情感分类，进而判断学习者的学习情感状态；步骤六：构建好的在线学习情感识别模型进行...

【专利技术属性】
技术研发人员：丁娇，
申请(专利权)人：安徽信息工程学院，
类型：发明
国别省市：