一种学生听课状态的智能分析方法技术

本发明专利技术涉及人工智能技术领域，具体涉及一种学生听课状态的智能分析方法。分别采集相同时段内学生和教师的图像、教师的音频信息；通过智能分析网络中的学生姿态分析网络和教师姿态分析网络分别对相应的每张第一图像和第二图像进行分析，得到每个学生的第一姿态信息、教师的第二姿态信息；将每个学生对应的第一姿态信息、平均姿态信息和关键点影响系数向量输入第一编码器中得到相应学生的第一特征图；将第二姿态信息输入第二编码器得到第二嵌入向量、将音频信息输入全连接网络得到第一嵌入向量，第一、第二嵌入向量组成教师状态向量；将第一特征图和教师状态向量同时输入分类网络得到每个学生听课状态的分类向量，相比较现有技术检测结果更加准确。有技术检测结果更加准确。有技术检测结果更加准确。

【技术实现步骤摘要】
一种学生听课状态的智能分析方法


[0001]本专利技术涉及人工智能
，具体涉及一种学生听课状态的智能分析方法。

技术介绍

[0002]随着人工智能的快速发展，将人工智能用于智慧教育领域以实现智慧化教学已成为当前的大趋势。而课堂中学生的听课状态是老师非常重视的一个指标。
[0003]在现有技术中是通过将通过设置一台主控制器，在学生的每一个座位上分别对应配置一台分控制器、座位识别装置和座位状态检测装置，座位识别装置的人脸摄像头定期进行人脸图像采集，座位状态检测装置的高精度摄像头定期进行图像采集，将每次采集的图像中的人脸与之前的人脸进行比较，在比较得到的相似度低于设定值时认为学生处理注意力分散的状态，进而达到评估学生听课状态的目的。
[0004]专利技术人在实践中，发现上述现有技术存在以下缺陷：
[0005]上述现有技术中关注的是学生的动作或者头部是否移动，以此判断学生是否认真听课，课堂是学生与教师的课堂，学生的状态也取决于老师的授课状态，上述现有技术并未关注学生和老师的交互关系，因此无法得到较为准确的结果。

技术实现思路

[0006]为了解决上述技术问题，本专利技术的目的在于提供一种学生听课状态的智能分析方法，所采用的技术方案具体如下：
[0007]一种学生听课状态的智能分析方法，该分析方法包括：分别采集相同时段内学生的第一图像序列、教师的第二图像序列和教师的音频信息；通过智能分析网络中的学生姿态分析网络和教师姿态分析网络分别对相应的每张所述第一图像和第二图像进行分析，得到所述第一图像中每个学生的第一姿态信息、第二图像中教师的第二姿态信息；所述姿态信息包括多个人体关键点；其中所述智能分析网络还包括与学生的姿态分析网络串联的第一编码器、与教师的姿态分析网络串联的第二编码器、提取音频信息的全连接网络和分类网络，其中所述第一编码器、第二编码器和全连接网络的输出数据作为所述分类网络的输入数据；按照预先指定的人体关键点，将每张所述第一图像中所有学生的第一姿态信息对齐后计算平均姿态信息；将每个学生对应的第一姿态信息、平均姿态信息和关键点影响系数向量输入所述第一编码器中得到相应学生的第一特征图；将所述第二姿态信息输入第二编码器得到第二嵌入向量、将所述音频信息输入全连接网络得到第一嵌入向量，所述第一嵌入向量和第二嵌入向量组成教师状态向量；将每个学生的所述第一特征图和所述教师状态向量同时输入分类网络得到每个学生听课状态的分类向量，所述分类向量包括每个学生认真听课的概率值和非认真听课的概率值。
[0008]进一步，在输入分类网络得到每个学生听课状态的分类向量之后，该分析方法还包括根据学生掌握程度，对所述分类向量进行优化的步骤，该步骤包括：根据历史试卷及相应题目的得分，得到每个学生对当前知识点的平均得分率为对当前知识点的掌握程度；在
当前学生的掌握程度大于班级的平均掌握程度时，利用当前学生的掌握程度与班级的平均掌握程度之间的差值作为缩放因子对所述非认真听课的概率值进行调节，调节后的非认真听课的概率值与差值呈负相关关系。
[0009]进一步，在输入分类网络得到每个学生听课状态的分类向量之后，该分析方法还包括根据学生掌握程度，对所述分类向量进行优化的步骤，该步骤包括：根据历史试卷及相应题目的得分，得到每个学生对当前知识点的平均得分率为对当前知识点的掌握程度；在当前学生的掌握程度小于班级的平均掌握程度时，利用当前学生的掌握程度与班级的平均掌握程度之间的差值作为缩放因子对所述认真听课的概率值进行调节，调节后的认真听课的概率值与差值呈负相关关系。
[0010]进一步，所述平均得分率为考察当前知识点的题目的得分与该题目总分之间的比值。
[0011]进一步，所述知识点的识别步骤包括：将所述教师的音频信息转换为文本信息，将所述文本信息中的关键词分别与预设的每个知识点词库进行匹配；所述每个知识点词库包括多个目标关键词；根据匹配成功的关键词的数量占所有目标关键词的比例，得到每个知识点词库的匹配度；以匹配度最大的知识点词库的知识点作为当前时间段的知识点。
[0012]进一步，所述匹配度的最大值小于0.5时，将上一个时段的音频信息所对应的知识点作为当前音频信息的知识点。
[0013]进一步，所述第一编码器的训练过程包括以下步骤：获取由大量训练样本构成的训练集，每组训练样本包括学生的第一图像、教师的第二图像、教师的音频信息；利用训练集和关键点影响系数向量对智能分析网络进行训练。
[0014]进一步，所述关键点影响系数向量的获取步骤包括：获取由所有关键点构成的初始化的影响系数向量，所述影响系数向量中的每一个元素值为相应关键点的影响系数；获取任意两个学生的关键点之间的样本差异，所述样本差异为所述影响系数与相应关键点的坐标差异之间的加权求和；根据任意两个样本的样本差异及其标签的差值设置目标函数，根据目标函数得到最优的影响系数向量，该最优的影响系数向量为关键点影响系数向量。
[0015]本专利技术实施例具有如下有益效果：
[0016]本专利技术实施例所提供的智能分析方法通过将采集学生的姿态信息、教师的姿态信息和教师的音频信息，对学生的姿态信息进行处理得到学生的特征图，对教师的姿态信息和音频信息分别进行处理得到教师的嵌入向量，然后将学生的特征图和教师的嵌入向量同时输入分类网络进行分类，也即分类网络是同时考虑了学生的姿态特征和教师的姿态及音频特征进行分类的，也即关注了学生与教师之间的互动关系，分类的效果更好，更加准确。
附图说明
[0017]为了更清楚地说明本专利技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0018]图1为本专利技术一个实施例所提供的一种学生听课状态的智能分析方法流程图；
[0019]图2为本专利技术一个实施例所提供的学生掌握程度对分类向量进行优化的步骤流程
图；
[0020]图3为本专利技术一个实施例所提供的知识点的识别步骤流程图；
[0021]图4为本专利技术一个实施例所提供的智能分析网络的训练过程流程图；
[0022]图5为本专利技术一个实施例所提供的影响系数向量的获取步骤流程图。
具体实施方式
[0023]为了更进一步阐述本专利技术为达成预定专利技术目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本专利技术提出的一种学生听课状态的智能分析方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
[0024]除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。
[0025]下面结合附图具体的说明本专利技术所提供的一种学生听课状本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种学生听课状态的智能分析方法，其特征在于，该分析方法包括：分别采集相同时段内学生的第一图像序列、教师的第二图像序列和教师的音频信息；通过智能分析网络中的学生姿态分析网络和教师姿态分析网络分别对相应的每张所述第一图像和第二图像进行分析，得到所述第一图像中每个学生的第一姿态信息、第二图像中教师的第二姿态信息；所述姿态信息包括多个人体关键点；其中所述智能分析网络还包括与学生的姿态分析网络串联的第一编码器、与教师的姿态分析网络串联的第二编码器、提取音频信息的全连接网络和分类网络，其中所述第一编码器、第二编码器和全连接网络的输出数据作为所述分类网络的输入数据；按照预先指定的人体关键点，将每张所述第一图像中所有学生的第一姿态信息对齐后计算平均姿态信息；将每个学生对应的第一姿态信息、平均姿态信息和关键点影响系数向量输入所述第一编码器中得到相应学生的第一特征图；将所述第二姿态信息输入第二编码器得到第二嵌入向量、将所述音频信息输入全连接网络得到第一嵌入向量，所述第一嵌入向量和第二嵌入向量组成教师状态向量；将每个学生的所述第一特征图和所述教师状态向量同时输入分类网络得到每个学生听课状态的分类向量，所述分类向量包括每个学生认真听课的概率值和非认真听课的概率值。2.根据权利要求1所述的一种学生听课状态的智能分析方法，其特征在于，在输入分类网络得到每个学生听课状态的分类向量之后，该分析方法还包括根据学生掌握程度，对所述分类向量进行优化的步骤，该步骤包括：根据历史试卷及相应题目的得分，得到每个学生对当前知识点的平均得分率为对当前知识点的掌握程度；在当前学生的掌握程度大于班级的平均掌握程度时，利用当前学生的掌握程度与班级的平均掌握程度之间的差值作为缩放因子对所述非认真听课的概率值进行调节，调节后的非认真听课的概率值与差值呈负相关关系。3.根据权利要求1所述的一种学生听课状态的智能分析方法，其特征在于，在输入分类网络得到每个学生听课状态的分类向量之后，该分析方法还包括根据学生掌握程度，对所述分类向量...

【专利技术属性】
技术研发人员：曾凤括，李桂颖，王爱巧，吴波，田之涯，
申请(专利权)人：河南职业技术学院，
类型：发明
国别省市：