【技术实现步骤摘要】
本申请属于教学领域，特别是涉及一种多形态识别教学行为的督导方法、系统及终端。
技术介绍
1、随着传感技术的发展，学校的教学环境和教师的教学方式也发生了相应的变化。课堂上的学习更加具有互动性，知识概念的教授也更为具象化，教学方式则更加个性化。
2、在传统的教学模式下，学生是通过老师的传授被动地接受知识，致使大多数学生逐渐养成一种不爱问、不想问“为什么”，也不知道要问“为什么”的麻木习惯，从而形成一种盲目崇拜书本和老师的思想。这种学习方法不仅束缚了学生的思维发展，也使学生学习的主动性渐渐丧失，甚至被迫学习，根本体会不到学习的快乐。
3、针对现有的教学环境教师需要适时调整自己的教学方式，积极调动学生积极性。因此，如何让教师适时的调整教学方式，调动学生课堂积极性，督促学生提高上课效率是亟待解决的技术问题。
技术实现思路
1、本申请的目的在于提供一种多形态识别教学行为的督导方法，能够帮助教师适时调整教学方式，调动学生课堂积极性，督促学生提高上课效率。
2、第一方面，本申请实施例提供了一种多形态识别教学行为的督导方法，该方法包括：
3、获取待确定的课堂媒体流；
4、根据所述课堂媒体流确定教师言行特征和学生言行特征；
5、根据教师言行特征和学生言行特征确定课堂活跃度。
6、在可实现的实施例中，所述言行特征包括动作和语音；所述根据所述课堂媒体流确定教师言行特征和学生言行特征包括：
7、提取媒体流的视频中
8、根据视频中的动作和音频中的声音确定教师动作和教师声音，提取教师言行特征；
9、根据视频中的动作和音频中的声音确定学生动作和学生声音，提取学生言行特征。
10、在可实现的实施例中，根据视频中的动作和音频中的声音确定教师动作和教师声音，提取教师言行特征，根据视频中的动作和音频中的声音确定学生动作和学生声音，提取学生言行特征，包括：
11、根据预设的人脸信息库，结合所述媒体流中的人脸信息，确定教师所处位置和每个学生所处位置，并截获每个教师所处位置区域内的人体动作以及每个学生所处位置区域内的人体动作，得到每个教师和每个学生的行为特征；所述人体动作包括唇部动作动态和躯干动作；
12、根据每个教师所处位置区域内截获的唇部动作动态，以及所述媒体流中的音频，确定每个教师发出的语音，得到每个教师的语音特征；
13、根据每个学生所处位置区域内截获的唇部动作动态，以及所述媒体流中的音频，确定每个学生发出的语音，得到每个学生的语音特征。
14、在可实现的实施例中，所述根据每个教师所处位置区域内截获的唇部动作动态，以及所述媒体流中的音频，确定每个教师发出的语音，得到每个教师的语音特征，根据每个学生所处位置区域内截获的唇部动作动态，以及所述媒体流中的音频，确定每个学生发出的语音，得到每个学生的语音特征包括：
15、根据预设的唇部动作动态库，确定每个教师和每个学生唇部动作动态对应的预估语音；
16、解析所述媒体流中的所述音频，生成多段实际语音；
17、匹配每个所述预估语音和所述实际语音，确定每个唇部动作对应的实际语音，并将每个唇部动作对应的实际语音作为对应人员的语音特征。
18、在可实现的实施例中，所述根据教师言行特征和学生言行特征确定课堂活跃度包括：
19、根据预设的教师与学生的互动言行特征数据库，结合每个教师的言行特征和每个学生的言行特征，确定每个教师的言行特征和每个学生的所有言行特征中的互动言行特征；
20、针对每个教师和学生，根据对应的互动言行特征与对应全部言行特征的占比，确定每个教师和每个学生的所述活跃度。
21、在可实现的实施例中，所述根据预设的教师与学生的互动言行特征数据库，结合每个教师的言行特征和每个学生的言行特征，确定每个教师的言行特征和每个学生的所有言行特征中的互动言行特征包括：
22、根据预设的教师与学生的互动言行特征数据库，结合每个教师的言行特征和每个学生的言行特征，确定每个教师和每个学生的互动言行特征的相似度；
23、判断所述互动言行特征的相似度是否大于预设阈值；
24、若是判断该言行特征为互动言行特征，否则分别为教师言行特征和学生言行特征。
25、在可实现的实施例中，所述根据预设的教师与学生的互动言行特征数据库，结合每个教师的言行特征和每个学生的言行特征，确定每个教师和每个学生的互动言行特征的相似度包括：
26、将每个教师和每个学生实际姿势的关节位置坐标作为实际姿势向量；
27、根据所述实际姿势向量与所述互动言行特征数据库中每个教师和每个学生姿势向量之间的距离，确定姿势相似度。
28、在可实现的实施例中，所述言行特征相似度包括：语义相似度，所述根据预设的教师与学生的互动言行特征数据库，结合每个教师的言行特征和每个学生的言行特征，确定每个教师和每个学生的互动言行特征的相似度还包括：
29、解析每个教师和每个学生的音频，确定语音文字，提取语音文字中的实际单词；
30、根据实际单词与所述互动言行数据库中每个教师和每个学生语义单词相同的数量，确定语音相似度。
31、第二方面，本申请还提供了一种多形态识别教学行为的督导系统，该系统具有实现第一方面或其任意可能的实现方式中的方法的功能。具体地，该系统包括实现第一方面或其任意可能的实现方式中的方法的单元。
32、在其中的一个实施例中，该系统包括：
33、采集模块，获取待确定的课堂媒体流；
34、处理模块，根据所述课堂媒体流确定教师言行特征和学生言行特征；
35、活跃度确定模块，根据教师言行特征和学生言行特征确定课堂活跃度。
36、第三方面，本申请还提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一项所述的方法。
37、第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的方法。
38、第五方面，本申请还提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面任意一种实现方式的方法。
39、本申请实施例与现有技术相比存在的有益效果是：
40、本方法通过采集的课堂媒体流中提取到课堂中教师和学生言行特征，根据师生的言行特征分析出学生的课堂积极性，有助于教师适时调整教学方式，督促学生提升课堂效率，调动学生上课的活跃性。
本文档来自技高网...【技术保护点】
1.一种多形态识别教学行为的督导方法，其特征在于，包括：
2.如权利要求1所述的一种多形态识别教学行为的督导方法，其特征在于，所述言行特征包括动作和语音；所述根据所述课堂媒体流确定教师言行特征和学生言行特征包括：
3.如权利要求2所述的一种多形态识别教学行为的督导方法，其特征在于，根据视频中的动作和音频中的声音确定教师动作和教师声音，提取教师言行特征，根据视频中的动作和音频中的声音确定学生动作和学生声音，提取学生言行特征，包括：
4.如权利要求3所述的一种多形态识别教学行为的督导方法，其特征在于，所述根据每个教师所处位置区域内截获的唇部动作动态，以及所述媒体流中的音频，确定每个教师发出的语音，得到每个教师的语音特征，根据每个学生所处位置区域内截获的唇部动作动态，以及所述媒体流中的音频，确定每个学生发出的语音，得到每个学生的语音特征包括：
5.如权利要求1所述的一种多形态识别教学行为的督导方法，其特征在于，所述根据教师言行特征和学生言行特征确定课堂活跃度包括：
6.如权利要求5所述的一种多形态识别教学行为的督导方法，其特征
7.如权利要求6所述的一种多形态识别教学行为的督导方法，所述言行特征相似度包括：姿势相似度，其特征在于，所述根据预设的教师与学生的互动言行特征数据库，结合每个教师的言行特征和每个学生的言行特征，确定每个教师和每个学生的互动言行特征的相似度包括：
8.如权利要求6所述的一种多形态识别教学行为的督导方法，所述言行特征相似度包括：语义相似度，其特征在于，所述根据预设的教师与学生的互动言行特征数据库，结合每个教师的言行特征和每个学生的言行特征，确定每个教师和每个学生的互动言行特征的相似度还包括：
9.一种多形态识别教学行为的督导系统，其特征在于，包括：
10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。
...【技术特征摘要】
1.一种多形态识别教学行为的督导方法，其特征在于，包括：
2.如权利要求1所述的一种多形态识别教学行为的督导方法，其特征在于，所述言行特征包括动作和语音；所述根据所述课堂媒体流确定教师言行特征和学生言行特征包括：
3.如权利要求2所述的一种多形态识别教学行为的督导方法，其特征在于，根据视频中的动作和音频中的声音确定教师动作和教师声音，提取教师言行特征，根据视频中的动作和音频中的声音确定学生动作和学生声音，提取学生言行特征，包括：
4.如权利要求3所述的一种多形态识别教学行为的督导方法，其特征在于，所述根据每个教师所处位置区域内截获的唇部动作动态，以及所述媒体流中的音频，确定每个教师发出的语音，得到每个教师的语音特征，根据每个学生所处位置区域内截获的唇部动作动态，以及所述媒体流中的音频，确定每个学生发出的语音，得到每个学生的语音特征包括：
5.如权利要求1所述的一种多形态识别教学行为的督导方法，其特征在于，所述根据教师言行特征和学生言行特征确定课堂活跃度包括：
6.如权利要求5所述的一种多形态识别...
【专利技术属性】
技术研发人员：周雪松，李蒙，
申请(专利权)人：西藏欧帝电子科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。