一种课堂互动识别方法、装置、设备及可读存储介质制造方法及图纸

本申请涉及一种课堂互动识别方法、装置、设备及可读存储介质，涉及行为识别技术领域，包括获取摄像单元所拍摄的包含有各个学生控制其对应的反馈卡发生姿态变化的实时视频，反馈卡上设有ArUco码，ArUco码的ID与学生ID之间具有映射关系；基于已训练好的卷积神经网络模型对实时视频中的各个反馈卡上的ArUco码进行识别，得到每个反馈卡的ArUco码信息；根据每个反馈卡的ArUco码信息计算出每个反馈卡的姿态信息；基于每个反馈卡的姿态信息判定与其对应的学生的课堂互动结果。本申请可实现学生信息和行为特征的准确识别，帮助教师了解学生听课的整体情况，降低课堂行为识别和信息获取的成本，且不存在网络部署复杂的问题。且不存在网络部署复杂的问题。且不存在网络部署复杂的问题。

【技术实现步骤摘要】
一种课堂互动识别方法、装置、设备及可读存储介质


[0001]本申请涉及行为识别
，特别涉及一种课堂互动识别方法、装置、设备及可读存储介质。

技术介绍

[0002]智慧教室作为校园信息化建设的重要组成部分，作为智慧教育创新发展的基石，承担着让智慧教学变得简单化、高效化、智能化的任务，对于推进教育信息化向智能和创新发展具有重大的意义。其中，课堂学习是获取知识的主要来源和发展智力的重要途径，对于学生而言，课堂教学是其学校生活中最基本的构成部分，课堂教学质量将直接影响学生当前及以后的多方面发展和成长。而在课堂上教师能否及时掌握学生的反馈信息，并采取相应的调控措施进行教学是影响课堂教学质量的关键因素，比如，学生是否认真听讲、积极思考和大胆发言，学习积极性是否被充分调动起来，学生对本节课的知识、技能掌握的程度如何以及能力发展程度如何等等。由此可见，如何通过信息化技术手段实现课堂信息的实时识别与反馈至关重要。
[0003]相关技术中，通常采用智能答题器的方式来实现学生课堂信息的采集，进而对学生的知识掌握程度进行反馈。不过该方法需要为每个学生配备一个智能答题器，无形中增加了课堂行为反馈的成本，且需要对各个教室内的通讯进行重新部署，存在部署复杂和开销大等问题。

技术实现思路

[0004]本申请提供一种课堂互动识别方法、装置、设备及可读存储介质，以解决相关技术中存在的成本高和网络部署复杂等问题。
[0005]第一方面，提供了一种课堂互动识别方法，包括以下步骤：
[0006]获取摄像单元所拍摄的包含有各个学生控制其对应的反馈卡发生姿态变化的实时视频，所述反馈卡上设有ArUco码，所述ArUco码的ID与学生ID之间具有映射关系；
[0007]基于已训练好的卷积神经网络模型对所述实时视频中的各个反馈卡上的ArUco码进行识别，得到每个反馈卡的ArUco码信息；
[0008]根据每个反馈卡的ArUco码信息计算出每个反馈卡的姿态信息；
[0009]基于每个反馈卡的姿态信息判定与其对应的学生的课堂互动结果。
[0010]一些实施例中，所述ArUco码信息包括ArUco码ID和ArUco码上各个角点的位置信息。
[0011]一些实施例中，所述根据每个反馈卡的ArUco码信息计算出每个反馈卡的姿态信息，包括：
[0012]基于每个反馈卡的ArUco码上各个角点的位置信息计算出ArUco码的旋转向量；
[0013]根据ArUco码的旋转向量计算出反馈卡的旋转角度。
[0014]一些实施例中，所述基于每个反馈卡的姿态信息判定与其对应的学生的课堂互动
结果，包括：
[0015]检测某一反馈卡的旋转角度是否位于预设旋转角度范围内，所述预设旋转角度范围与题目选项之间具有映射关系；
[0016]若是，则将预设旋转角度范围对应的题目选项作为所述某一反馈卡对应的学生的课堂互动结果。
[0017]一些实施例中，在所述基于已训练好的卷积神经网络模型对所述实时视频中的各个反馈卡上的ArUco码进行识别，得到每个反馈卡的ArUco码信息的步骤之后，还包括：
[0018]基于ArUco码ID与学生ID之间的映射关系，将得到的每个反馈卡的ArUco码ID对应的学生ID所在的窗格点亮，以实现课堂点名。
[0019]一些实施例中，当课堂互动为抢答时，在所述基于已训练好的卷积神经网络模型对所述实时视频中的各个反馈卡上的ArUco码进行识别，得到每个反馈卡的ArUco码信息的步骤之后，还包括：
[0020]对每个反馈卡对应的ArUco码ID在所述实时视频中出现的次数进行统计，得到每个反馈卡的出现频次；
[0021]按照出现频次由高到低的顺序，对各个反馈卡进行排序，得到排序队列；
[0022]从所述排序队列中选取排列在前N位的反馈卡对应的学生作为抢答者，其中，N为正整数。
[0023]一些实施例中，在所述基于每个反馈卡的姿态信息判定与其对应的学生的课堂互动结果的步骤之后，还包括：
[0024]将所述课堂互动结果传输至显示单元进行显示。
[0025]第二方面，提供了一种课堂互动识别装置，包括：
[0026]获取单元，其用于获取摄像单元所拍摄的包含有各个学生控制其对应的反馈卡发生姿态变化的实时视频，所述反馈卡上设有ArUco码，所述ArUco码的ID与学生ID之间具有映射关系；
[0027]识别单元，其用于基于已训练好的卷积神经网络模型对所述实时视频中的各个反馈卡上的ArUco码进行识别，得到每个反馈卡的ArUco码信息；
[0028]计算单元，其用于根据每个反馈卡的ArUco码信息计算出每个反馈卡的姿态信息；
[0029]判定单元，其用于基于每个反馈卡的姿态信息判定与其对应的学生的课堂互动结果。
[0030]第三方面，提供了一种课堂互动识别设备，包括：存储器和处理器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现前述的课堂互动识别方法。
[0031]第四方面，提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，当所述计算机程序被处理器执行时，以实现前述的课堂互动识别方法。
[0032]本申请提供的技术方案带来的有益效果包括：在有效实现课堂信息和行为特征的准确识别的同时，有效降低了成本，且解决了网络部署复杂的问题。
[0033]本申请提供了一种课堂互动识别方法、装置、设备及可读存储介质，包括获取摄像单元所拍摄的包含有各个学生控制其对应的反馈卡发生姿态变化的实时视频，所述反馈卡上设有ArUco码，所述ArUco码的ID与学生ID之间具有映射关系；基于已训练好的卷积神经
网络模型对所述实时视频中的各个反馈卡上的ArUco码进行识别，得到每个反馈卡的ArUco码信息；根据每个反馈卡的ArUco码信息计算出每个反馈卡的姿态信息；基于每个反馈卡的姿态信息判定与其对应的学生的课堂互动结果。本申请中，由于学生对集成有ArUco码的反馈卡的姿态控制与学生的课堂行为之间具有强映射关系，因此通过卷积神经网络和传统计算机视觉的结合来对集成有ArUco码的反馈卡的姿态变化进行识别，即可实现课堂教学过程中学生信息和行为特征的准确识别，进而有效且具有针对性地帮助教师了解课堂中学生听课的整体情况；同时，由于反馈卡只需是集成有ArUco码的普通卡片即可，无需具有任何交互功能，且本申请中的视频数据可通过教室中已存在的摄像装置进行获取，无需对教室内的通讯进行重新部署，因此不仅有效降低了课堂行为识别和信息获取的成本，且不存在网络部署复杂的问题。由此可见，本申请有效解决了通过智能答题器进行课堂行为识别和信息获取而导致的成本高和网络部署复杂的问题。
附图说明
[0034]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种课堂互动识别方法，其特征在于，包括以下步骤：获取摄像单元所拍摄的包含有各个学生控制其对应的反馈卡发生姿态变化的实时视频，所述反馈卡上设有ArUco码，所述ArUco码的ID与学生ID之间具有映射关系；基于已训练好的卷积神经网络模型对所述实时视频中的各个反馈卡上的ArUco码进行识别，得到每个反馈卡的ArUco码信息；根据每个反馈卡的ArUco码信息计算出每个反馈卡的姿态信息；基于每个反馈卡的姿态信息判定与其对应的学生的课堂互动结果。2.如权利要求1所述的课堂互动识别方法，其特征在于：所述ArUco码信息包括ArUco码ID和ArUco码上各个角点的位置信息。3.如权利要求2所述的课堂互动识别方法，其特征在于，所述根据每个反馈卡的ArUco码信息计算出每个反馈卡的姿态信息，包括：基于每个反馈卡的ArUco码上各个角点的位置信息计算出ArUco码的旋转向量；根据ArUco码的旋转向量计算出反馈卡的旋转角度。4.如权利要求3所述的课堂互动识别方法，其特征在于，所述基于每个反馈卡的姿态信息判定与其对应的学生的课堂互动结果，包括：检测某一反馈卡的旋转角度是否位于预设旋转角度范围内，所述预设旋转角度范围与题目选项之间具有映射关系；若是，则将预设旋转角度范围对应的题目选项作为所述某一反馈卡对应的学生的课堂互动结果。5.如权利要求2所述的课堂互动识别方法，其特征在于，在所述基于已训练好的卷积神经网络模型对所述实时视频中的各个反馈卡上的ArUco码进行识别，得到每个反馈卡的ArUco码信息的步骤之后，还包括：基于ArUco码ID与学生ID之间的映射关系，将得到的每个反馈卡的ArUco码ID对应的学生ID所在的窗格点亮，以实现课堂点名。6.如权利要求2所述的课堂互...

【专利技术属性】
技术研发人员：岳晓峰，方鹏程，张新访，
申请(专利权)人：武汉天喻信息产业股份有限公司，
类型：发明
国别省市：