一种课堂行为的反馈方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种课堂行为的反馈方法、装置、电子设备及存储介质。其中，该方法包括：获取第一目标主体的第一音视频数据和第二目标主体的第二视频数据；解析第一音视频数据和第二视频数据，得到与第一音视频数据对应的第一行为特性信息以及与第二视频数据对应的第二行为特性信息，确定与第一行为特性信息对应的第一行为信息以及与第二行为特性信息对应的第二行为信息；基于第一行为信息和第二行为信息，确定与第二目标主体对应的反馈信息。通过实施本发明专利技术，实现了第二目标主体的学习状态的实时反馈，以便第一目标主体在教学过程中能够根据反馈信息对第二目标主体的学习状态进行实时纠正，为第一目标主体的当前授课过程提供一定的教学帮助。

【技术实现步骤摘要】
一种课堂行为的反馈方法、装置、电子设备及存储介质
本专利技术涉及人工智能及教育应用
，具体涉及一种课堂行为的反馈方法、装置、电子设备及存储介质。
技术介绍
目前，对于课堂上的学生举手、自学、睡觉、交头接耳等行为的反馈通常是由教师根据教室现场情况自主判断的。然而，当教师背对学生进行课程讲授时，难以同时兼顾学生行为与课堂纪律的实时反馈或引导。例如，某个学生没有跟上教师的节奏，举手提问，但是教师因为正在书写板书而没有看到；又或者某些学生没有认真听讲而教师没有关注到。针对上述情况，近年来出现一些基于人工智能、音视频分析技术的学生行为分析系统应用于课堂，以使学生能够接收到更广泛的关注和重视。但是这些学生行为分析系统通常是在一段时间后，对课堂状况或学生状态进行统计，出具学生行为报告，并不能对学生的学习状态进行实时纠正，从而难以实时帮助教师教学。
技术实现思路
有鉴于此，本专利技术实施例提供了一种课堂行为的反馈方法、装置、电子设备及存储介质，以解决不能对学生的学习状态进行实时纠正，从而难以实时帮助教师教学的问题。根据第一方面，本专利技术实施例提供了一种课堂行为的反馈方法，包括如下步骤：获取第一目标主体的第一音视频数据和第二目标主体的第二视频数据；解析所述第一音视频数据和所述第二视频数据，得到与所述第一音视频数据对应的第一行为特性信息以及与所述第二视频数据对应的第二行为特性信息，确定与所述第一行为特性信息对应的第一行为信息以及与所述第二行为特性信息对应的第二行为信息；基于所述第一行为信息和所述第二行为信息，确定与所述第二目标主体对应的反馈信息，所述反馈信息用于提醒所述第一目标主体关注所述第二目标主体的所述第二行为信息。本专利技术实施例提供的课堂行为的反馈方法，通过获取第一目标主体的第一音视频数据和第二目标主体的第二视频数据，解析第一音视频数据确定其包含的第一行为特性信息，进而确定与第一目标主体对应的第一行为信息，同时解析第二视频数据确定其包含的第二行为特性信息，进而确定与第二目标主体对应的第二行为信息，并基于第一行为信息和第二行为信息，确定与第二目标主体对应的反馈信息。该方法基于第一行为信息和第二行为信息确定第二目标主体的反馈信息，实现了第二目标主体的学习状态的实时反馈，以便第一目标主体在教学过程中能够根据反馈信息对第二目标主体的学习状态进行实时纠正，为第一目标主体的当前授课过程提供一定的教学帮助。结合第一方面，在第一方面的第一实施方式中，所述基于所述第一行为信息和所述第二行为信息，确定与所述第二目标主体对应的反馈信息，包括：基于所述第一行为信息，确定与所述第一行为信息对应的行为类别，所述行为类别包括讲授、互动、问答和板书；基于所述第二行为信息和所述行为类别，生成反馈指令；基于所述反馈指令，确定与所述第二目标主体对应的反馈信息。本专利技术实施例提供的课堂行为的反馈方法，基于第一行为信息对应的行为类别以及第二行为信息，生成反馈指令，基于反馈指令确定与第二目标主体对应的反馈信息。该方法根据第一行为信息确定行为类别，再根据行为类别转变第二目标主体对应的反馈方式，即根据第一行为信息确定当前的教学环节，根据教学环节转变第二行为信息的反馈方式，以便第一目标主体能够实时了解授课过程的第二目标主体的学习状态。结合第一方面第一实施方式，在第一方面的第二实施方式中，所述基于所述第二行为信息和所述行为类别，生成反馈指令，包括：判断所述第二行为信息是否包含预设行为；当所述第二行为信息包含所述预设行为时，截取所述第二行为信息以及与所述第二行为信息对应的所述第二目标主体的目标视频画面；计算与所述目标视频画面对应的最小目标外接框，并获取所述最小目标外接框的坐标信息；基于所述第二行为信息、所述目标视频画面以及所述坐标信息，生成目标发送信息，并将所述目标发送信息保存至待发信息表；判断所述待发信息表中的第二目标主体与已发信息表中的已发目标主体是否为同一目标；当所述待发信息表中的第二目标主体与已发信息表中的已发目标主体并非为同一目标时，则将所述待发信息表中的第二目标主体以及所述第二目标主体对应的目标发送信息存储至即发信息表；基于所述即发信息表中的目标发送信息以及所述行为类别，生成反馈指令。结合第一方面第二实施方式，在第一方面的第三实施方式中，所述判断所述待发信息表中的第二目标主体与已发信息表中的已发目标主体是否为同一目标，包括：获取所述待发信息表中与所述第二目标主体对应的所述最小目标外接框的第一面积以及所述已发信息表中与已发目标主体对应的最小外接框的第二面积；计算所述最小目标外接框与所述最小外接框的重合面积；基于所述第一面积、所述第二面积和所述重合面积，确定重合度；当所述重合度大于预设重合阈值时，判定所述待发信息表中的第二目标主体与已发信息表中的已发目标主体为同一目标。结合第一方面第二实施方式，在第一方面的第四实施方式中，所述方法还包括：获取所述即发信息表中目标发送信息对应的时间戳，将所述目标发送信息与所述目标发送信息对应的时间戳保存至已发送信息表；获取当前时间与所述时间戳的差值；判断所述差值是否大于预设时间阈值；当所述差值大于所述预设时间阈值时，删除所述已发送信息表中的所述目标发送信息。本专利技术实施例提供的课堂行为的反馈方法，基于第二目标主体的第二行为信息生成相应的目标发送信息，并将目标发送信息存储至待发信息表，结合已发信息表中的已发送目标主体确定目标发送信息是否为重复发送的信息，将重复发送的信息进行删除。同时将完成发送的目标发送信息存储至已发送信息表，并根据已发送信息表中存储的目标发送信息的时间戳确定是否对其中的目标发送信息进行删除。由此保证了第二目标主体的反馈信息的准确度，从而保证了第一目标主体够实时准确的了解到第二目标主体的行为信息。结合第一方面第一实施方式，在第一方面的第五实施方式中，所述第一音视频数据包括第一音频数据和第一视频数据；解析所述第一音视频数据，确定与第一目标主体对应的第一行为信息，包括：解析所述第一视频数据，判断所述第一视频数据中是否包含所述第一目标主体对应的目标主体信息；当所述第一视频数据中包含所述第一目标主体对应的目标主体信息时，判断所述第一目标主体是否面向所述第二目标主体；当所述第一目标主体面向所述第二目标主体时，识别所述第一音频数据，判断所述第一音频数据中是否包含预设语音指令；当所述第一音频数据中不包含所述预设语音指令时，确定与第一目标主体对应的第一行为信息为讲授行为。结合第一方面第五实施方式，在第一方面的第六实施方式中，解析所述第一音视频数据，确定与第一目标主体对应的第一行为信息，还包括：当所述第一音频数据中包含所述预设语音指令时，确定与第一目标主体对应的第一行为信息为问答行为；当所述第一目标主体背向所述第二目标主体时，确定与第一目标主体对应的第一行为信息为板书操作行为；当所述第一视频数据中不包含所述第一目标主体对应的目标主体信息时，确定与第一目标主体对应的第一行为信息为互动行为。本专利技术实施例提供的课堂行为的反馈方法，分别对第一目标主体对应的第一音频数据和第一视频数据进行解析，本文档来自技高网...

【技术保护点】
1.一种课堂行为的反馈方法，其特征在于，包括如下步骤：/n获取第一目标主体的第一音视频数据和第二目标主体的第二视频数据；/n解析所述第一音视频数据和所述第二视频数据，得到与所述第一音视频数据对应的第一行为特性信息以及与所述第二视频数据对应的第二行为特性信息，确定与所述第一行为特性信息对应的第一行为信息以及与所述第二行为特性信息对应的第二行为信息；/n基于所述第一行为信息和所述第二行为信息，确定与所述第二目标主体对应的反馈信息，所述反馈信息用于提醒所述第一目标主体关注所述第二目标主体的所述第二行为信息。/n

【技术特征摘要】
1.一种课堂行为的反馈方法，其特征在于，包括如下步骤：
获取第一目标主体的第一音视频数据和第二目标主体的第二视频数据；
解析所述第一音视频数据和所述第二视频数据，得到与所述第一音视频数据对应的第一行为特性信息以及与所述第二视频数据对应的第二行为特性信息，确定与所述第一行为特性信息对应的第一行为信息以及与所述第二行为特性信息对应的第二行为信息；
基于所述第一行为信息和所述第二行为信息，确定与所述第二目标主体对应的反馈信息，所述反馈信息用于提醒所述第一目标主体关注所述第二目标主体的所述第二行为信息。


2.根据权利要求1所述的方法，其特征在于，所述基于所述第一行为信息和所述第二行为信息，确定与所述第二目标主体对应的反馈信息，包括：
基于所述第一行为信息，确定与所述第一行为信息对应的行为类别，所述行为类别包括讲授、互动、问答和板书；
基于所述第二行为信息和所述行为类别，生成反馈指令；
基于所述反馈指令，确定与所述第二目标主体对应的反馈信息。


3.根据权利要求2所述的方法，其特征在于，所述基于所述第二行为信息和所述行为类别，生成反馈指令，包括：
判断所述第二行为信息是否包含预设行为；
当所述第二行为信息包含所述预设行为时，截取所述第二行为信息以及与所述第二行为信息对应的所述第二目标主体的目标视频画面；
计算与所述目标视频画面对应的最小目标外接框，并获取所述最小目标外接框的坐标信息；
基于所述第二行为信息、所述目标视频画面以及所述坐标信息，生成目标发送信息，并将所述目标发送信息保存至待发信息表；
判断所述待发信息表中的第二目标主体与已发信息表中的已发目标主体是否为同一目标；
当所述待发信息表中的第二目标主体与已发信息表中的已发目标主体并非为同一目标时，则将所述待发信息表中的第二目标主体以及所述第二目标主体对应的目标发送信息存储至即发信息表；
基于所述即发信息表中的目标发送信息以及所述行为类别，生成反馈指令。


4.根据权利要求3所述的方法，其特征在于，所述判断所述待发信息表中的第二目标主体与已发信息表中的已发目标主体是否为同一目标，包括：
获取所述待发信息表中与所述第二目标主体对应的所述最小目标外接框的第一面积以及所述已发信息表中与已发目标主体对应的最小外接框的第二面积；
计算所述最小目标外接框与所述最小外接框的重合面积；
基于所述第一面积、所述第二面积和所述重合面积，确定重合度；
当所述重合度大于预设重合阈值时，判定所述待发信息表中的第二目标主体与已发信息表中的已发目标主体为同一目标。


5.根据权利要求3所述的方法，其特征在于，还包括：
获取所述即发信息表中目标发送信息对应的时间戳，将所述目标发送信息与所述目标发送信息对应的时间戳保存至已发送信息表；
获取当前时间与所述时间戳的差值；
判断所述差值是否大于预设时间阈值；
当所述差值大于所述预设时间阈值时，删除所述已发送信息表中的所述目标发送信息。


6.根据权利要求2所述的方法，其特征在于，所述第一音视频数据包括第一音频数据和第一视频数据；解析所述第一音视频数据，确定与第一目标主体对应的第一行为信息，包括：
解析所述第一视频数据，判断所述第一视频数据中是否包含所述第一目标主体对应的目标主体信息；
当所述第一视频数据中包含所述第一目标主体对应的目标主体信息时，判断所述第一目标主体是否面向所述第二目标主体；
当所述第一目标主体面向所述第二目标主体时，识别所述第一音频数据，判断所述第一音频数据中是否包含预设语音指令；
当所述第一音频数据中不包含所述预设语音指令时，确定与第一目标主体对应的第一行为信息为讲授行为。


7.根据权利要求6所述的方法，其特征在于，解析所述第一音视频数据，确定与第一目标主体对应的第一行为信息，还包括：
当所述第一音频数据中包含所述预设语音指令时，确定与第一目标主体对应的第一行为信息为问答行为；
当所述第一目标主体背向所述第二目标主体时，确定与第一目标主体对应的第一行为信息为板书操作行为；
当所述第一视频数据中不包含所述第一目标主体对应的目标主体信息时，确定与第一目标主体对应的第一行为信息为互动行为。


8.根据权利要求1所述的方法，其特征在于，解析所述第二视频数据，确定与所述第二目标主体对应的第二行为信息，包括：
解析所述第二视频数据，获取所述第二视频数据中的人体关键点信息以及人脸特征信息；
基于所述人体关键点信息以及所述人脸特征信息，确定与所述第二目标主体对应的第二行为信息。


9.一种课堂行为的反馈装置，其特征在于，包括：
采集单元，用于获取第一目标主体的第一音视频数据和第二目标主体的第二视频数据；
分析单元，用于解析所述第一音视频数据和所述第二视频数据，得到与所述第一音视频数据对应的第一行为特性信息以及与所述第二视频数据对应的第二行为特性信息，确定与所述第一行为特性信息对应的第一行为信息以及与所述第二行为...

【专利技术属性】
技术研发人员：张轶君，朱玉荣，
申请(专利权)人：北京文香信息技术有限公司，
类型：发明
国别省市：北京;11