【技术实现步骤摘要】
本申请涉及计算机视觉，尤其涉及一种学习专注度评估方法及相关装置。
技术介绍
1、学习专注度评估技术是指通过一系列方法和工具来测量和分析一个人在学习过程中的注意力集中程度。这一技术在线上课堂场景、监控式自学场景（如教室、自习室或图书馆等）等诸多场景具有显著的应用价值。例如，在线上课堂场景中，对学生进行学习专注度评估，可以帮助教师更好地理解和改进线上教学环境，使教学内容和方式更贴合学生的需求，在监控式自学场景中，对学生进行学习专注度评估，不仅可以实时监督学生的学习行为，还能及时提供提醒和建议，这对于促进学生形成良好的学习习惯和提高学习效率具有极其重要的作用。
2、目前的学习专注度评估技术主要是基于计算机视觉的学习专注度评估方法，这类方法通常先依赖摄像头实时捕捉学生在线上课堂场景、监控式自学场景等诸多场景中的学习视频，再依赖深度学习算法对学生的学习视频进行分析处理，实现对学生的学习专注度的评估。其中，依赖深度学习算法对学生的学习视频进行分析处理，实现对学生的学习专注度的评估的方式，需要提取行为特征（如面部表情、眼神和头部姿态等），通过对行为特征进行分析，得到学习专注度评估结果。但是，目前的学习专注度评估技术，在评估效率和准确度上来说仍有待提升。
3、因此，如何提供一种学习专注度评估方法，以提升学习专注度评估的效率和专注度评估结果的准确性，成为本领域技术人员亟待解决的技术问题。
技术实现思路
1、鉴于上述问题，本申请提供了一种学习专注度评估方法及相关装置，以实现提升
2、本申请第一方面提供一种学习专注度评估方法，包括：
3、获取学习者的待处理的学习视频，所述待处理的学习视频中包含连续的多帧原始图像；
4、针对每帧所述原始图像，利用预测模型确定所述原始图像中所述学习者与物品的交互关系，所述预测模型包含目标检测分支和注视区域热图回归预测分支，所述预测模型是通过对所述目标检测分支和所述注视区域热图回归预测分支进行联合训练得到的；
5、根据各帧所述原始图像中所述学习者与物品的交互关系，确定所述学习者的学习专注度评估结果。在一种可能的实现中，
6、在一种可能的实现中，所述利用预测模型确定所述原始图像中所述学习者与物品的交互关系，包括：
7、对所述原始图像进行头部检测，得到头部检测结果，所述头部检测结果用于指示所述图像中是否检测出头部；
8、如果所述头部检测结果指示所述原始图像中检测出头部，则确定头部图像，并基于所述原始图像以及所述头部图像，利用所述预测模型确定所述学习者物品的交互关系。
9、在一种可能的实现中，所述基于所述原始图像以及所述头部图像，利用所述预测模型确定所述学习者与物品的交互关系，包括：
10、基于所述原始图像以及所述头部图像，利用所述预测模型确定所述原始图像中学习者的注视区域、所述原始图像中各物品的区域，以及所述原始图像中各物品的类别；
11、基于所述学习者的注视区域与所述各物品的区域的重叠程度，确定所述学习者的视线落点；
12、基于所述学习者的视线落点处物品的类别，确定所述学习者与物品的交互关系。
13、在一种可能的实现中，所述基于所述原始图像以及所述头部图像，利用所述预测模型确定所述原始图像中学习者的注视区域、所述原始图像中各物品的区域，以及所述原始图像中各物品的类别，包括：
14、将所述原始图像输入预测模型的目标检测分支，得到所述目标检测分支输出的物品检测结果，并将所述头部图像输入所述预测模型的注视区域热图回归预测分支，得到所述注视区域热图回归预测分支输出的注视区域热图预测结果；
15、根据所述物品检测结果以及所述注视区域热图预测结果，确定所述原始图像中学习者的注视区域、所述原始图像中各物品的区域，以及所述原始图像中各物品的类别。
16、在一种可能的实现中，所述基于所述原始图像以及所述头部图像，利用所述预测模型确定所述原始图像中学习者的注视区域、所述原始图像中各物品的区域，以及所述原始图像中各物品的类别，包括：
17、基于所述头部图像，确定眼睛mask图像；
18、将所述原始图像输入预测模型的目标检测分支，得到所述目标检测分支输出的物品检测结果，并将所述头部图像以及所述眼睛mask图像输入所述预测模型的注视区域热图回归预测分支，得到所述注视区域热图回归预测分支输出的注视区域热图预测结果；
19、根据所述物品检测结果以及所述注视区域热图预测结果，确定所述原始图像中学习者的注视区域、所述原始图像中各物品的区域，以及所述原始图像中各物品的类别。
20、在一种可能的实现中，所述根据所述物品检测结果以及所述注视区域热图预测结果，确定所述原始图像中学习者的注视区域、所述原始图像中各物品的区域，以及所述原始图像中各物品的类别，包括：
21、对所述目标检测分支输出的物品检测结果进行过滤，得到所述原始图像中各物品的区域，以及所述原始图像中各物品的类别；
22、基于所述注视区域热图回归预测分支输出的注视区域热图预测结果，确定所述学习者的注视区域。
23、在一种可能的实现中，所述根据各帧所述原始图像中所述学习者与物品的交互关系，确定所述学习者的学习专注度评估结果，包括：
24、根据各帧所述原始图像中所述学习者与物品的交互关系，对所述学习者的专注时长进行统计，得到所述学习者的专注时长；
25、如果所述学习者的专注时长满足预设条件，则确定所述学习者学习专注；
26、如果所述学习者的专注时长不满足预设条件，则确定所述学习者学习不专注。
27、本申请第二方面提供一种预测模型训练方法，包括：
28、获取训练样本以及样本标签；
29、将所述训练样本输入待训练模型的目标检测分支和所述待训练模型的注视区域热图回归预测分支，得到所述目标检测分支输出的物品检测框预测结果和物品类别预测结果，以及所述注视区域热图回归预测分支输出的注视区域是否存在预测结果和注视区域热图预测结果；
30、根据所述物品检测框预测结果、所述物品类别预测结果、所述注视区域是否存在预测结果和所述注视区域热图预测结果，与所述样本标签，确定所述待训练模型的预测损失；
31、根据所述待训练模型的预测损失，对所述待训练模型进行训练，得到所述预测模型。
32、在一种可能的实现中，所述目标检测分支包括全局图像特征提取模块、特征融合模块以及目标检测模块，注视区域热图回归预测分支包括头部图像特征提取模块、眼睛mask图像特征提取模块、特征聚合模块以及注视区域热图回归预测模块。
33、在一种可能的实现中，所述根据所述物品检测框预测结果、所述物品类别预测结果、所述注视区域是否存在预测结果和所述注视区域热图预测结果，与所述样本标签，确本文档来自技高网...
【技术保护点】
1.一种学习专注度评估方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述利用预测模型确定所述原始图像中所述学习者与物品的交互关系，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述原始图像以及所述头部图像，利用所述预测模型确定所述学习者与物品的交互关系，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述原始图像以及所述头部图像，利用所述预测模型确定所述原始图像中学习者的注视区域、所述原始图像中各物品的区域，以及所述原始图像中各物品的类别，包括：
5.根据权利要求4所述的方法，其特征在于，所述将所述头部图像输入所述预测模型的注视区域热图回归预测分支，得到所述注视区域热图回归预测分支输出的注视区域热图预测结果，包括：
6.根据权利要求4或5所述的方法，其特征在于，所述根据所述物品检测结果以及所述注视区域热图预测结果，确定所述原始图像中学习者的注视区域、所述原始图像中各物品的区域，以及所述原始图像中各物品的类别，包括：
7.根据权利要求1所述的方法，其特征在于，所述根据
8.一种预测模型训练方法，其特征在于，包括：
9.根据权利要求8所述的方法，其特征在于，所述目标检测分支包括全局图像特征提取模块、特征融合模块以及目标检测模块，注视区域热图回归预测分支包括头部图像特征提取模块、眼睛mask图像特征提取模块、特征聚合模块以及注视区域热图回归预测模块。
10.根据权利要求8所述的方法，其特征在于，所述根据所述物品检测框预测结果、所述物品类别预测结果、所述注视区域是否存在预测结果和所述注视区域热图预测结果，与所述样本标签，确定所述待训练模型的预测损失，包括：
11.一种学习专注度评估装置，其特征在于，包括：
12.一种预测模型训练装置，其特征在于，包括：
13.一种计算机程序产品，其特征在于，包括计算机可读指令，当所述计算机可读指令在电子设备上运行时，使得所述电子设备实现如权利要求1至7中任意一项所述的学习专注度评估方法，和/或，权利要求8至10中任意一项所述的预测模型训练方法。
14.一种电子设备，其特征在于，包括至少一个处理器和与所述处理器连接的存储器，其中：
15.一种计算机存储介质，其特征在于，所述计算机存储介质承载有一个或多个计算机程序，当所述一个或多个计算机程序被电子设备执行时，能够使所述电子设备实现如权利要求1至7中任意一项所述的学习专注度评估方法，和/或，权利要求8至10中任意一项所述的预测模型训练方法。
...【技术特征摘要】
1.一种学习专注度评估方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述利用预测模型确定所述原始图像中所述学习者与物品的交互关系，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述原始图像以及所述头部图像，利用所述预测模型确定所述学习者与物品的交互关系，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述原始图像以及所述头部图像，利用所述预测模型确定所述原始图像中学习者的注视区域、所述原始图像中各物品的区域，以及所述原始图像中各物品的类别，包括：
5.根据权利要求4所述的方法，其特征在于，所述将所述头部图像输入所述预测模型的注视区域热图回归预测分支，得到所述注视区域热图回归预测分支输出的注视区域热图预测结果，包括：
6.根据权利要求4或5所述的方法，其特征在于，所述根据所述物品检测结果以及所述注视区域热图预测结果，确定所述原始图像中学习者的注视区域、所述原始图像中各物品的区域，以及所述原始图像中各物品的类别，包括：
7.根据权利要求1所述的方法，其特征在于，所述根据各帧所述原始图像中所述学习者与物品的交互关系，确定所述学习者的学习专注度评估结果，包括：
8.一种预测模型训练方法，其特征在于，包括：
9.根据权利要求8所...
【专利技术属性】
技术研发人员：刘森森，程虎，林垠，沙文，殷兵，殷保才，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。