基于人工智能教育平台的专注度识别方法技术

本发明专利技术提供了一种基于人工智能教育平台的专注度识别方法，该方法包括：捕获多个听课用户的输入视频帧；检测听课用户的人脸区域；计算该组人脸图像窗口的像素平均图像来建立听课用户的人脸外观模型；生成多个输入视频帧中的听课用户的路径；估计检测到的人脸方向以计算专注度；检测具有正面姿势的人脸的数量，检测在显示内容的方向上已注视预定义时间长度的听课用户；计算听课用户注视显示内容的时间来计算每个听课用户的专注度；将肢体行为与多个情绪类型标签之一相关联；使用从视频帧数据所提取的特征来训练分类器，利用分类器检测听课用户的情绪反馈。本发明专利技术提出了一种基于人工智能教育平台的专注度识别方法，更好地适应低分辨率图像的应用场景，并将视觉识别和情绪识别进行结合，帮助人工智能教育平台实时获取听课用户的专注度分布状态。听课用户的专注度分布状态。听课用户的专注度分布状态。

【技术实现步骤摘要】
基于人工智能教育平台的专注度识别方法


[0001]本专利技术涉及智能教育，特别涉及一种基于人工智能教育平台的专注度识别方法。

技术介绍

[0002]近年来，图像识别与教育相关的场景结合，逐渐将应用到个性化教育、自动评分、语音识别评测等场景中。学生获得量身定制的学习支持，形成面向未来的自适应教育。为获取学生的专注度，可以通过摄像头采集课堂上课时学生的正面视频；提取视频图像中的人脸区域能够判断认真听课的学生数量以及学生人脸神情。为教育效果提供数据支持。在测量人的注意力程度时，现有技术已采用基于眼部凝视的技术，但测量眼睛凝视通常需要近距离、高分辨率的图像。而在使用远距离、低分辨率图像时容易受到误差的影响。

技术实现思路

[0003]为解决上述现有技术所存在的问题，本专利技术提出了一种基于人工智能教育平台的专注度识别方法，包括：
[0004]通过图像捕获装置捕获显示内容所在区域中的多个听课用户的多个输入视频帧；
[0005]采用基于机器学习的人脸检测方法在多个输入视频帧中分割得到具有肤色像素值的区域，并检测所述多个输入视频帧中的听课用户的人脸区域；
[0006]通过计算该组人脸图像窗口的像素平均图像来建立听课用户的人脸外观模型；
[0007]通过生成多个输入视频帧中的听课用户的路径，单独跟踪所检测到的人脸并保持分配给所述听课用户的身份，其中当检测到该听课用户的人脸时，生成该听课用户的路径，将检测到的人脸分配给所生成的路径；
[0008]估计检测到的人脸方向以计算专注度；通过检测具有正面姿势的人脸的数量来检测在显示内容的方向上已注视预定义时间长度的听课用户；
[0009]通过计算听课用户注视显示内容的时间来计算每个听课用户的专注度；
[0010]处理视频帧数据，以检测听课用户在视频帧序列中的肢体行为；将观察到的肢体行为与多个情绪类型标签之一相关联，其中每个类型标签对应于相应的情绪反馈；使用从视频帧数据所提取的特征来训练分类器，利用所述分类器来检测听课用户在视频帧序列中的情绪反馈。
[0011]优选地，所述方法还包括：
[0012]通过跟踪显示内容周围的多个用户的多个行为来确定所述显示内容的潜在听课用户。
[0013]优选地，每个情绪反馈是表达所述听课用户的情绪状态的预测人脸表情，并且该方法还包括，捕获听课用户的第二视频帧数据；将从所述第二视频帧数据提取的特征应用于所述分类器，以确定所述听课用户的情绪状态。
[0014]优选地，该方法进一步包括：
[0015]将ViolaJones人脸检测器算法应用于所述输入视频帧以确定人脸区域；应用基于
可变形部分的模型来确定人脸区域中对应于听课用户的人脸标志的ROI区域；提取ROI区域中的特征；将所述特征与情绪类型相关联；并使用关联结果训练分类器。
[0016]优选地，从所提取的特征生成特征直方图；在多个视频帧中对所述ROI区域执行坐标变换；
[0017]将所提取的特征进行串联以生成特征描述符；
[0018]使用最终特征描述符和所述特征直方图来训练所述分类器。。
[0019]本专利技术相比现有技术，具有以下优点：
[0020]本专利技术提出了一种基于人工智能教育平台的专注度识别方法，更好地适应低分辨率图像的应用场景，并将视觉识别和情绪识别进行结合，帮助人工智能教育平台实时获取听课用户的专注度分布状态。
附图说明
[0021]图1是根据本专利技术实施例的基于人工智能教育平台的专注度识别方法的流程图。
具体实施方式
[0022]下文与图示本专利技术原理的附图一起提供对本专利技术一个或者多个实施例的详细描述。结合这样的实施例描述本专利技术，但是本专利技术不限于任何实施例。本专利技术的范围仅由权利要求书限定，并且本专利技术涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本专利技术的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本专利技术。
[0023]本专利技术的一方面提供了一种基于人工智能教育平台的专注度识别方法。图1是根据本专利技术实施例的基于人工智能教育平台的专注度识别方法流程图。
[0024]本专利技术通过统计听课用户的数量和听课用户注视的持续时间来自动测量听课用户对所显示内容的专注度。专注度还包括听课用户的专注等级、专注数量，例如有多少人实际注视了显示内容、专注平均长度、专注时间分布以及基于听课用户响应的评分。通过跟踪给定显示内容周围听课用户的行为来测量显示内容。采用捕获图像的装置来收集关于听课用户接近显示内容的信息。
[0025]使用用于捕获图像的前向装置来测量所显示内容的实际听课用户人数，该装置检测人们何时正在注视屏幕。当用户朝屏幕方向注视预定义的最小的时间长度时，开始计算专注时间。显示内容的专注总数构成了该显示内容的实际听课用户人数。
[0026]本专利技术利用肤色检测和基于模式的人脸检测的组合来正确地检测复杂背景中的人脸，使跟踪方法可以准确地标记进入和退出时间。通过结合人脸检测和人脸匹配来实现路径的连续性。利用人脸整体模式变化的三维姿态估计，确定注意力的程度，从而实现对专注更有意义的测量。将实际注视显示内容的听课用户与出现在显示内容附近但实际上没有注视显示内容的其他用户进行区分。
[0027]当多个用户出现在注视区域中时，图像捕获设备捕获多人图像。所捕获的图像由计算机系统的控制和处理系统处理，该系统将人脸检测、人脸跟踪和三维人脸姿态估计的多种视觉技术应用于所捕获的多用户的视觉信息。在示例性实施例中，本专利技术还测量显示内容对听课用户的有效性。用户在有限的空间范围内注视显示内容，以利用鲁棒的人脸检
测/跟踪技术和人脸姿态估计。显示内容的专注用户总和得到该显示内容的实际听课用户人数。
[0028]本专利技术的人工智能教育平台包括肤色检测模块、人脸检测模块、用户路径管理模块、三维人脸姿态估计模块和数据收集模块。用户路径管理模块还包括几何匹配模块、路径生成模块、路径维护模块和路径终止模块。肤色检测模块确定视频帧中与人脸肤色相似的区域。人脸检测模块然后在由肤色检测模块确定的区域上运行人脸检测窗口。检测到的人脸首先由几何匹配模块处理，以确定人脸是否属于现有路径，以及人脸是否是新的用户，从而生成新的路径。如果人脸是新用户的，则路径生成模块被激活以生成新路径并将其放入路径队列中。如果人脸属于现有路径，则路径维护模块获取路径数据，并激活三维人脸姿态估计模块。如果几何匹配模块不能找到属于某个路径的后续面，则路径终止模块被激活以存储路径数据并从存储队列中移除路径。数据收集模块然后记录路径数据以及估计的人脸姿态数据。
[0029]所述人工智能教育平台通过处理来自显示内容附近的图像捕获设备的视频输入视频帧来自动计算显示内容的专注度。以现场视频为输入，在视频中检测用户的人脸，通过用户身份来单独跟踪各个用户，估计三维人脸姿态，记录出现和消失的时间戳，并收集数据，以收集了专注度的发生和专注时间。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能教育平台的专注度识别方法，其特征在于，包括：通过图像捕获装置捕获显示内容所在区域中的多个听课用户的多个输入视频帧；采用基于机器学习的人脸检测方法在多个输入视频帧中分割得到具有肤色像素值的区域，并检测所述多个输入视频帧中的听课用户的人脸区域；通过计算该组人脸图像窗口的像素平均图像来建立听课用户的人脸外观模型；通过生成多个输入视频帧中的听课用户的路径，单独跟踪所检测到的人脸并保持分配给所述听课用户的身份，其中当检测到该听课用户的人脸时，生成该听课用户的路径，将检测到的人脸分配给所生成的路径；估计检测到的人脸方向以计算专注度；通过检测具有正面姿势的人脸的数量来检测在显示内容的方向上已注视预定义时间长度的听课用户；通过计算听课用户注视显示内容的时间来计算每个听课用户的专注度；处理视频帧数据，以检测听课用户在视频帧序列中的肢体行为；将观察到的肢体行为与多个情绪类型标签之一相关联，其中每个类型标签对应于相应的情绪反馈；使用从视频帧数据所提取的特征来训练分类器，利用所述分类器来检测听课用户在视频帧...

【专利技术属性】
技术研发人员：谢天明，陈哲，杨怡，
申请(专利权)人：成都节节高教育科技有限公司，
类型：发明
国别省市：