本发明专利技术公开了一种基于深度学习的普教课堂答题快速评审方法及装置，涉及智能教学领域，该方法包括基于人脸识别算法对教室内学生人脸进行检测，确定学生身份，并建立学生身份与学生所在位置间的对应关系；基于姿态识别算法，对教室内学生的行为姿态进行识别，得到处于预设姿态的学生，并对处于预设姿态学生的位置进行记录；通过文字识别算法对处于预设姿态的学生的答题结果内容进行识别，得到答题结果；根据学生身份与学生所在位置间的对应关系，将答题结果与学生身份间建立对应关系，并统计所有答题结果以评审。本发明专利技术能够实现对教室内所有学生知识掌握情况的自动快速准确统计，且结果统计成本低。且结果统计成本低。且结果统计成本低。
【技术实现步骤摘要】
一种基于深度学习的普教课堂答题快速评审方法及装置
[0001]本专利技术涉及智能教学领域，具体涉及一种基于深度学习的普教课堂答题快速评审方法及装置。
技术介绍
[0002]在普教课堂的师生互动场景中，答题互动环节极为重要，其可以充分考验学生对知识的掌握情况。当前，在答题互动环节，现有的考查方式包括老师点名问答方式和答题系统方式，
[0003]但是，现有的考查方式存在以下问题1、老师点名问答方式，该方式考察学生数量有限，无法获取学生的整体知识掌握度；2、答题系统方式，每个学生均需要一个答题器，根据老师问题，在答题器中选择结果，此种方式成本较高，需要不断维护，难以普及。
技术实现思路
[0004]针对现有技术中存在的缺陷，本专利技术的目的在于提供一种基于深度学习的普教课堂答题快速评审方法及装置，能够实现对教室内所有学生知识掌握情况的自动快速准确统计，且结果统计成本低。
[0005]为达到以上目的，本专利技术提供一种基于深度学习的普教课堂答题快速评审方法，具体包括以下步骤：
[0006]基于人脸识别算法对教室内学生人脸进行检测，确定学生身份，并建立学生身份与学生所在位置间的对应关系；
[0007]基于姿态识别算法，对教室内学生的行为姿态进行识别，得到处于预设姿态的学生，并对处于预设姿态学生的位置进行记录；
[0008]通过文字识别算法对处于预设姿态的学生的答题结果内容进行识别，得到答题结果；
[0009]根据学生身份与学生所在位置间的对应关系，将答题结果与学生身份间建立对应关系，并统计所有答题结果以评审。
[0010]在上述技术方案的基础上，所述基于人脸识别算法对教室内学生人脸进行检测，确定学生身份，具体步骤包括：
[0011]基于retina网络的神经网络模型，对教室内图像进行多维度特征提取；
[0012]对提取的多维度特征进行拼接，得到人脸信息，所述人脸信息包括人脸矩形框以及人脸矩形框中人脸的五个关键点坐标；
[0013]使用opencv库的仿射变换，将人脸的五个关键点坐标映射到指定位置；
[0014]基于arcface技术，并根据映射到指定位置的人脸的五个关键点坐标，提取得到人脸的特征值；
[0015]将提取得到的特征值与数据库进行比对，确定学生身份。
[0016]在上述技术方案的基础上，
[0017]所述arcface技术的网络主干为resnet50网络，arcface技术的损失函数为基于Softmax loss损失函数修改得到的预设损失函数；
[0018]所述预设损失函数具体为：
[0019][0020]其中，L表示预设损失函数，m表示样本的数量，e表示自然常数，s表示超球面的半径，n和j均表示类别的数量，θ表示权重和特征值间的向量夹角，θ
yi
表示输入的类别为第yi个时，权重和特征值间的向量夹角，θ
j
表示输入的类别为第j个时，权重和特征值间的向量夹角，y
i
表示第i个样本所属的类别。
[0021]在上述技术方案的基础上，所述基于姿态识别算法，对教室内学生的行为姿态进行识别，具体步骤包括：
[0022]基于vgg16骨干网络，对学生人体的特征图进行关键点以及关键点间连接方式的预测；
[0023]将每个stage输出的特征图均与基础网络输出的特征图进行concat，并进行loss设置；
[0024]基于均方差算法将每个stage输出的特征图与label间进行损失计算；
[0025]根据计算结果得到学生的18个人体关键点，并基于得到的18个人体关键点，以及人体关节的夹角位置和相对关系，确定学生的行为姿态。
[0026]在上述技术方案的基础上，所述预设姿态为举牌姿态，且当学生为举牌姿态时，所举牌中含有学生所写的答题结果内容。
[0027]在上述技术方案的基础上，通过文字识别算法对处于预设姿态的学生的答题结果内容进行识别，得到答题结果，具体步骤包括：
[0028]确定处于举牌姿态的学生所举牌的位置；
[0029]通过文字识别算法对学生所举牌中的答题结果内容进行识别，得到学生的答题结果。
[0030]在上述技术方案的基础上，所述文字识别算法基于ocr神经网络实现，且通过文字识别算法对答题结果内容进行识别包括文字检测阶段、问题识别阶段和文本角度分类阶段。
[0031]在上述技术方案的基础上，所述根据学生身份与学生所在位置间的对应关系，将答题结果与学生身份间建立对应关系，具体包括：
[0032]根据处于预设姿态学生的位置、处于预设姿态学生的答题结果，以及学生身份与学生所在位置间的对应关系，建立答题结果与学生身份间的对应关系。
[0033]在上述技术方案的基础上，所述统计所有答题结果以评审，具体为：统计所有学生的答题结果，并基于标准答案对学生的答题结果进行判决。
[0034]本专利技术提供的一种基于深度学习的普教课堂答题快速评审装置，包括：
[0035]身份确定模块，其用于基于人脸识别算法对教室内学生人脸进行检测，确定学生身份，并建立学生身份与学生所在位置间的对应关系；
[0036]姿态识别模块，其用于基于姿态识别算法，对教室内学生的行为姿态进行识别，得到处于预设姿态的学生，并对处于预设姿态学生的位置进行记录；
[0037]结果识别模块，其用于通过文字识别算法对处于预设姿态的学生的答题结果内容进行识别，得到答题结果；
[0038]结果统计模块，其用于根据学生身份与学生所在位置间的对应关系，将答题结果与学生身份间建立对应关系，并统计所有答题结果以评审。
[0039]与现有技术相比，本专利技术的优点在于：通过基于人脸识别算法对教室内学生人脸进行检测，确定学生身份，并建立学生身份与学生所在位置间的对应关系，以及基于姿态识别算法，对教室内学生的行为姿态进行识别，得到处于预设姿态的学生，并对处于预设姿态学生的位置进行记录，以及通过文字识别算法对处于预设姿态的学生的答题结果内容进行识别，得到答题结果，最后根据学生身份与学生所在位置间的对应关系，将答题结果与学生身份间建立对应关系，并统计所有答题结果以评审，即通过图像识别方式自动对教室内学生所写答题结果内容进行识别，得到学生的答题结果，实现对教室内所有学生知识掌握情况的自动快速准确统计，且结果统计成本低。
附图说明
[0040]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0041]图1为本专利技术实施例中一种基于深度学习的普教课堂答题快速评审方法的流程图。
具体实施方式
[0042]本专利技术提供一种基于深度学习的普教课堂答题快速评审方法，通过基于人脸识别算法对教室内学生人脸本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于深度学习的普教课堂答题快速评审方法，其特征在于，具体包括以下步骤：基于人脸识别算法对教室内学生人脸进行检测，确定学生身份，并建立学生身份与学生所在位置间的对应关系；基于姿态识别算法，对教室内学生的行为姿态进行识别，得到处于预设姿态的学生，并对处于预设姿态学生的位置进行记录；通过文字识别算法对处于预设姿态的学生的答题结果内容进行识别，得到答题结果；根据学生身份与学生所在位置间的对应关系，将答题结果与学生身份间建立对应关系，并统计所有答题结果以评审。2.如权利要求1所述的一种基于深度学习的普教课堂答题快速评审方法，其特征在于，所述基于人脸识别算法对教室内学生人脸进行检测，确定学生身份，具体步骤包括：基于retina网络的神经网络模型，对教室内图像进行多维度特征提取；对提取的多维度特征进行拼接，得到人脸信息，所述人脸信息包括人脸矩形框以及人脸矩形框中人脸的五个关键点坐标；使用opencv库的仿射变换，将人脸的五个关键点坐标映射到指定位置；基于arcface技术，并根据映射到指定位置的人脸的五个关键点坐标，提取得到人脸的特征值；将提取得到的特征值与数据库进行比对，确定学生身份。3.如权利要求2所述的一种基于深度学习的普教课堂答题快速评审方法，其特征在于：所述arcface技术的网络主干为resnet50网络，arcface技术的损失函数为基于Softmax loss损失函数修改得到的预设损失函数；所述预设损失函数具体为：其中，L表示预设损失函数，m表示样本的数量，e表示自然常数，s表示超球面的半径，n和j均表示类别的数量，θ表示权重和特征值间的向量夹角，θ
yi
表示输入的类别为第yi个时，权重和特征值间的向量夹角，θ
j
表示输入的类别为第j个时，权重和特征值间的向量夹角，y
i
表示第i个样本所属的类别。4.如权利要求1所述的一种基于深度学习的普教课堂答题快速评审方法，其特征在于，所述基于姿态识别算法，对教室内学生的行为姿态进行识别，具体步骤包括：基于vgg16骨干网络，对学生人体的特征图进行关键点以及关键点间连接方式的预测；将每个stage输出的特征图均与基础网络输出的特征图进行conc...
【专利技术属性】
技术研发人员：周斌，朱志鹏，李艳红，胡波，
申请(专利权)人：武汉东信同邦信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。