基于人体姿态检测的实时学习状态检测系统技术方案

本发明专利技术公开了一种基于人体姿态检测的实时学习状态检测系统，其步骤包括：对YOLOv7模型设置gpu参数、检测类别参数、检测方式参数、文件保存参数；使用YOLOv7模型检测人体边界框，并对人体边界框进行保存；使用区域变换网络对人体边界框进行处理，获得更高质量的边界框；使用2D姿态估计模型Simple Baseline对检测到的人体边界进行检测识别，得到人体姿态关键点数据；将得到的人体姿态关键点数据的主要三个部分：头部、手臂、手部传入到预先训练好的ResNet网络分类模型中进行分类，输出姿态关键点数据所属的学习状态。点数据所属的学习状态。点数据所属的学习状态。

【技术实现步骤摘要】
基于人体姿态检测的实时学习状态检测系统


[0001]本专利技术涉及深度学习技术、人体姿态估计技术、人体关键点检测技术，特别是涉及一种基于人体信息识别技术的程序。

技术介绍

[0002]随着当下互联网技术的蓬勃发展，计算机技术也在迅速发展着。其中深度学习技术因其能够做到在单一任务上做到超越人类的水平而备受关注，将深度学习技术应用到视频处理上，做到视频的智能处理，能够大大提升我们的生活智能体验感。在当下学校的教室课堂、公共自习室、网上虚拟自习室等地方，学生往往不能对自己的学习状态进行一个很好的管控，在此我们利用深度学习技术和人体姿态关键点检测技术结合视频处理，提出了一种基于人体检测技术的实时学习状态检测方法，以达到能够根据摄像头拍摄到的画面判断出该人是否处于正常的学习状态。

技术实现思路

[0003]本专利技术提供一种基于人体姿态检测的实时学习状态检测系统。
[0004]本专利技术提供一种基于人体姿态检测的实时学习状态检测系统，包括：
[0005]人体目标检测算法YOLOv7、区域变换网络、2D人体姿态估计模型Simple Baseline、ResNet神经网络分类模型。所述的人体目标检测算法，采用的是开源YOLOv7模型，能够做到对人体目标的快速检测，并返回检测到的人体边界框；所述的区域变换网络，能够将人体边界框的位置进行旋转、缩放、裁剪、平移操作，形成高质量的人体边界框；所述的2D人体姿态估计模型Simple Baseline能够对检测到的人体边界框进行检测识别，得到人体姿态关键点数据；所述的全连接神经网络分类模型，是一个经过自定义训练集训练完毕的分类模型，能够将得到的姿态关键点数据分类为正常学习状态和非正常学习状态。
[0006]所述的区域变换网络，其包括如下步骤，第一：设置YOLOv7模型的gpu参数、检测类别参数、检测方式参数、文件保存参数，将模型配置好；第二：将经摄像头拍的到的视频传入YOLOv7模型中，经过模型的计算，输出学习者的人体边界框。
[0007]所述的区域变换网络，其包括如下步骤，第一：利用特征映射使定位网络确定网络的位置，通过控制权重生成仿射变换所需的6个权重系数；第二：将仿射变换参数传入网格生成器中，用来创建采样网络，其根据输出的人体边界框位置，生成目标图片；第三：使用采样器解决从人体边界框中的坐标映射到输入人体边界框的坐标时出现小数的问题。
[0008]所述的2D人体姿态估计模型Simple Baseline，其包括如下步骤，第一：将获得到的人体边界框所标注的RGB图像(3通道)进行拉伸、填充和变换，以将其图片大小重置为(352,352),并对图片进行增强；第二：将预处理后的图片输入到Simple Baseline模型中，获得置信图，根据置信图获得各关节点的精准坐标值，其各关节点骨骼网络如图2所示。
[0009]所述的ResNet神经网络分类模型，其包括如下步骤，第一：在ResNet的最后添加一层全连接层，由该层进行学习状态的二分类；第二：拍摄不同正常学习姿态和非正常学习姿
态的图片各1000张，并随机选择其中的80％为训练集，输入到Simple Baseline模型中，获得图片对应的姿态数据，并将预先打好的标签送入ResNet模型中进行训练，获得的预训练模型准确度达到98％。第三：将获得的各关节点精准坐标值按照顺序排列的格式输入到ResNet网络中，输出其学习状态。
附图说明
[0010]图1是本专利技术基于人体姿态检测的实时学习状态检测系统的原理图；
[0011]图2是本专利技术的人体骨骼姿态检测示意图。
具体实施方式
[0012]下面结合附图对本专利技术的较佳实施例进行详细阐述，以使本专利技术的优点和特征能更易于被本领域技术人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。
[0013]本专利技术一种基于人体姿态检测的实时学习状态检测系统包括5个步骤，流程图如图1和2所示。
[0014]步骤如下：
[0015]S1：对YOLOv7模型设置gpu参数、检测类别参数、检测方式参数、文件保存参数
[0016]S2：使用YOLOv7模型检测人体边界框
[0017]S3:使用区域变换网络对人体边界框进行处理，获得更高质量的边界框，进而得到更精准的人体图像
[0018]S4:使用Simple Baseline模型处理人体图像，输出置信图，并根据置信图获得各关节点的精准坐标值
[0019]S5:将坐标值输入到ResNet模型中，进行学习状态的二分类
[0020]以上所述仅为本专利技术的实施例，并非因此限制本专利技术的专利范围，凡是利用本专利技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的
，均同理包括在本专利技术的专利保护范围内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于人体姿态检测的实时学习状态检测系统，其特征在于，包括：人体目标检测算法YOLOv7、区域变换网络、2D人体姿态估计模型SimpleBaseline和ResNet神经网络分类模型，其中，所述人体目标检测算法，采用的是开源YOLOv7模型，用于对人体目标的快速检测，并返回检测到的人体边界框；所述区域变换网络，用于将人体边界框的位置进行旋转、缩放、裁剪、平移操作，形成高质量的人体边界框；所述的2D人体姿态估计模型Simple Baseline，用于对检测到高质量的人体边界框进行检测识别，得到人体姿态关键点数据；所述的全连接神经网络分类模型，是一个经过自定义训练集训练完毕的分类模型，用于将得到的人体姿态关键点数据分类为正常学习状态和非正常学习状态。2.如权利要求1所述的基于人体姿态检测的实时学习状态检测系统，其特征在于，所述人体目标检测算法，用于：第一，设置YOLOv7模型的gpu参数、检测人体类别参数、检测方式参数和文件保存参数；第二。将经摄像头拍摄到的视频传入YOLOv7模型中，经过模型的计算，输出学习者的人体边界框。3.如权利要求1所述的基于人体姿态检测的实时学习状态检测系统，其特征在于，所述区域变换网络，用于：第一，利用特征映射使定位网络确定网络的位置，通过控制权重生成仿射变换所需的6个权重系数；第...

【专利技术属性】
技术研发人员：王震，杨洁，于万钧，郑彩萍，孔柚嘉，
申请(专利权)人：上海应用技术大学，
类型：发明
国别省市：