坐姿识别方法、装置及存储介质制造方法及图纸

本公开涉及一种坐姿识别方法、装置及存储介质，属于图像处理领域，所述方法包括：获取多帧的人物图像；对所述人物图像的每一帧进行特征提取，得到关键点信息；基于所述关键点信息，确定特征矩阵；将所述特征矩阵输入预先训练的坐姿识别模型，得到所述人物图像对应的各个坐姿的概率。通过获取多帧的人物图像，并提取人物图像中关键点信息，构建人物图像对应的特征矩阵，以使得坐姿识别模型基于特征矩阵，对人物图像中人物的坐姿进行识别，无需依赖穿戴设备，即能够有效地实现坐姿识别，降低了坐姿识别的成本。别的成本。别的成本。

Sitting posture recognition method, device and storage medium

【技术实现步骤摘要】
坐姿识别方法、装置及存储介质


[0001]本公开涉及图像识别领域，具体地，涉及一种坐姿识别方法、装置及存 储介质。

技术介绍

[0002]在家庭学习场景或者是课程面授场景下，对用户坐姿的精准识别有助于 帮助分析学生学习专注度，进而帮助改善学习机内容呈现方式或者教师知识 教授方式，更加高效以及人性化。
[0003]在相关技术中，针对坐姿的检测需要基于穿戴设备，然而，基于穿戴检 测的方法需要用户佩戴相应的设备或者需要安装相应的传感器，成本高，用 户体验不好，并且只能限定用户的活动范围在安装有这些设备的地方。

技术实现思路

[0004]为了解决相关技术中存在的问题，本公开提供一种坐姿识别方法、装置 及存储介质。
[0005]为了实现上述目的，本公开第一方面提供一种坐姿识别方法，所述方法 包括：
[0006]获取多帧的人物图像；
[0007]对所述人物图像的每一帧进行特征提取，得到关键点信息；
[0008]基于所述关键点信息，确定特征矩阵；
[0009]将所述特征矩阵输入预先训练的坐姿识别模型，得到所述人物图像对应 的各个坐姿的概率。
[0010]可选地，所述基于所述关键点信息，确定特征矩阵包括：
[0011]对所述关键点信息进行筛选，得到去除冗余关键点的第一关键点信息；
[0012]基于所述第一关键点信息，确定所述特征矩阵。
[0013]可选地，所述基于所述关键点信息，确定特征矩阵包括：
[0014]对所述关键点信息进行位置编码，得到包括位置编码信息的第二关键点 信息；
[0015]基于所述第二关键点信息，确定所述特征矩阵。
[0016]可选地，所述基于所述关键点信息，确定特征矩阵包括：
[0017]对所述关键点信息进行归一化，得到归一化后的第三关键点信息；
[0018]基于所述第三关键点信息，确定所述特征矩阵。
[0019]可选地，所述基于所述关键点信息，确定特征矩阵包括：
[0020]对所述人物图像的每一帧图像的关键点信息进行特征拼接操作，确定所 述特征矩阵。
[0021]可选地，所述坐姿识别模型包括注意力模块以及坐姿分类模块，所述将 所述特征矩阵输入预先训练的坐姿识别模型，得到所述人物图像对应的各个 坐姿的概率包括：
[0022]将所述特征矩阵输入所述注意力模块，确定所述特征矩阵中的各个子特 征的注意力分数；
[0023]基于所述注意力分数，对所述特征矩阵进行处理得到第一特征矩阵；
[0024]将所述第一特征矩阵输入所述坐姿分类模块，得到所述人物图像对应的 各个坐姿的概率。
[0025]可选地，所述坐姿识别模型的训练包括：
[0026]获取样本人物图像，所述样本人物图像包括坐姿类型标注信息，每一所 述样本人物图像包括多帧图像；
[0027]对所述样本人物图像的每一帧进行特征提取，得到样本关键点信息；
[0028]基于所述样本关键点信息，确定样本特征矩阵；
[0029]将所述样本特征矩阵输入初始坐姿识别模型，确定所述样本人物图像对 应的各个坐姿的样本概率；
[0030]根据所述样本概率以及所述坐姿类型标注信息，对所述初始坐姿识别模 型的参数进行调整。
[0031]可选地，所述初始坐姿识别模型包括注意力模块以及坐姿分类模块，所 述将所述样本特征矩阵输入初始坐姿识别模型，得到所述样本人物图像对应 的各个坐姿的样本概率包括：
[0032]将所述样本特征矩阵输入所述注意力模块，得到所述样本特征矩阵中的 各个子特征的样本注意力分数；
[0033]基于所述样本注意力分数，对所述样本特征矩阵进行处理得到第一样本 特征矩阵；
[0034]将所述第一样本特征矩阵输入所述坐姿分类模块，得到所述样本人物图 像对应的各个坐姿的样本概率；
[0035]所述根据所述样本概率以及所述坐姿类型标注信息，对所述初始坐姿识 别模型的参数进行调整包括：
[0036]根据所述样本概率以及所述坐姿类型标注信息，对所述注意力模块以及 所述坐姿分类模块的参数进行调整。
[0037]本公开第二方面提供一种坐姿识别装置，所述装置包括：
[0038]获取装置，用于获取多帧的人物图像；
[0039]提取模块，用于对所述人物图像的每一帧进行特征提取，得到关键点信 息；
[0040]确定模块，用于基于所述关键点信息，确定特征矩阵；
[0041]识别模块，用于将所述特征矩阵输入预先训练的坐姿识别模型，得到所 述人物图像对应的各个坐姿的概率。
[0042]本公开第三方面提供一种非临时性计算机可读存储介质，其上存储有计 算机程序，该程序被处理器执行时实现本公开第一方面中任一项所述方法的 步骤。
[0043]通过上述技术方案，通过获取多帧的人物图像，并提取人物图像中关键 点信息，构建人物图像对应的特征矩阵，以使得坐姿识别模型基于特征矩阵， 对人物图像中人物的坐姿进行识别，无需依赖穿戴设备，即能够有效地实现 坐姿识别，降低了坐姿识别的成本。
[0044]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0045]附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与 下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在 附图中：
[0046]图1是根据一示例性实施例示出的一种坐姿识别方法的流程图；
[0047]图2是根据一示例性实施例示出的一种坐姿识别模型的训练方法的流程 图；
[0048]图3是根据一示例性实施例示出的一种坐姿识别方法的另一流程图；
[0049]图4是根据一示例性实施例示出的一种坐姿识别装置的框图；
[0050]图5是根据一示例性实施例示出的一种电子设备的框图；
[0051]图6是根据一示例性实施例示出的另一种电子设备的框图.
具体实施方式
[0052]以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是， 此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
[0053][0054]图1是根据一示例性实施例示出的一种坐姿识别方法的流程图，该方法 可以应用于手机、个人电脑、服务器等等具备信息处理能力的电子设备，本 公开对此不作具体限定，如图1所示，所述方法包括：
[0055]S101、获取多帧的人物图像。
[0056]其中，人物图像的帧数可以是预先标定的，例如，人物图像可以是摄像 头采集到的连续6帧或者12帧的图像构成的。连续的两帧图像之间的时间 间隔可以是100毫秒至500毫秒。具体的帧数以及时间间隔可以根据需要识 别的坐姿的具体情况进行标定，例如，在需要识别学生打闹动作的情况下， 帧数和时间间隔可以取小一点，例如分别为3帧、100毫秒，以使得能够捕 捉到有用的信息，并且排除无用的信息。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种坐姿识别方法，其特征在于，所述方法包括：获取多帧的人物图像；对所述人物图像的每一帧进行特征提取，得到关键点信息；基于所述关键点信息，确定特征矩阵；将所述特征矩阵输入预先训练的坐姿识别模型，得到所述人物图像对应的各个坐姿的概率。2.根据权利要求1所述的方法，其特征在于，所述基于所述关键点信息，确定特征矩阵包括：对所述关键点信息进行筛选，得到去除冗余关键点的第一关键点信息；基于所述第一关键点信息，确定所述特征矩阵。3.根据权利要求1所述的方法，其特征在于，所述基于所述关键点信息，确定特征矩阵包括：对所述关键点信息进行位置编码，得到包括位置编码信息的第二关键点信息；基于所述第二关键点信息，确定所述特征矩阵。4.根据权利要求1所述的方法，其特征在于，所述基于所述关键点信息，确定特征矩阵包括：对所述关键点信息进行归一化，得到归一化后的第三关键点信息；基于所述第三关键点信息，确定所述特征矩阵。5.根据权利要求1所述的方法，其特征在于，所述基于所述关键点信息，确定特征矩阵包括：对所述人物图像的每一帧图像的关键点信息进行特征拼接操作，确定所述特征矩阵。6.根据权利要求1所述的方法，其特征在于，所述坐姿识别模型包括注意力模块以及坐姿分类模块，所述将所述特征矩阵输入预先训练的坐姿识别模型，得到所述人物图像对应的各个坐姿的概率包括：将所述特征矩阵输入所述注意力模块，确定所述特征矩阵中的各个子特征的注意力分数；基于所述注意力分数，对所述特征矩阵进行处理得到第一特征矩阵；将所述第一特征矩阵输入所述坐姿分类模块，得到所述人物图像对应的各个坐姿的概率。7.根据权利要求1所述的方法，其特征在于，所述坐姿识别模型的训练包括：获取样本人物图像，...

【专利技术属性】
技术研发人员：王超，沐天宇，陈奕名，霍卫涛，马丁，阚海鹏，张清宇，
申请(专利权)人：北京精鸿软件科技有限公司，
类型：发明
国别省市：