动作识别方法和装置制造方法及图纸

技术编号:36746469 阅读:11 留言:0更新日期:2023-03-04 10:29
本发明专利技术的实施方式提供了一种动作识别方法和装置。该方法包括:获取拍摄的视频流,其中,视频流中包括目标对象;根据目标对象所在的物理区域的区域范围,对视频流进行剪裁处理,以筛选出多张目标图像;识别多张目标图像中每张目标图像中的目标对象的关节点;根据关节点,确定目标对象执行了目标动作和/或未执行目标动作。通过上述方法,使得识别到的目标对象是否执行了目标动作更加准确,从而显著地降低了识别目标对象是否执行目标动作的误差,为用户带来了更好的体验,并且减少了人力消耗。此外,本发明专利技术的实施方式提供了一种动作识别装置。别装置。别装置。

【技术实现步骤摘要】
动作识别方法和装置


[0001]本专利技术的实施方式涉及计算机领域,更具体地,本专利技术的实施方式涉及一种动作识别方法和装置。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]当下,在动作识别的领域,主要依靠人工识别,例如,在体育考核、动作考核的时候,主要靠人工对考核者进行考核。如仰卧起坐、俯卧撑等,主要靠人工计数。
[0004]在现有技术中,已经出现一些可以由设备进行动作识别并计数的方法。

技术实现思路

[0005]但是,出于动作识别过程中,容易受到干扰的原因,现有技术对动作的识别和技术并不准确。
[0006]因此在现有技术中,对动作进行自动的识别和计数,是非常令人烦恼的过程。
[0007]为此,非常需要一种改进的自动识别动作从而计数的技术,以使对动作进行高精度的自动识别。
[0008]在本上下文中,本专利技术的实施方式期望提供一种动作识别方法和装置。
[0009]在本专利技术实施方式的第一方面中,提供了一种动作识别方法,包括:获取拍摄的视频流,其中,上述视频流中包括目标对象;根据上述目标对象所在的物理区域的区域范围,对上述视频流进行剪裁处理,以筛选出多张目标图像;识别上述多张目标图像中每张目标图像中的上述目标对象的关节点;根据上述关节点,确定上述目标对象执行了目标动作和/或未执行目标动作。
[0010]在本专利技术的一个实施例中,在根据上述目标对象所在的物理区域的区域范围,对上述视频流进行剪裁处理之前,上述方法还包括:通过至少四个标记点确定上述目标对象在上述物理区域的上述区域范围。
[0011]在本专利技术的另一实施例中,在根据上述目标对象所在的物理区域的区域范围,对上述视频流进行剪裁处理,以筛选出多张目标图像之前,上述方法还包括:确定拍摄上述视频流的相机的畸变参数;根据上述畸变参数,对上述视频流中的每一帧图像进行畸变矫正。
[0012]在本专利技术的又一实施例中,上述根据上述目标对象所在的物理区域的区域范围,对上述视频流进行剪裁处理,以筛选出多张目标图像包括:将上述视频流中的每一帧视频帧作为当前视频帧,对上述当前视频帧执行如下操作:识别上述当前视频帧中的所有对象和每一个对象在上述当前视频帧中的第一区域;根据上述目标对象所在的物理区域的区域范围,从上述第一区域中确定出目标区域,其中,上述目标区域为上述目标对象在上述当前视频帧中所在的区域;对上述目标区域的图像进行扩大与填充,得到一个上述目标图像。
[0013]在本专利技术的再一实施例中,上述根据上述目标对象所在的物理区域的区域范围,
从上述第一区域中确定出目标区域包括:计算上述目标对象所在的物理区域的区域范围和每一个上述第一区域的交并比;计算上述交并比与每一个上述第一区域的置信度的加权求和结果;将上述加权求和结果最大的第一区域作为上述目标区域。
[0014]在本专利技术的再一实施例中,上述对上述目标区域的图像进行扩大与填充,得到一个上述目标图像包括:对上述目标区域的图像扩大N倍并按照特定的长宽比填充上述图像的短边,得到上述目标图像,其中,上述N为正整数。
[0015]在本专利技术的再一实施例中,上述根据上述关节点,确定上述目标对象执行了目标动作或未执行目标动作包括:确定上述关节点中第一连线和水平面的第一夹角,其中,上述第一连线为肩关节点与胯关节点的连线;在上述目标对象由第一状态调整为第二状态的情况下,确定上述目标对象执行了上述目标动作,其中,上述第一状态为上述第一夹角小于第一角度阈值的状态,上述第二状态为上述第一夹角大于第二角度阈值的状态。
[0016]在本专利技术的再一实施例中,上述根据上述关节点,确定上述目标对象执行了目标动作或未执行目标动作包括:确定上述关节点中第一连线和水平面的第一夹角,其中,上述第一连线为肩关节点与胯关节点的连线;在上述目标对象每执行一个周期动作的情况下,确定上述目标对象执行了上述目标动作,其中,上述周期动作为上述目标对象由第一状态调整为第二状态又恢复到上述第一状态的动作,上述第一状态为上述第一夹角小于第一角度阈值的状态,上述第二状态为上述第一夹角大于第二角度阈值的状态。
[0017]在本专利技术的再一实施例中,在上述目标对象由第一状态调整为第二状态或者上述目标对象每执行一个周期动作的情况下,确定上述目标对象执行了上述目标动作还包括:在上述目标对象由第一状态调整为第二状态或者上述目标对象执行一个周期动作的过程中,在上述目标对象的手腕关节点到肩关节点的第一距离与上述手腕关节点到耳关节点的第二距离的均值均大于第一距离阈值的情况下,确定上述目标对象执行了无效的上述目标动作;或者在上述目标对象由第一状态调整为第二状态或者上述目标对象执行一个周期动作的过程中,在上述目标对象的手肘关节点与膝盖关节点的距离均大于第二距离阈值的情况下,确定上述目标对象执行了无效的上述目标动作;或者在上述目标对象由第一状态调整为第二状态或者上述目标对象执行一个周期动作的过程中,在上述目标对象的第二连线和第三连线的第二夹角小于第三角度阈值的情况下,确定上述目标对象执行了无效的上述目标动作,其中,上述第二连线为脚踝关节点与膝盖关节点的连线,上述第三连线为膝盖关节点与胯关节点的连线;或者在上述目标对象由第一状态调整为第二状态或者上述目标对象执行一个周期动作的过程中,在上述目标对象的第四连线和水平面的第三夹角大于第四角度阈值的情况下,确定上述目标对象执行了无效的上述目标动作,其中,上述第四连线为胯关节点与脚踝关节点的连线。
[0018]在本专利技术的再一实施例中,在确定上述目标对象执行了上述目标动作之后,上述方法还包括:记录如下参数的至少之一:上述目标对象在规定时长内执行的有效的上述目标动作的数量、上述目标对象在规定时长内执行的无效的上述目标动作的数量、上述目标对象在规定时长内执行的无效的每一个上述目标动作的无效原因、上述目标对象在规定时长内执行每一个上述目标动作的时间周期、上述目标对象在规定时长内执行一个有效的上述目标动作的标准时间周期以及上述目标对象在规定时长内执行上述目标动作的上述第一夹角的变化速度。
[0019]在本专利技术的再一实施例中,上述动作识别包括:识别仰卧起坐动作;确定上述目标对象执行了上述目标动作包括:确定上述目标对象执行了有效的仰卧起坐动作,以及确定上述目标对象在预定时长内执行的有效的上述仰卧起坐动作的数量;确定上述目标对象未执行上述目标动作包括:确定上述目标对象执行了无效的仰卧起坐动作。
[0020]在本专利技术实施方式的第二方面中,提供了一种动作识别装置,包括:获取模块,用于获取拍摄的视频流,其中,上述视频流中包括目标对象;处理模块,用于根据上述目标对象所在的物理区域的区域范围,对上述视频流进行剪裁处理,以筛选出多张目标图像;识别模块,用于识别上述多张目标图像中每张目标图像中的上述目标对象的关节点;第一确定模块,用于根据上述关节点,确定上述目标对象执行了目标动作和/或未执行目标动作。...

【技术保护点】

【技术特征摘要】
1.一种动作识别方法,其特征在于,包括:获取拍摄的视频流,其中,所述视频流中包括目标对象;根据所述目标对象所在的物理区域的区域范围,对所述视频流进行剪裁处理,以筛选出多张目标图像;识别所述多张目标图像中每张目标图像中的所述目标对象的关节点;根据所述关节点,确定所述目标对象执行了目标动作和/或未执行目标动作。2.根据权利要求1所述的方法,其特征在于,在根据所述目标对象所在的物理区域的区域范围,对所述视频流进行剪裁处理之前,所述方法还包括:通过至少四个标记点确定所述目标对象在所述物理区域的所述区域范围。3.根据权利要求1所述的方法,其特征在于,在根据所述目标对象所在的物理区域的区域范围,对所述视频流进行剪裁处理,以筛选出多张目标图像之前,所述方法还包括:确定拍摄所述视频流的相机的畸变参数;根据所述畸变参数,对所述视频流中的每一帧图像进行畸变矫正。4.根据权利要求1所述的方法,其特征在于,所述根据所述目标对象所在的物理区域的区域范围,对所述视频流进行剪裁处理,以筛选出多张目标图像包括:将所述视频流中的每一帧视频帧作为当前视频帧,对所述当前视频帧执行如下操作:识别所述当前视频帧中的所有对象和每一个对象在所述当前视频帧中的第一区域;根据所述目标对象所在的物理区域的区域范围,从所述第一区域中确定出目标区域,其中,所述目标区域为所述目标对象在所述当前视频帧中所在的区域;对所述目标区域的图像进行扩大与填充,得到一个所述目标图像。5.根据权利要求4所述的方法,其特征在于,所述根据所述目标对象所在的物理区域的区域范围,从所述第一区域中确定出目标区域包括:计算所述目标对象所在的物理区域的区域范围和每一个所述第一区域的交并比;计算所述交并比与每一个所述第一区域的置信度的加权求和结果;将所述加权求和结果最大的第一区域作为所述目标区域。6.根据权利要求4所述的方法,其特征在于,所述对所述目标区域的图像进行扩大与填充,得到一个所述目标图像包括:对所述目标区域的...

【专利技术属性】
技术研发人员:万书宏张超宋晓利王旭东
申请(专利权)人:网易有道信息技术北京有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1