视觉识别判断连续动作过程的方法技术

本发明专利技术实施例公开了视觉识别判断连续动作过程的方法，包括视觉模块、听觉模块和触觉模块，其特征在于：所述视觉识别判断连续动作过程的方法，包括以下步骤：S1：深度摄像头获取连续的彩色图像和深度数据；S2：将对象和背景分离，获取连续的人体图像和深度数据；S3：通过人体图像和深度数据，获取每一帧图像中的人体骨骼信息；S4：根据具有深度数据的人体各关节骨骼信息。该视觉识别判断连续动作过程的方法，利用深度信息，对人体和背景信息的分离，识别人体骨骼信息，根据具有深度信息的人体骨骼信息，通过连续识别人体动作和姿势，可以对对象当前的动作姿势进行判断可以对对象连续的动作过程进行识别，获取对象的动作信息，识别效果好。效果好。效果好。

【技术实现步骤摘要】
视觉识别判断连续动作过程的方法


[0001]本专利技术涉及视觉识别
，具体为视觉识别判断连续动作过程的方法。

技术介绍

[0002]在视觉识别中，通常可以通过静态的图片，对人体信息以及人体动作和姿势进行识别，但对象(人)活动通常是一个连贯动作，是一个动态的过程，要识别一个连贯动作过程，单凭静态的图片识别是无法做到动态识别的。
[0003]目前视觉识别常见于是单一动作进行识别，无法对对象的动态过程进行识别，识别效果过于生硬，对识别对象无法完成连贯的识别，利用效果不佳。

技术实现思路

[0004](一)解决的技术问题
[0005]本专利技术的实施例提供了视觉识别判断连续动作过程的方法，解决了目前视觉识别常见于是单一动作进行识别，无法对对象的动态过程进行识别，识别效果过于生硬，对识别对象无法完成连贯的识别，利用效果不佳的问题。
[0006](二)技术方案
[0007]为实现以上目的，本专利技术的实施例通过以下技术方案予以实现：视觉识别判断连续动作过程的方法，包括视觉模块、听觉模块和触觉模块，所述视觉识别判断连续动作过程的方法，包括以下步骤：
[0008]S1：深度摄像头获取连续的彩色图像和深度数据；
[0009]S2：将对象和背景分离，获取连续的人体图像和深度数据；
[0010]S3：通过人体图像和深度数据，获取每一帧图像中的人体骨骼信息；
[0011]S4：根据具有深度数据的人体各关节骨骼信息，可以对对象当前的动作姿势进行判断。
>[0012]所述人体关节可以定位与17个关节点，对着17个点进行编号，包括头部0，颈部1，躯干2，左肩膀3，左手肘4，左手腕5，右肩膀6，右手肘7，右手腕8，左臀9，左膝10，左脚踝11，左脚掌12，右臀13，右膝14，右脚踝15，右脚掌16。对对象当前的动作姿势进行判断，结合预先定义的动作过程标准以及通过摄像头获取每帧的骨骼信息，达到识别动态动作的目的
[0013]所述视觉识别判断连续动作过程的方法S4包括以下子步骤：
[0014]S4.1：当对象作出动作时，各关节点之间的空间位置和角度会发生变化；
[0015]S4.2：例如对象进行右手抬手和下落的动作时，记录手肩膀、手肘和手腕的空间位置关系和角度关系；
[0016]S4.3：记录右肩膀(x6,y6,z6)，右手肘(x7,y7,z7)，右手腕(x8,y8,z8) 的空间位置和角度关系；
[0017]S4.4：而在落下还原过程中不断记录变化数据右肩膀(x
’
6,y
’
6,z
’
6)，右手肘(x
’
7,y
’
7,z
’
7)，右手腕(x
’
8,y
’
8,z
’
8)的空间位置和角度关系；
[0018]S4.5：通过空间位置和空间角度关系可以得出y
’
7<y7,y
’
8<y8,向量x7 到x6和向量x7到x8的角度α，向量x
’
7到x
’
6和向量x
’
7到x
’
8的角度β,β<α；
[0019]S4.6：判断为手臂落下的动作，并根据空间位置和空间角度，利用投影在坐标系xyz的角度，可以判断手臂在哪个位置落下还原。
[0020]所述触觉模块包括穿戴设备。
[0021]所述听觉模块包括语音播报信息和声音提示。
[0022]所述视觉模块包括深度摄像头，屏幕弹出报告和信息提示。
[0023]所述人体骨骼信息是根据每一帧的人体图像和深度数据获取出来的。
[0024]所述对象当前的动作姿势的判断可通过判断人体骨骼信息个关节点之间的空间位置和角度关系来研究。
[0025]所述人体骨骼信息的每个关节点数字都代表不同的骨骼点。
[0026](三)有益效果
[0027](1)本专利技术的实施例提出了在视觉识别中，利用深度信息，对人体和背景信息的分离，识别人体骨骼信息，根据具有深度信息的人体骨骼信息，通过连续识别人体动作和姿势，达到识别对象动作过程的方法。
[0028](2)本专利技术的实施例提出了通过视觉识别判断连续动作过程的方法，获得对象的骨架信息，通过与标准动作的骨架信息做比对，可以获得对象当前在做什么动作，并预判对象的动作趋势。
[0029](3)本专利技术的实施例提出了通过视觉识别判断连续动作过程的方法，可以对任意动作定义标准，在对象做出对应动作时，通过骨架信息比对，在视觉(屏幕弹出报告或信息提示)，听觉(语音播报信息或声音提示)，触觉 (穿戴设备)给对象做出反馈，可以达到矫正对象动作的目的。
附图说明
[0030]图1是本专利技术的实施例的人体各关节骨骼信息示意图；
[0031]图2是本专利技术的实施例的动态动作识别流程结构示意图；
[0032]图3是本专利技术的实施例的对象动作抬手与下落示意图；
[0033]图4是本专利技术的实施例的对象动作下蹲示意图；
[0034]图5是本专利技术的实施例的对象伸手叉腰腿前伸勾脚点地示意图。
具体实施方式
[0035]下面将结合本专利技术的实施例的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的实施例一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的实施例保护的范围。
[0036]实施例1
[0037]如图1
‑
3所示，本专利技术的实施例提供了视觉识别判断连续动作过程的方法，包括视觉模块、听觉模块和触觉模块，视觉识别判断连续动作过程的方法，包括以下步骤：
[0038]S1：深度摄像头获取连续的彩色图像和深度数据，便于后续骨骼信息的获取；
[0039]S2：将对象和背景分离，获取连续的人体图像和深度数据，便于连贯性动作的识别；
[0040]S3：通过人体图像和深度数据，获取每一帧图像中的人体骨骼信息，实时性好；
[0041]S4：根据具有深度数据的人体各关节骨骼信息，可以对对象当前的动作姿势进行判断，对对象当前的动作姿势进行判断，结合预先定义的动作过程标准以及通过摄像头获取每帧的骨骼信息，达到识别动态动作的目的。
[0042]人体关节可以定位与17个关节点，对着17个点进行编号，包括头部0，颈部1，躯干2，左肩膀3，左手肘4，左手腕5，右肩膀6，右手肘7，右手腕8，左臀9，左膝10，左脚踝11，左脚掌12，右臀13，右膝14，右脚踝15，右脚掌16，不同的关节点指代人体身上的骨骼位置。
[0043]视觉识别判断连续动作过程的方法S4包括以下子步骤：
[0044]S4.1：当对象作出动作时，各关节点之间的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉识别判断连续动作过程的方法，包括视觉模块、听觉模块和触觉模块，其特征在于：所述视觉识别判断连续动作过程的方法，包括以下步骤：S1：深度摄像头获取连续的彩色图像和深度数据；S2：将对象和背景分离，获取连续的人体图像和深度数据；S3：通过人体图像和深度数据，获取每一帧图像中的人体骨骼信息；S4：根据具有深度数据的人体各关节骨骼信息，可以对对象当前的动作姿势进行判断。2.根据权利要求1所述的一种视觉识别判断连续动作过程的方法，其特征在于：所述人体关节可以定位与17个关节点，对着17个点进行编号，包括头部0，颈部1，躯干2，左肩膀3，左手肘4，左手腕5，右肩膀6，右手肘7，右手腕8，左臀9，左膝10，左脚踝11，左脚掌12，右臀13，右膝14，右脚踝15，右脚掌16。根据权利要求1所述的一种视觉识别判断连续动作过程的方法，其特征在于：所述视觉识别判断连续动作过程的方法S4包括以下子步骤：S4.1：当对象作出动作时，各关节点之间的空间位置和角度会发生变化；S4.2：例如对象进行右手抬手和下落的动作时，记录手肩膀、手肘和手腕的空间位置关系和角度关系；S4.3：记录右肩膀(x6,y6,z6)，右手肘(x7,y7,z7)，右手腕(x8,y8,z8)的空间位置和角度关系；S4.4：而在落下还原过程中不断记录变化数据右肩膀(x
’
6,y
’
6,z
’
6)，右手肘(x
’
7,y
’
7,z
’
7)，右手腕(x
...

【专利技术属性】
技术研发人员：林明，
申请(专利权)人：心智动科技深圳有限公司，
类型：发明
国别省市：