基于体感摄像机的人体活动识别的特征提取方法技术

技术编号:10506709 阅读:185 留言:0更新日期:2014-10-08 10:58
一种基于体感摄像机的人体活动识别的特征提取方法,包括S1:从体感摄像机的彩色图像序列中,提取人体活动时空兴趣点;S2:以兴趣点为中心,计算彩色图像序列中光流直方图特征和梯度直方图特征;S3:从体感摄像机的深度图像序列中,找到对应的人体活动时空兴趣点,以兴趣点为中心,计算局部深度特征;S4:将光流直方图特征、梯度直方图特征和局部深度特征连接起来,组成特征。本发明专利技术的有益效果在于,避免了骨骼信息不稳定的缺陷,克服了现有深度图像活动特征提取方法不准确的问题,有效结合彩色信息和深度信息,提取的特征提升了动作识别的准确性和鲁棒性。

【技术实现步骤摘要】

本专利技术涉及模式识别
,具体而言是一种基于体感摄像机的人体活动识别 的特征提取方法。
技术介绍
人体活动理解在运动训练、康复工程、人机工效学、游戏与动画制作、安全监控等 方面得到了广泛应用。人体活动是人体肢体语言的主要部分,通过身体和四肢活动既可以 表达人的思想实现沟通,也可以反馈身体的健康状态,还可以捕获生物的运动规律。 人体活动理解的核心技术主要是目标识别算法。目前为止,理论上的有益探索使 得基于传统2D亮度信息的活动识别算法取得了一定的成功。然而,真实世界的活动仍然受 到多视点、尺度变化、平移变换、外貌变化、光照变化、复杂背景等的挑战。基于RGB图像的 方法在复杂背景中感知人体的关节姿势的形状方面遇到巨大的障碍。当目标颜色和纹理不 一致时,深度信息有别于RGB外貌信息成为人类识别活动的重要线索。其主要原因是深度 信息对于光照和颜色改变较为鲁棒,且表述简单。然而,早期的深度传感器昂贵且由于使用 激光而不便于在人的环境中使用。从2010年起,微软公司提供的商品化、廉价的且便于使 用的Kinect,使得利用3D深度数据直接广泛应用在人体活动识别中成为可能。然而,由于 人体的非刚性、运动方式的多样性、位移的随意性,实时、鲁棒地识别人体仍面临着很多挑 战。 现有技术中,基于体感摄像机的动作特征提取主要有两类方法:一类利用体感摄 像机SDK (Software Development Kit,软件开发包)获取骨豁信息作为特征;另外一类从 原始深度图像数据中提取图像特征。前者主要受限于骨架提取的准确性,后者仅利用深度 信息,受限于深度信息的低分辨率和不准确性。
技术实现思路
本专利技术的目的是提供一种,用于 提升动作识别的准确性和鲁棒性。 实现本专利技术目的的技术方案如下:一种基于体感摄像机的人体活动识别的特征提 取方法,包括 S1 :从体感摄像机的彩色图像序列中,提取人体活动时空兴趣点p,其坐标为 (χ, y, t); S2 :以人体活动时空兴趣点p为中心,计算彩色图像序列中光流直方图HOF特征和 梯度直方图H0G特征; S3 :从体感摄像机的深度图像序列中,找到对应的人体活动时空兴趣点p,以人体 活动时空兴趣点P为中心,计算局部深度特征LDP ; S4 :将人体活动时空兴趣点p的光流直方图H0F特征、梯度直方图H0G特征和局部 深度特征LDP连接起来,组成特征Sp = (X,y,t,H0G,H0F,LDP)。 进一步地,所述计算彩色图像序列中光流直方图HOF特征的方法为:以人体活动 时空兴趣点P为中心,将局部时空小块按X,y,t方向均分成3 X 3 X 2共18个小格,将0度至 360度的光流方向划分成0度至90度、90度至180度、180度至270度和270度至360度这 四个主方向,外加一个光流量为零的方向;计算每个像素位置所得光流,之后在这五个方向 做量化和直方图统计,得到每个小格的统计结果为一个五维向量,18个小格按X,y,t的顺 序顺次连接可得到一个90维的光流直方图HOF特征;所述计算彩色图像序列中梯度直方图 H0G特征的方法为:以人体活动时空兴趣点p为中心,将局部时空小块按X,y,t方向均分成 3 X 3 X 2共18个小格,将0度至360度的梯度方向划分成0度至90度、90度至180度、180 度至270度和270度至360度这四个主方向;计算每个像素位置所得梯度,之后在这四个方 向做量化和直方图统计,得到每个小格的统计结果为一个四维向量,18个小格按X,y,t的 顺序顺次连接可得到一个72维的梯度直方图HOG特征。 进一步地,所述计算局部深度特征LDP的方法为:以人体活动时空兴趣点p为中 心,选取NXN个像素的方格,把方格分成MXM个区块,其中每个区块包含N 2/M2个像素;计 算每个区块里的像素深度值的平均值;计算任意两个区块平均值的差;将差值组合,并做 归一化处理,生成局部深度特征LDP。 本专利技术的有益效果在于,,避免 了骨骼信息不稳定的缺陷,克服了现有深度图像活动特征提取方法不准确的问题,有效结 合彩色信息和深度信息,提取的特征提升了动作识别的准确性和鲁棒性。 【附图说明】 图1是本专利技术的流程图。 【具体实施方式】 如图1所示,一种,包括以下步 骤 S1 :从体感摄像机的彩色图像序列中,提取人体活动时空兴趣点p,其坐标为 (x,y,t);本步骤中,Harris兴趣点是检测空间图像f sp上在两个方向上显著变化的像素点 的位置。对于一个给定的观测尺度W,这样的兴趣点可以从观测尺度为本文档来自技高网
...

【技术保护点】
一种基于体感摄像机的人体活动识别的特征提取方法,其特征在于,包括S1:从体感摄像机的彩色图像序列中,提取人体活动时空兴趣点p,其坐标为(x,y,t);S2:以人体活动时空兴趣点p为中心,计算彩色图像序列中光流直方图HOF特征和梯度直方图HOG特征;S3:从体感摄像机的深度图像序列中,找到对应的人体活动时空兴趣点p,以人体活动时空兴趣点p为中心,计算局部深度特征LDP;S4:将人体活动时空兴趣点p的光流直方图HOF特征、梯度直方图HOG特征和局部深度特征LDP连接起来,组成特征Sp=(x,y,t,HOG,HOF,LDP)。

【技术特征摘要】
1. 一种基于体感摄像机的人体活动识别的特征提取方法,其特征在于,包括 51 :从体感摄像机的彩色图像序列中,提取人体活动时空兴趣点P,其坐标为(x,y,t); 52 :以人体活动时空兴趣点p为中心,计算彩色图像序列中光流直方图HOF特征和梯度 直方图HOG特征; 53 :从体感摄像机的深度图像序列中,找到对应的人体活动时空兴趣点p,以人体活动 时空兴趣点P为中心,计算局部深度特征LDP ; 54 :将人体活动时空兴趣点p的光流直方图H0F特征、梯度直方图HOG特征和局部深度 特征LDP连接起来,组成特征S p = (X,y,t,HOG, HOF, LDP)。2. 如权利要求1所述的基于体感摄像机的人体活动识别的特征提取方法,其特征在 于,所述计算彩色图像序列中光流直方图H0F特征的方法为:以人体活动时空兴趣点p为中 心,将局部时空小块按X,y,t方向均分成3X3X2共18个小格,将0度至360度的光流方 向划分成〇度至90度、90度至180度、180度至270度和270度至360度这四个主方向,夕卜 加一个光流量为零的方向;计算每个像素位置...

【专利技术属性】
技术研发人员:程洪赵洋杨路
申请(专利权)人:电子科技大学
类型:发明
国别省市:四川;51

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1