一种基于Kinect的在线连续人体行为识别方法技术

本发明专利技术公开了一种基于Kinect的在线连续人体行为识别方法，包括以下步骤：a)从Kinect采集到的RGB‑D图像中提取人体骨架信息，计算各关节点的归一化相对方位特征；b)利用基于特征序列势差的在线分割方法对特征序列进行在线动态分割，得到姿态特征片段和动作特征片段；c)从分割得到的姿态特征片段和动作特征片段中分别提取关键姿态和原子动作；d)把分割得到的特征片段与离线训练得到的关键姿态或原子动作进行在线模式匹配，计算得到该特征片段被识别成某类行为的关键姿态或原子动作的似然概率；e)基于计算得到的似然概率，利用变长最大熵马尔科夫模型进行人体行为识别。与已知算法相比，本发明专利技术不需要事先检测各个人体行为的开始和结束时间点，可以在线实时执行。

An online continuous human behavior recognition method based on Kinect

The invention discloses a Kinect based online continuous human behavior recognition method, which comprises the following steps: a) to extract human skeleton images from Kinect D RGB information collected, calculation of each joint normalized relative orientation characteristics; b) using online segmentation method based on the characteristic sequence of potential difference sequences online dynamic segmentation, attitude and action characteristics sequence fragment; c) key attitude and attitude feature were extracted from atomic action fragments and fragments from the segmented motion characteristics; d) the online pattern matching feature segment segmentation obtained and critical attitude from line trained or atomic actions, the likelihood or atomic key posture the action characteristic fragment are identified as a kind of behaviors of the calculated; E) likelihood probability based on the calculated using variable length Maximum Entropy Markov model Human behavior recognition. Compared with the known algorithm, the invention does not need to detect the beginning and end time points of each human behavior in advance, and can be executed online and in real time.

【技术实现步骤摘要】

本专利技术涉及一种智能人机交互、智能机器人
，具体是一种基于Kinect的在线连续人体行为识别方法。
技术介绍
21世纪人类将进入老龄化社会，发展服务机器人能够弥补年轻劳动力的严重不足，解决老龄化社会的家庭服务、医疗服务等社会问题。国际机器人联合会给服务机器人一个初步的定义：服务机器人是一种半自主或全自主的机器人，它能完成有益于人类的服务，但不包括从事生产的设备；如果服务机器人可以与人进行智能友好的交互，并且能够根据人们在日常生活中的的行为从事一些家庭服务工作，那么家庭服务行业的服务机器人应用必将形成新的产业和新的市场；在服务机器人从事日常生活服务的过程中，人体行为识别与预测是人与服务机器人智能交互的基础，对提高机器人的自主性、智能性起着至关重要的作用；利用人体行为识别与预测技术对人们的日常行为进行识别与预测，可以为服务机器人的日常服务提供理论和现实依据，促进人与服务机器人的智能友好交互及和谐相处，提高人们生活的舒适感。已知的绝大部分人体行为识别算法都是针对已经根据行为类别分割好的数据序列进行的，严格的来说是进行人体行为分类，而非人体行为识别。尽管有若干人体行为识别算法是针对连续的人体行为序列进行的，但这些方法仍是“先检测每种行为的开始和终止时间点以实现人体行为分割，在进行人体行为识别”。针对上述问题，本专利技术旨在提出一种不需要事先进行人体行为分割且可以直接在连续的且包含多种人体行为的数据序列上进行人体行为识别的在线连续人体行为识别方法。
技术实现思路
本专利技术的目的在于提供一种以从Kinect采集到的连续RGB-D图像中提取到的人体骨架信息为基础，对该数据序列中包含的多种人体行为进行在线识别的方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于Kinect的在线连续人体行为识别方法，以从Kinect采集到的RGB-D图像中提取到的人体骨架信息为基础，对包含多种人体行为的连续图像序列进行在线的人体行为识别，包括具体以下步骤：(1)本专利技术包含模型训练和在线连续人体行为识别两个部分，模型训练过程针对不同行为类别的数据分别进行模型训练，在线连续人体行为识别过程对可能包含多种人体行为的实时图像序列进行人体行为的识别；(2)在模型训练过程中，对每种行为的数据分别进行特征提取、在线分割、关键姿态和原子动作的提取等三个步骤，最终得到针对每种行为的关键姿态和原子动作集合；(3)在在线连续人体行为识别过程中，对可能包含多种人体行为的数据进行特征提取、在线分割、在线模式匹配、基于变长最大熵马尔科夫模型的分类等四个步骤，最终实现对每一个特征片段的人体行为识别；(4)在特征提取过程中逐帧计算人体各关节的归一化相对方位特征，构成人体的全身姿态特征；(5)在线分割过程中计算每帧特征的势差，然后利用阈值分割方法对每帧特征进行在线分类，每帧特征可以被划分为姿态特征或动作特征，最终得到连续的姿态特征片段和动作特征片段；(6)在模型训练过程中，对在在线分割过程中得到的每种人体行为的全部姿态特征片段和动作特征片段进行聚类操作，提取每种人体行为的关键姿态和原子动作；(7)在在线连续人体行为识别过程中，对在线分割得到的每个特征片段进行在线模式匹配操作，计算该特征片段被识别成每种行为的各个关键姿态或原则动作的似然概率；(8)在在线连续人体行为识别过程中，对计算得到的似然概率运用变长最大熵马尔科夫模型分类算法进行人体行为识别，最终得到当前最新特征片段的最佳人体行为类别。作为本专利技术进一步的方案：所述步骤1中，模型训练过程是针对每种人体行为分别进行的；而在线连续人体行为识别过程是针对连续图像序列在线进行的，图像序列中包含的人体行为的种类、个数、以及每种人体行为的起始和终止时间点都是未知的。作为本专利技术再进一步的方案：所述步骤2中，需要在得到每种行为的由在线分割算法计算出的全部特征片段后再利用聚类算法提取关键姿态和原子动作。作为本专利技术再进一步的方案：所述步骤3中，当利用在线分割算法计算得到一个新的特征片段后，并不对该片段进行聚类操作，而是利用在线模式匹配算法计算该特征片段被识别成各类行为的各个关键姿态或原子动作的似然概率，然后在基于计算得到的似然概率利用变长最大熵马尔科夫模型分类算法对该特征片段进行人体行为识别。作为本专利技术再进一步的方案：所述步骤4中，关节点i的归一化相对方位特征是以关节点i实际运动时所围绕的关节点j为参考节点进行计算的，计算方式为：式中，Li和Lj为关节点i和关节点j在世界坐标系内的三维坐标向量，||.||为欧式距离算子。作为本专利技术再进一步的方案：所述步骤5中，特征序列的势能和势差的计算方式分别为：Ep(i)＝||Fi-Fr||2Ed(i)＝Ep(i)-Ep(i-1)式中，Fi为第i帧归一化相对方位特征向量，Fr为参考帧的归一化相对方位特征向量，Ep(i)为第i帧特征向量的势能，Ed(i)为第i帧特征向量的势差。另外，令Emin为预设的阈值，定义势差的符号为：则所述步骤5中的在线分割算法是根据特征序列的势差符号进行特征片段分割的，每个特征片段内的特征向量都具有相同符号的特征向量势差。作为本专利技术再进一步的方案：所述步骤6中，利用高斯混合模型(GMM)算法从姿态特征片段中聚类得到关键姿态，从与每两个关键姿态关联的动作特征片段中分别提取“半山腰-波峰-半山腰”或“半山腰-波谷-半山腰”三个有序特征向量，构成与该两个关键姿态关联的原子动作。作为本专利技术再进一步的方案：所述步骤7中，在对特征片段进行在线模式匹配时是基于该特征片段与每种行为的关键姿态或原子动作的欧式距离进行似然概率的计算的。作为本专利技术再进一步的方案：所述步骤8中，基于计算得到的似然概率，利用变长最大熵马尔科夫模型进行人体行为识别，分别计算出该特征片段被识别成每种行为的总概率，识别结果为总概率显著的那种人体行为。与现有技术相比，本专利技术的有益效果是：本专利技术提出了一种基于Kinect的在线连续人体行为识别方法，本方法无需先对连续数据序列中每种人体行为的开始和结束时间点进行检测，可以对在线分割算法分割得到的特征片段直接进行人体行为识别，识别结果是以特征片段为基本单位的；本方法利用变长最大熵马尔科夫模型进行人体行为识别，变长特征不但可以保证相似人体行为间的可识别性，而且可以保证差异较大的人体行为的快速识别；本方法是以人体骨架数据为基本数据，以特征片段为单位进行人体行为识别，执行效率高，可以实现在线实时执行。附图说明图1为本专利技术的算法流程图图2为本专利技术中人体各关节的归一化相对方位特征示意图。图3为本专利技术中某特征向量序列的势差示意图。图4为本专利技术中连续人体行为的特征向量序列的在线分割结果示意图。图5为传统的最大熵马尔科夫模型示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1～5，本专利技术提出的基于Kinect的在线连续人体行为识别方法，算法流程如图1所示，具体特征提取、在线分割、关键姿态和原子动作的提取、在线模式匹配、以本文档来自技高网...

【技术保护点】
一种基于Kinect的在线连续人体行为识别方法，以从Kinect采集到的RGB‑D图像中提取到的人体骨架信息为基础，对包含多种人体行为的连续图像序列进行在线人体行为识别，其特征在于，包括以下步骤：(1)本专利技术包含模型训练和在线连续人体行为识别两个部分，模型训练过程针对不同行为类别的数据分别进行模型训练，在线连续人体行为识别过程对可能包含多种人体行为的实时图像序列进行在线人体行为的识别；(2)在模型训练过程中，对每种行为的数据分别进行特征提取、在线分割、关键姿态和原子动作的提取等三个步骤，最终得到针对每种行为的关键姿态和原子动作集合；(3)在在线连续人体行为识别过程中，对可能包含多种人体行为的数据进行特征提取、在线分割、在线模式匹配、基于变长最大熵马尔科夫模型的分类等四个关键步骤，最终实现对每一个特征片段的人体行为识别；(4)在特征提取过程中逐帧计算人体各关节的归一化相对方位特征，构成人体的全身姿态特征；(5)在线分割过程中，计算每帧特征的势差，然后利用阈值分割方法对每帧特征进行在线分类，每帧特征可以被划分为姿态特征或动作特征，最终得到连续的姿态特征片段和动作特征片段；(6)在模型训练过程中，对在在线分割过程中得到的每种人体行为的全部姿态特征片段和动作特征片段进行聚类操作，提取每种人体行为的关键姿态和原子动作；(7)在在线连续人体行为识别过程中，对在线分割得到的每个特征片段进行在线模式匹配，计算该特征片段被识别成每种行为的各个关键姿态或原则动作的似然概率；(8)在在线连续人体行为识别过程中，对计算得到的似然概率运用变长最大熵马尔科夫模型分类算法进行人体行为识别，最终得到当前最新特征片段的最佳人体行为类别。...

【技术特征摘要】
1.一种基于Kinect的在线连续人体行为识别方法，以从Kinect采集到的RGB-D图像中提取到的人体骨架信息为基础，对包含多种人体行为的连续图像序列进行在线人体行为识别，其特征在于，包括以下步骤：(1)本发明包含模型训练和在线连续人体行为识别两个部分，模型训练过程针对不同行为类别的数据分别进行模型训练，在线连续人体行为识别过程对可能包含多种人体行为的实时图像序列进行在线人体行为的识别；(2)在模型训练过程中，对每种行为的数据分别进行特征提取、在线分割、关键姿态和原子动作的提取等三个步骤，最终得到针对每种行为的关键姿态和原子动作集合；(3)在在线连续人体行为识别过程中，对可能包含多种人体行为的数据进行特征提取、在线分割、在线模式匹配、基于变长最大熵马尔科夫模型的分类等四个关键步骤，最终实现对每一个特征片段的人体行为识别；(4)在特征提取过程中逐帧计算人体各关节的归一化相对方位特征，构成人体的全身姿态特征；(5)在线分割过程中，计算每帧特征的势差，然后利用阈值分割方法对每帧特征进行在线分类，每帧特征可以被划分为姿态特征或动作特征，最终得到连续的姿态特征片段和动作特征片段；(6)在模型训练过程中，对在在线分割过程中得到的每种人体行为的全部姿态特征片段和动作特征片段进行聚类操作，提取每种人体行为的关键姿态和原子动作；(7)在在线连续人体行为识别过程中，对在线分割得到的每个特征片段进行在线模式匹配，计算该特征片段被识别成每种行为的各个关键姿态或原则动作的似然概率；(8)在在线连续人体行为识别过程中，对计算得到的似然概率运用变长最大熵马尔科夫模型分类算法进行人体行为识别，最终得到当前最新特征片段的最佳人体行为类别。2.根据权利要求1所述的基于Kinect的在线连续人体行为识别方法，其特征在于，模型训练过程是针对每种人体行为分别进行的；而在线连续人体行为识别过程是针对连续图像序列在线进行的，图像序列中包含的人体行为的种类、个数、以及每种人体行为的起始和终止时间点都是未知的。3.根据权利要求1所述的基于Kinect的在线连续人体行为识别方法，其特征在于，所述步骤(2)中，需要在得到每种行为的由在线分割算法分割出的全部特征片段后再利用聚类算法提取关键姿态和原子动作。4.根据权利要求1所述的基...

【专利技术属性】
技术研发人员：朱光明，张亮，宋娟，沈沛意，张淑娥，刘欢，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61