运动目标的运动模式分类和动作识别的方法技术

一种基于光流方向序列处理运动目标的运动模式识别和动作识别的方法，该方法首先用背景减除法检测出目标，然后用均值漂移跟踪算法对目标进行跟踪，再计算光流值，分别对刚体和非刚体目标得到光流方向，通过量化之后得到光流方向的时间序列，最后用时间序列建立隐马尔科夫模型，再用隐马尔科夫模型处理运动模式识别和动作识别。本发明专利技术通过光流方向，可以同时来处理运动目标的运动模式识别和动作识别，可广泛应用于视频监控系统、视频会议系统、工业产品检测系统、机器人视觉导航系统、军事目标检测分类系统等各类民用及军用系统中，具有广阔的市场前景和应用价值。

【技术实现步骤摘要】

本专利技术涉及的是图像处理
，具体是一种基于光流序列的。
技术介绍
运动模式(motion pattern)和动作识别(action recognition)是计算机视觉与模式识别领域的研究热点。视频图像中对运动目标的运动模式准确分类和对人的动作进行识别在民用和军用上均具有广泛的应用前景。针对这两个问题，国内外学者提出了很多方法，主要方法归纳如下。传统的运动模式分类的方法主要有两种。第一种是基于轨迹的方法，对目标进行跟踪得到轨迹，然后对轨迹进行聚类。此类方法的缺点在于必须对目标进行准确的跟踪，而得到的所有轨迹的长度需要相同，才能进行聚类。第二种方法是基于光流信息的，可以通过主题模型(topic model),词袋模型(bagof word)等对光流信息进行聚类，从而得到各种运动模式。动作识别的主要方法有(I)基于形状的方法，即通过提取局部特征和全局特征来建立时空模型，然后聚类；(2)基于外表的方法，即通过对训练视频里面得到人的外表特征序列，来用隐马尔科夫模型(以下简称为HMM)进行训练，得到对应的HMM，然后对测试视频得到相应的人的外表特征序列，并用HMM模型来判别属于哪个类；(3)基于特征点的方法，即对于训练视频，通过特征点提取的算法提取特征，然后通过聚类算法得到一个个视频单词(video words),对于训练视频,通过支持向量机(SVM),将各个训练视频提取的特征映分离开，来得到各个类的模型，然后对测试视频提取的视频单词通过支持向量机来进行测试，以判别属于哪个类。以上两个识别问题里都用到光流信息和轨迹信息。但是光流和轨迹信息是分开使用的。轨迹可以提供目标的位置信息，但是必须精确跟踪，光流可以给出目标的运动的信息，但是一种局部的运动信息。而且人们是将以上两个识别问题割裂开来考虑的。经对现有技术文献的检索发现，J. Yamato等在《IEEE Conference on ComputerVision and Pattern Recognition》 (pp.379-385,1992)上发表“Recognizing HumanAction in Time Sequential Images Using Hidden Markov Model，，(基于隐马尔科夫模型的时间序列图像的动作识别，IEEE计算机视觉与模式识别会议)。该文提出了利用提取人的外表特征来组成一个时间序列，然后通过隐马尔科夫模型来学习，得到各个动作的模 型，然后用来识别。文中的实验结果说明该方法具有可行性。但是该方法只能提取人的特征，用来动作识别，而不能提取车或者其它刚体的特征。因此该方法不能推广到运动模式分类。
技术实现思路
本专利技术的目的在于克服上述现有技术中的不足，提供一种基于光流序列的对运动目标进行运动模式识别或动作识别的方法，该方法将运动模式分类和动作识别这两类以往被分别处理的问题统一起来，能够同时实现运动模式分类和动作识别。本专利技术是通过以下技术方案实现的一种基于光流方向序列运动目标的运动模式识别或动作识别的方法，其特点在于，该方法包括下列步骤①首先提取运动目标的运动轨迹对于刚体目标，首先通过混合高斯法对背景建模；对于非刚体目标，给出各个节点，然后采用均值漂移跟踪算法，利用目标的颜色信息对运动目标进行跟踪；采用加权的颜色直方图来考虑像素的空间位置信息。②计算轨迹点的光流时间序列值根据运动目标的横向光流速度和纵向光流速度计算出光流方向，并将光流方向量化成4个值并组成时间序列，当相邻的两个值相同时，则合并成一个值，获得光流时间序列值；③用隐马尔科夫模型对光流时间序列进行训练，建立运动目标的隐马尔科夫模型所述的光流时间序列，通过隐马尔科夫理论的学习算法，得到相应的隐马尔科夫模型；④重复步骤①②③分别建立各种运动目标的隐马尔科夫模型；⑤对待识别的运动目标用隐马尔科夫模型进行测试对待测试的运动目标按步骤①②提取运动目标的运动轨迹，计算轨迹点的光流时间序列值，⑥计算该光流时间序列值由某个隐马尔科夫模型生成的概率，并与设定的概率阈值进行比较，当计算概率大于设定的阈值，即认为测试的光流序列由这个给定的隐马尔科夫模型生成，则进入步骤⑧；否则进入步骤⑦⑦选择另一个隐马尔科夫模型，重复步骤⑥；⑧待测试的运动目标属于所述的隐马尔科夫模型对应的运动目标的运动模式，或所述的隐马尔科夫模型对应的运动目标的动作，实现了对所述的运动目标进行运动模式识别或动作识别。 所述的运动目标分为刚体和非刚体，对于刚体，由一个光流时间序列组成，对于非刚体，确定动作识别的考察部位即节点数K，非刚体的运动，看作K个光流时间序列组成。本专利技术的技术效果如下本专利技术采用了比较鲁棒的跟踪算法来得到目标的轨迹，同时通过计算光流值来得到目标的光流方向。通过对光流方向聚类来得到目标的运动模式。通过对运动模式进行训练，可以很方便的对各个运动模式和动作进行分类。本专利技术通过光流方向来同时处理运动模式分类和动作识别，相比与以往用只用轨迹或者光流信息来处理运动模式识别，和用词袋模型，形状信息或者外表信息来处理动作识别的方法，更加简单稳健。本专利技术可以广泛应用于视频监控系统、视频会议系统、工业产品检测系统、机器人视觉导航系统、军事目标检测分类系统等各类民用及军用系统中，具有广阔的市场前景和应用价值。附图说明图I为本专利技术处理方法总体框图。图2为背景减除法得到的前景图。图3为刚体轨迹图。图4为非刚体轨迹图。图5为计算的光流图。 图6为HMM训练测试流程图。具体实施例方式为了更好地理解本专利技术的技术方案，以下结合附图对本专利技术的实施方式作进一步描述。本实施例在以本专利技术技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。本专利技术基于光流方向序列运动目标的运动模式识别或动作识别的方法，包括下列步骤(I)提取运动目标的运动轨迹这里分为刚体和非刚体两种情况来考虑。刚体由于没有形变，所以可以看做一个整体来考虑，而非刚体由于形变的原因，各个部分的相对位置会发生改变，因而需要对某几个部分来分别考虑。对于刚体，可以先通过背景减除法检测新出现的目标，然后通过跟踪算法来得到目标的轨迹。对于非刚体，手动选取运动目标的K(K = 5，即左手，右手，左腿，右腿，头部)个重要部分，对该K个部分通过跟踪算法得到K个轨迹。(2)计算光流方向对步骤(I)中得到运动目标的每个轨迹点，用光流法计算每个轨迹点光流值(详细步骤见第三节？)。根据光流的横向速度和纵向速度来计算光流的方向(详细步骤见第三节？)。将光流方向量化为四个方向，分别用1，2，3，4来表示。将每个轨迹点的光流方向进行合并，即相邻的两个光流方向如果相同，则认为是一个模式。如光流轨迹方向{1，1，1，1,2,2,2,2,3,3}合并成为{1,2,3} o(3)训练样本对于每个刚体训练样本，一条轨迹得到的是一个样本模式。然后用隐马尔科夫模型(HMM)对每个刚体的每个模式进行训练，得到各个模式的隐马尔科夫模型；对于每个非刚体训练样本，k个部分有k个轨迹，因而是k个模式的组合；同理对其中的每个模式进行训练，得到每个模式的隐马尔科夫模型；这个非刚体训练样本是k个隐马尔科夫模型的组合。(4)测试样本对于测试刚体样本，将样本轨迹的模式送入到每个本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：胡士强，王勇，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：