基于视觉共生矩阵序列的异常双人交互行为识别方法技术

本发明专利技术公开了基于视觉共生矩阵序列的异常双人交互行为识别方法，包括步骤1:对摄像头采集的视频中的交互行为进行运动检测与分割；步骤2:对视频中左右动作执行人分别进行分区域HOG特征提取；步骤3:利用步骤2中提取的HOG特征，采用K‑means算法构建视觉单词，生成视觉词袋，并对视觉词袋中的单词进行编码；利用相似度量函数，对区域特征进行视觉单词编码；统计时间维度中交互个体之间的视觉共生关系，得到视觉共生矩阵序列来表示视频中的异常双人交互行为；步骤4:HMM算法的训练与识别。本发明专利技术提出的算法过程的方法简单、高效，识别准确率较高；针对识别智能监控系统中异常的双人交互行为，具有较好的识别性能。

【技术实现步骤摘要】

本专利技术属于计算机视觉领域，具体涉及基于视觉共生矩阵序列的异常双人交互行为识别方法。
技术介绍
在大数据时代的背景下，计算机视觉领域备受关注，其中人体异常交互行为识别算法研究已成为热点问题，拥有交互行为识别能力的计算机能够代替人高效且准确地完成繁琐而重要的工作；因此，异常交互行为的识别算法研究具有较高的实用价值，其成果在识别智能监控系统中异常的双人交互行为，有着广泛的应用前景。目前异常双人交互行为识别方法大体有两种框架，一种是基于整体的交互动作识别与理解的框架，该框架处理简单且无需分割个体，但往往无法准确表述交互动作的内在属性，需要依靠十分复杂的特征表示及匹配方法来保证识别的准确性；交互动作通常是由动作执行个体的具体时间顺序的多个子动作在高层次的结合而成的；另外一种基于个体分割的交互动作识别与理解的框架，正是将交互动作分解为单个人的子动作并结合考虑人与人之间的运动关系进行交互行为的识别与理解，该框架下得到的交互信息较为丰富，因此得到了大量研究者的重视，目前基于个体分割的识别方法主要可分为三类：(1)基于语义描述的识别方法：此类方法侧重于利用语义对个体姿态、原子动作或整个交互行为的表述；文献[1]等提出了基于上下文无关文法的表示方法，利用已定义的语法规则实现交互行为的识别与理解；文献[2]提出交互短语来描述执行人间的运动关系，并训练基于SVM的识别模型对交互动作进行识别；然而该类方法往往需要预先定义所有可能的产生式规则，工作繁琐；详见：[1]Ryoo M.S.，Aggarwal J.K..Recognition of composite human activities through context-free grammar based representation[C].Proc.IEEE Computer Society Conf.Computer Vision and Pattern Recognition，NY，USAa，2006：1709-1719.[2]Kong Y.，Jia Y.，Fu Y..Interactive phrases：semantic descriptions for human interaction recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，36(9)：1775-1788。(2)基于概率图模型的识别方法：此类方法通常利用概率图模型对个体动作和双人交互动作进行分层建模与识别；文献[3-4]提出了一种基于整体光流特征和身体部分局部特征描述的耦合隐条件随机场模型，该模型通过分层建模身体各部分及单人动作间的运动关系实现交互行为的识别与理解；该方法将复杂的交互动作看成多个身体部分子动作及单人动作的级联，可以较好的建模复杂的交互动作，但是太过于依赖身体各部分区域的准确检测；详见：[3]Dong Z.，Kong Y.，Liu C，Li H.，Jia Y..Recognizing human interaction by multiple features[C].Proc.1st Asian Conf.Pattern Recognition.Beijing，China，2011：77-81.[4]Kong Y.，Liang W.，Dong Z.，Jia Y..Recognizing human interaction from videos by a discriminative model[J].Institution of Engineering and Technology Computer Vision，2014，8(4)：277-286。(3)基于共生原子动作的匹配识别方法：此类方法对来自不同个体的成对出现的共生原子动作进行模板表示，然后采用模板匹配的方法进行识别；文献[5]将视频序列用一系列具有一致空间结构和一致运动的组件表示，通过对比这些成对组件的时空关系对双人交互行为进行识别；文献[6]提出了一种基于共生视觉词典的方法，该方法提取3D-SIFT特征，并通过统计动作执行人间共生视觉词的发生频率对双人交互行为进行表示和识别；该类方法原理简单，容易实现，但算法通常计算量大，特征表述能力不强，分类器的性能有待提高，这也导致目前此类方法的准确性不高；详见：[5]Yuan F.，Prinet V.，Yuan J..Middle-Level representation for human activities recognition：the role of spatio-temporal relationships[C].Proc.11th European Conf.Computer Vision，Heraklion，Greece，2010：168-180.[6]Slimani K.，Benezeth Y.，Souami F..Human interaction recognition based on the co-occurrence of visual words[C].Proc.IEEE Conf.Computer Vision and Pattern Recognition Workshops.Columbus，Ohio，USA，2014：461-466。
技术实现思路
为解决上述异常双人交互识别研究中存在的识别率较低、计算复杂度较高的技术问题，本专利技术有效结合了基于共生原子动作描述及概率图模型识别方法的优势，设计了基于视觉共生矩阵序列的异常双人交互行为识别方法。本专利技术采用的技术方案为：基于视觉共生矩阵序列的异常双人交互行为识别方法，包括以下几个步骤：步骤1：对摄像头采集的视频中的交互行为进行运动检测与分割；步骤2：对视频中左右动作执行人分别进行分区域HOG特征提取；步骤3：利用步骤2中提取的HOG特征，采用K-means聚类算法构建视觉单词，生成视觉词袋，并对视觉词袋中的单词进行编码；利用相似度量函数，对区域特征进行视觉单词编码；统计时间维度中交互个体之间的视觉共生关系，得到视觉共生矩阵序列来表示视频中的异常双人交互行为；步骤4：利用HMM算法，对各类异常双人交互行为进行训练，利用训练好的不同交互行为模型，对实际输入视频进行异常双人交互行为识别。作为一种优选的技术方案，所述的步骤1具体包括：步骤1.1：拍摄视频：启动摄像头，录制双人交互视频，收集不同动作执行人的各类交互动作视频，作为交互动作的训练视频，并对各类训练视频进行交互行为含义标记，建立视频训练集；利用摄像头捕捉需要进行测试的视频流，进而形成视频测试集；步骤1.2：检测与分割：对拍摄的视频进行运动检测处理，利用ViBe算法进行动态背景建模，建模后视频背景置为黑色，交互的前景区域为彩色，完成运动检测，并且利用人体的轮廓信息以及体心距离，将交互的左右动作执行人实现运动分割，得到两个彼此分开的个体；最后，将视频进行灰度化处理，便于后续特征提取。作为一种优选的技术方案，所述的步骤2具体包括：步骤2.1：提取序列图像的梯度幅值与梯度方向，如公式(1)所示： 本文档来自技高网...

【技术保护点】
基于视觉共生矩阵序列的异常双人交互行为识别方法，其特征在于，包括以下几个步骤：步骤1：对摄像头采集的视频中的交互行为进行运动检测与分割；步骤2：对视频中左右动作执行人分别进行分区域HOG特征提取；步骤3：利用步骤2中提取的HOG特征，采用K‑means聚类算法构建视觉单词，生成视觉词袋，并对视觉词袋中的单词进行编码；利用相似度量函数，对区域特征进行视觉单词编码；统计时间维度中交互个体之间的视觉共生关系，得到视觉共生矩阵序列来表示视频中的异常双人交互行为；步骤4：利用HMM算法，对各类异常双人交互行为进行训练，利用训练好的不同交互行为模型，对实际输入视频进行异常双人交互行为识别。

【技术特征摘要】
1.基于视觉共生矩阵序列的异常双人交互行为识别方法，其特征在于，包括以下几个步骤：步骤1：对摄像头采集的视频中的交互行为进行运动检测与分割；步骤2：对视频中左右动作执行人分别进行分区域HOG特征提取；步骤3：利用步骤2中提取的HOG特征，采用K-means聚类算法构建视觉单词，生成视觉词袋，并对视觉词袋中的单词进行编码；利用相似度量函数，对区域特征进行视觉单词编码；统计时间维度中交互个体之间的视觉共生关系，得到视觉共生矩阵序列来表示视频中的异常双人交互行为；步骤4：利用HMM算法，对各类异常双人交互行为进行训练，利用训练好的不同交互行为模型，对实际输入视频进行异常双人交互行为识别。2.根据权利要求1所述的基于视觉共生矩阵序列的异常双人交互行为识别方法，其特征在于，所述的步骤1具体包括：步骤1.1：拍摄视频：启动摄像头，录制双人交互视频，收集不同动作执行人的各类交互动作视频，作为交互动作的训练视频，并对各类训练视频进行交互行为含义标记，建立视频训练集；利用摄像头捕捉需要进行测试的视频流，形成视频测试集；步骤1.2：检测与分割：对拍摄的视频进行运动检测处理，利用ViBe算法进行动态背景建模，建模后视频背景置为黑色，交互的前景区域为彩色，完成运动检测，并且利用人体的轮廓信息以及体心距离，将交互的左右动作执行人实现运动分割，得到两个彼此分开的个体；最后，将视频进行灰度化处理，便于后续特征提取。3.根据权利要求1所述的基于视觉共生矩阵序列的异常双人交互行为识别方法，其特征在于，所述的步骤2具体包括：步骤2.1：提取序列图像的梯度幅值与梯度方向，如公式(1)所示： G x = f ( x + 1 , y ) - f ( x - 1 , y ) ...

【专利技术属性】
技术研发人员：姬晓飞，左鑫孟，王艳辉，王扬扬，刘洋，
申请(专利权)人：沈阳航空航天大学，
类型：发明
国别省市：辽宁;21