一种基于自适应阶数的交互行为分析方法技术

本发明专利技术公开了一种基于自适应阶数的交互行为分析方法，包括以下步骤：步骤一：视频特征提取与表示；步骤二：利用分层狄利克雷过程模型对视频序列进行建模，检测出场景中包含的行为，并利用K‑means算法进行分类，实现多变量时间序列提取与分类；步骤三：进行多变量自回归模型阶数选择；步骤四：基于频域的多向量过程因果测量的组间交互行为分析；步骤五：基于频域的多标量过程因果测量的组内交互行为分析；步骤六：基于组间和组内因果测量的全局和局部行为交互网络构建。本发明专利技术的优点是：不仅能检测出场景中全局和局部交互行为，而且可以构建全局和局部行为交互网络。

An Interactive Behavior Analysis Method Based on Adaptive Order

【技术实现步骤摘要】
一种基于自适应阶数的交互行为分析方法
本专利技术涉及计算机视频处理
，具体涉及一种基于自适应阶数的交互行为分析方法。
技术介绍
视频监控通常面向通一些人流大、车流大、密度高的公共场所，如地铁、广场、公共交通路口等。识别场景中的行为模式，是智能视频监控中的一个重要问题，目的是尽可能的采用无监督的方法检测出多个行为，并建立它们之间的交互关系。通常视频中行为可以被视为多个时间变量，那么分析行为之间的交互，就是要分析多变量时序数据间的相互作用。作为时序数据分析的强大工具，基于多变量自回归的格兰杰因果测量在理解多变量时间序列的依赖结构上有重要作用(参见：KumarK.IntroductiontoModernTimeSeriesAnalysisbyG.Kirchgassner；J.Wolters[M].Introductiontomoderntimeseriesanalysis.2008.)。对于行为分析来说，行为之间的交互状态通常具有多尺度的结构性。例如，一个行为紧随着另个一行为发生，从全局来看，二者可视为同时发生；但从局部来看，二者可视为序列发生的。因此，从不同时滞尺度的角度来看，行为交互的模式是不同的。对应于多变量自回归模型，就是模型的阶数不同会导致变量间产生不同的依赖关系。为了利用多变量时序数据中隐含的结构性，一般有两类方法：一种是基于最小绝对收缩和选择算子(LASSO)的方法，以及它们的组合和其它变体(参见：BasuS,ShojaieA,MichailidisG.NetworkGrangerCausalitywithInherentGroupingStructure[M].TheJournalofMachineLearningResearch,2015,16(1)：417-453.)另一种是：基于后向时间选择(BTS)及其变体的方法，用于估计阶数。(参见：SiggiridouE,KugiumtzisD.GrangerCausalityinMultivariateTimeSeriesUsingaTime-OrderedRestrictedVectorAutoregressiveModel[J].IEEETransactionsonSignalProcessing,2016,64(7):1759-1773.)上述两种方法实质上都是利用降维实现多变量中小组结构的检测，但是难以同时实现全局和局部的交互行为分析。
技术实现思路
本专利技术的目的是提供一种能检测出场景中全局和局部交互行为、并能构建全局和局部行为交互网络的基于自适应阶数的交互行为分析方法。为实现上述目的，本专利技术采用了如下技术方案：一种基于自适应阶数的交互行为分析方法，包括以下步骤：步骤一：视频特征提取与表示；步骤二：利用分层狄利克雷过程模型对视频序列进行建模，检测出场景中包含的行为，并利用K-means算法进行分类，实现多变量时间序列提取与分类；步骤三：进行多变量自回归模型阶数选择；步骤四：基于频域的多向量过程因果测量的组间交互行为分析；步骤五：基于频域的多标量过程因果测量的组内交互行为分析；步骤六：基于组间和组内因果测量的全局和局部行为交互网络构建。进一步地，前述的一种基于自适应阶数的交互行为分析方法，其中：在步骤一中，视频特征提取与表示，具体步骤如下：步骤(1.1)：利用光流算法计算视频序列中相邻帧之间的光流特征并对光流进行幅度去噪；步骤(1.2)：对去噪后的光流特征进行位置和方向的量化；步骤(1.3)：将视频序列分割成N个片段，并表示成词袋模式。进一步地，前述的一种基于自适应阶数的交互行为分析方法，其中：在步骤二中，多变量时间序列提取与分类，具体步骤如下：步骤(2.1)：基于分层狄利克雷过程模型对N个片段进行建模，提取场景中的M个行为，整个视频场景可以表示成一个M×N维的矩阵，其中行向量代表行为发生的离散时间序列X1,...,XM；步骤(2.2)：基于K-means算法对多变量时间序列X1,...,XM进行聚类，将其分成H个小组Y1,...,YH；步骤(2.3)：对多变量时间序列X1,...,XM进行去噪声，去趋势化，零均值以及一阶差分处理。进一步地，前述的一种基于自适应阶数的交互行为分析方法，其中：在步骤三中，进行多变量自回归模型阶数选择，具体步骤如下：步骤(3.1)：对于M个时间序列X1,...,XM建立p阶多变量自回归模型：其中,X(n)是M×1维的列向量，表示多变量过程在时刻n的值，p表示模型的阶数，0＜p≤pmax；A(k)表示M×M维的模型预测系数，U1(n)是M×1维的白噪声；pmax表示最大阶数；步骤(3.2)：利用最小二乘法估计模型的预测系数A(k)；步骤(3.3)：计算p阶模型的残差平方和RSS(p)；步骤(3.4)：计算贝叶斯信息准则：mBIC(p)＝Nlog(RSS(p))+λlog(N)M2p,其中，N表示行为样本长度；λ表示惩罚因子，其取值自适应于组间和组内交互行为分析；步骤(3.5)：重复步骤(3.1)～步骤(3.3)，直到遍历完所有阶数；步骤(3.6)：选择最佳阶数p0，具体为：进一步地，前述的一种基于自适应阶数的交互行为分析方法，其中：在步骤四中，基于频域的多向量过程因果测量，具体步骤如下：步骤(4.1)：对H个行为小组构建向量过程Y(n)＝[Y1(n),...,YH(n)]T；步骤(4.2)：基于步骤三的算法选择M个变量的自回归模型最佳阶数po；步骤(4.3)：对向量过程进行pg阶回归，并利用最小二乘法进行参数估计：其中，Y(n)是M×1维的列向量，表示多向量过程在时刻n的值，pg＝po表示模型的阶数；B(k)表示M×M维的模型预测系数，U2(n)是M×1维的白噪声；步骤(4.4)：进行频域变换:其中，B(w)表示普矩阵,w∈[-π,π),T表示时间序列的采样周期；步骤(4.5)：计算频率w处，行为组Yj对行为组Yi的直接因果测量gj-＞i(w)，具体为：其中，Bij表示B(w)中第i-j块，Σii表示噪声协方差矩阵Σ的第i-i块，1≤i≤H，1≤j≤H；步骤(4.6)：重复步骤(4.5)，直到计算完所有频率点处的因果测量；步骤(4.7)：计算行为Yj对行为Yi的总体直接因果测量：步骤(4.8)：重复步骤(4.5)～步骤(4.7)，直到遍历完所有的行为组。进一步地，前述的一种基于自适应阶数的交互行为分析方法，其中：在步骤五中，基于频域的多标量过程因果测量，具体步骤如下：步骤(5.1)：对于包含L个行为的小组构建标量过Yh(n)＝[Xh1(n),...XhL(n)]T,1≤h≤H；步骤(5.2)：基于步骤三的算法选择L个行为的多变量自回归模型最佳阶数po，此时pmax＝pg；步骤(5.3)：对标量过程进行pl阶回归，利用最小二乘法进行参数估计:其中，Yh(n)是L×1维的列向量，表示多标量过程在时刻n的值，pl＝po表示模型的阶数；C(k)表示L×L维的模型预测系数，U3(n)是M×1维的白噪声；步骤(5.4)：进行频域变换：其中，C(w)表示普矩阵，Σ表示噪声协方差矩阵，w∈[-π,π),T表示时间序列的采样周期；步骤(5.5)：计算频率w处，行为Xhv对行为Xhu的直接因果影响，具体为：其中，pvv本文档来自技高网...

【技术保护点】
1.一种基于自适应阶数的交互行为分析方法，其特征在于：包括以下步骤：步骤一：视频特征提取与表示；步骤二：利用分层狄利克雷过程模型对视频序列进行建模，检测出场景中包含的行为，并利用K‑means算法进行分类，实现多变量时间序列提取与分类；步骤三：进行多变量自回归模型阶数选择；步骤四：基于频域的多向量过程因果测量的组间交互行为分析；步骤五：基于频域的多标量过程因果测量的组内交互行为分析；步骤六：基于组间和组内因果测量的全局和局部行为交互网络构建。

【技术特征摘要】
1.一种基于自适应阶数的交互行为分析方法，其特征在于：包括以下步骤：步骤一：视频特征提取与表示；步骤二：利用分层狄利克雷过程模型对视频序列进行建模，检测出场景中包含的行为，并利用K-means算法进行分类，实现多变量时间序列提取与分类；步骤三：进行多变量自回归模型阶数选择；步骤四：基于频域的多向量过程因果测量的组间交互行为分析；步骤五：基于频域的多标量过程因果测量的组内交互行为分析；步骤六：基于组间和组内因果测量的全局和局部行为交互网络构建。2.根据权利要求1所述的一种基于自适应阶数的交互行为分析方法，其特征在于：在步骤一中，视频特征提取与表示，具体步骤如下：步骤(1.1)：利用光流算法计算视频序列中相邻帧之间的光流特征并对光流进行幅度去噪；步骤(1.2)：对去噪后的光流特征进行位置和方向的量化；步骤(1.3)：将视频序列分割成N个片段，并表示成词袋模式。3.根据权利要求2所述的一种基于自适应阶数的交互行为分析方法，其特征在于：在步骤二中，多变量时间序列提取与分类，具体步骤如下：步骤(2.1)：基于分层狄利克雷过程模型对N个片段进行建模，提取场景中的M个行为，整个视频场景可以表示成一个M×N维的矩阵，其中行向量代表行为发生的离散时间序列X1,...,XM；步骤(2.2)：基于K-means算法对多变量时间序列X1,...,XM进行聚类，将其分成H个小组Y1,...,YH；步骤(2.3)：对多变量时间序列X1,...,XM进行去噪声，去趋势化，零均值以及一阶差分处理。4.根据权利要求3所述的一种基于自适应阶数的交互行为分析方法，其特征在于：在步骤三中，进行多变量自回归模型阶数选择，具体步骤如下：步骤(3.1)：对于M个时间序列X1,...,XM建立p阶多变量自回归模型：其中,X(n)是M×1维的列向量，表示多变量过程在时刻n的值，p表示模型的阶数，0＜p≤pmax；A(k)表示M×M维的模型预测系数，U1(n)是M×1维的白噪声；pmax表示最大阶数；步骤(3.2)：利用最小二乘法估计模型的预测系数A(k)；步骤(3.3)：计算p阶模型的残差平方和RSS(p)；步骤(3.4)：计算贝叶斯信息准则：mBIC(p)＝Nlog(RSS(p))+λlog(N)M2p,其中，N表示行为样本长度；λ表示惩罚因子，其取值自适应于组间和组内交互行为分析；步骤(3.5)：重复步骤(3.1)～步骤(3.3)，直到遍历完所有阶数；步骤(3.6)：选择最佳阶数p0，具体为：5.根据权利要求4所述的一种基于自适应阶数的交互行为分析方法，其特征在于：在步骤四中，基于频域的多向量过程因果测量，具体步骤如下：步骤(4.1)：对H个行为小组构建向量过程Y(n)＝[Y1(n),...,YH(n)]T；步骤(4.2)：基于步骤三的算法选择M个变量的自回归模型最佳阶数po；步骤(4.3)：对向量过程进行pg阶...

【专利技术属性】
技术研发人员：樊亚文，周全，康彬，白晓东，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32