一种邻域高斯结构和视频特征融合的动作识别方法技术

本发明专利技术公开了一种邻域高斯结构和视频特征融合的动作识别方法。本方法首先用3D LARK算子提取视频的局部结构特征，为了能够表达整体结构，提出一种基于多维高斯拟合的邻域结构评估算法。其次，邻域高斯结构和3D LARK特征分别经过多尺度模板和待测视频的局部匹配和统计过程，得到两个目标动作存在的统计概率矩阵。最后，将两个统计概率矩阵融合来提取目标，双重约束提高了目标动作存在的准确性。本发明专利技术在传统的LARK算子上提出邻域关系约束整体的思想，提出了一种新的动作识别模型。对比现有方法，本发明专利技术提取的目标动作更精准，识别准确率更高，适用于各种复杂场景的可见光和红外视频。

【技术实现步骤摘要】

本专利技术属于计算机视觉领域的移动目标识别技术，特别是一种邻域高斯结构和视频特征融合的动作识别方法。
技术介绍
提高视频中目标识别的准确率是开展图像科学研究的不懈追求，高效的计算机自动识别目标技术，对公共安全等领域具有重大意义。目标识别的过程主要分为训练和非训练两种方法，传统训练方法的识别严重依赖于样本的数量，且分类过程容易产生过拟合问题。现阶段，目标识别技术主要采用非训练的新方法。LARK特征由Seo等人在2010年提出，与HOG特征，LBP特征,Haar特征,SIFT特征等相比，具有旋转和尺度不变性，抓住图像潜在结构而不受噪声影响和稳定性好等优点。它关注每个像素点灰度变化，鲁棒的描述了图像的局部结构。但是Seo的方法使用单尺度模板，不能识别多尺度目标。模板包含背景，采用目标与模板整体匹配，导致待测视频适用场景有限，与模板背景不类似的视频，检测效果不好。LARK特征是局部特征，不能描述目标整体的形状。对于结构稳定的目标，使用LARK特征识别效果较好，对于姿态变化多的非紧凑型目标，则不能排除结构与目标类似的物体。
技术实现思路
本专利技术的目的是提供一种邻域高斯结构和视频特征融合的动作识别方法。实现本专利技术目的的技术解决方案为：一种邻域高斯结构和视频特征融合的动作识别方法，具体步骤为：步骤1、构建无背景多尺度模板，具体是：首先将模板图片转成灰度图，之后将图片的背景去除，最后对其进行缩放处理；步骤2、对步骤1得到的多尺度模板进行3DLARK特征提取，之后对提取出的3DLARK特征进行去冗余处理；步骤3、对步骤2得到的特征向量矩阵WQ邻域窗口内的数据进行高斯拟合，之后对高斯拟合后的结果进行去冗余处理；步骤4、将待测视频转换为灰度视频，然后提取显著区域，之后再提取显著区域内像素点的3DLARK特征，最后进行单个向量去冗余处理；步骤5、将待测视频3DLARK特征集FT邻域9×9窗口内的数据进行高斯多维拟合，之后对高斯多维拟合后的结果进行去冗余处理，得到：R为实数域，m2为9×9窗口遍历待测视频后的循环次数。步骤6、对3DLARK特征和邻域高斯结构特征的模板与待测视频进行局部匹配，并记录向量位置信息；步骤7、对向量位置信息进行统计，具体是确定统计窗口内不重复的索引值个数，分别得到目标存在的统计概率矩阵T3DLK和TNRFM；步骤8、将统计概率矩阵T3DLK和TNRFM相乘融合得到最终的统计概率矩阵Tfinal，在最终的统计概率矩阵Tfinal中用非极大值抑制的方法，逐帧提取出目标动作。本专利技术与现有技术相比，其显著优点为：(1)本专利技术提出了目标动作的邻域关系约束，优化了评估目标动作是否存在的方法，使得目标识别准确率得到提高。(2)本专利技术采用无背景模板，关注动作的本质特征，而忽略背景、灰度等，能够解除待测视频的场景限制，抑制视频拍摄角度产生的影响，同时避免了识别过程中对像素灰度的依赖性，而且能够准确地识别出待测视频中是否包含与感兴趣动作。(3)本专利技术中的多尺度模板可以识别同一帧图片里面的不同尺寸的目标动作。附图说明图1为邻域高斯结构和3DLARK融合的动作识别方法总流程图。图2为邻域高斯结构计算和性能分析图，其中图(a)为邻域结构计算窗口示例图，图(b)为邻域结构相似性性能分析图。图3为确定非极大值抑制法的搜索阈值σ值的分析图，其中图(a)(b)为单目标和双目标Tfinal的概率密度曲线；图(c)为Tfinal的概率分布曲线图。图4为单独用3DLARK特征识别和3DLARK与邻域高斯结构特征融合处理后识别结果对比图，其中图(a)(c)为单独使用3DLARK特征统计匹配后的识别行走动作的结果；图(b)(d)为3DLARK特征与邻域高斯结构特征融合处理后识别结果。图5为多视角多场景目标行走动作的识别结果对比图，其中图(a)(c)(e)为本专利技术的识别结果；图(b)(d)(f)为H.J.Seo的3DLSK方法识别结果。图6为利用本专利技术识别跳远动作时，采用的未经缩放的模板。图7为利用本专利技术的方法对跳远动作进行识别的任意四帧的结果图。图8为利用本专利技术识别滑雪动作时，采用的未经缩放的模板。图9为利用本专利技术的方法对滑雪动作进行识别的任意四帧的结果图。具体实施方式结合图1，本专利技术的一种邻域高斯结构和视频特征融合的动作识别方法，具体步骤为：步骤1、构建无背景多尺度模板，具体是：首先将模板图片转成灰度图，之后将图片的背景去除，最后对其进行缩放处理；所述模板图片为完成一个完整动作的几帧图片，对去背景后的图片序列进行缩放处理，具体是将去背景后的图片序列缩放为0.5倍、1倍和1.5倍。步骤2、对步骤1得到的多尺度模板进行3DLARK特征提取，之后对提取出的3DLARK特征进行去冗余处理；具体为：步骤2-1、对步骤1得到的多尺度模板进行3DLARK特征提取，得到特征向量矩阵为WQ∈Rp×n，所述3DLARK特征是用于提取时空显著特征的局部自适应回归核，其公式为K(xi-xl)=det(Cl)exp{(xi-xl)TCl(xi-xl)-2h2本文档来自技高网...

【技术保护点】
一种邻域高斯结构和视频特征融合的动作识别方法，其特征在于，具体步骤为：步骤1、构建无背景多尺度模板，具体是：首先将模板图片转成灰度图，之后将图片的背景去除，最后对其进行缩放处理；步骤2、对步骤1得到的多尺度模板进行3D LARK特征提取，之后对提取出的3D LARK特征进行去冗余处理；步骤3、对步骤2得到的特征向量矩阵WQ邻域窗口内的数据进行高斯拟合，之后对高斯拟合后的结果进行去冗余处理；步骤4、将待测视频转换为灰度视频，然后提取显著区域，之后再提取显著区域内像素点的3D LARK特征，最后进行单个向量去冗余处理；步骤5、将待测视频3D LARK特征集FT邻域9×9窗口内的数据进行高斯多维拟合，之后对高斯多维拟合后的结果进行去冗余处理，得到：R为实数域，m2为9×9窗口遍历待测视频后的循环次数；步骤6、对3D LARK特征和邻域高斯结构特征的模板与待测视频进行局部匹配，并记录向量位置信息；步骤7、对向量位置信息进行统计，具体是确定统计窗口内不重复的索引值个数，分别得到目标存在的统计概率矩阵T3DLK和TNRFM；步骤8、将统计概率矩阵T3DLK和TNRFM相乘融合得到最终的统计概率矩阵Tfinal，在最终的统计概率矩阵Tfinal中用非极大值抑制的方法，逐帧提取出目标动作。...

【技术特征摘要】
1.一种邻域高斯结构和视频特征融合的动作识别方法，其特征在于，具体步骤为：步骤1、构建无背景多尺度模板，具体是：首先将模板图片转成灰度图，之后将图片的背景去除，最后对其进行缩放处理；步骤2、对步骤1得到的多尺度模板进行3DLARK特征提取，之后对提取出的3DLARK特征进行去冗余处理；步骤3、对步骤2得到的特征向量矩阵WQ邻域窗口内的数据进行高斯拟合，之后对高斯拟合后的结果进行去冗余处理；步骤4、将待测视频转换为灰度视频，然后提取显著区域，之后再提取显著区域内像素点的3DLARK特征，最后进行单个向量去冗余处理；步骤5、将待测视频3DLARK特征集FT邻域9×9窗口内的数据进行高斯多维拟合，之后对高斯多维拟合后的结果进行去冗余处理，得到：R为实数域，m2为9×9窗口遍历待测视频后的循环次数；步骤6、对3DLARK特征和邻域高斯结构特征的模板与待测视频进行局部匹配，并记录向量位置信息；步骤7、对向量位置信息进行统计，具体是确定统计窗口内不重复的索引值个数，分别...

【专利技术属性】
技术研发人员：柏连发，张毅，韩静，崔议尹，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32