一种基于遮挡修复和局部相似性匹配的三维步态识别方法技术

本发明专利技术公开了一种基于遮挡修复和局部相似性匹配的三维步态识别方法，利用单个深度摄像机采集的步态深度图像进行运动人体检测，深度数据滤波修复，点云数据提取、精减和三维人体表面建模。对一个周期内所有三维表面步态模型运用局部相似性匹配方法进行各视角局部公共步态特征提取和融合；运用基于先验知识和奇异值分解的遮挡变换修复模型，完成步态遮挡区域数据的修复，从而分类完成有遮挡条件下的多视角的三维步态分类识别。本发明专利技术解决了当前的步态识别方法无法很好地解决单个摄像机下步态表面模型点云精减重建和遮挡条件下多视角步态识别的问题；为遮挡条件下视角可变步态识别提供了一种新的手段，具有很好的经济和社会效益。

【技术实现步骤摘要】
一种基于遮挡修复和局部相似性匹配的三维步态识别方法
本专利技术涉及生物特征识别领域，基于遮挡修复和局部相似性匹配的三维步态识别方法。
技术介绍
当前步态识别过程中步态图像的采集主要依靠普通摄像头，得到的为二维步态图像，对二维步态图像进行周期检测和特征提取后，可进行特定视角的步态识别。另一种方法采用多个摄像机或立体摄像机进行步态图像数据采集和三维重建，提取三维空间下的步态特征进行步态识别。二维视频获取和处理相对简单，但采用二维图像进行步态识别时，如果出现遮挡或视角大幅变化时，其识别率会大幅下降，严重影响其在反恐、安保方面的实用性。而采用多个摄像机或立体摄像机进行三维重建的方法，存在计算复杂，设备成本高等问题，导致其实用性不强，往往局限于实验室环境下。而且一般三维步态识别方法无法解决有遮挡时的步态识别问题，这使得步态识别的研究与实际应用受到很大限制。
技术实现思路
本专利技术所要解决的技术问题是，针对现有技术不足，提供一种基于遮挡修复和局部相似性匹配的三维步态识别方法，解决当前的步态识别方法无法很好地解决遮挡条件下多视角步态识别的问题。为解决上述技术问题，本专利技术所采用的技术方案是：一种基于遮挡修复和局部相似性匹配的三维步态识别方法，包括以下步骤：A、对单个深度摄像机采集到的深度图像进行背景剔除和小波的软阀值滤波，得到滤波修复后的步态深度图像；B、利用滤波修复后的步态深度图像进行三维步态点云数据提取，并通过基于高斯和平均曲率熵值的点云精减方法完成三维表面特征建模，得到三维步态表面模型；C、对三维步态表面模型，运用局部相似性匹配方法进行各视角公共步态特征数据提取，将各视角步态周期内所有公共步态特征分别进行数据融合，生成三维局部融合步态模型，利用各视角三维局部融合步态模型得到多视角三维局部融合步态特征库；D、对各视角三维局部融合步态模型按解剖学原理进行分块，按视角提取待训练三维局部融合步态模型中各分块轮廓线，并运用Fourier描述子分别完成特征提取和聚类，以此为基础实现遮挡识别时的步态遮挡区域检测和定位；E、运用遮挡变换修复模型，完成步态遮挡区域数据的修复，得到遮挡修复后的三维局部融合步态模型；F、对遮挡修复后的三维局部融合步态模型，分类完成有遮挡条件下的视角可变三维步态识别。所述步骤A中，滤波修复后的步态深度图像获取过程如下：1)使用Kinect深度摄像机获取场景的深度图像，建立深度图像的背景模型，利用深度图像帧间差异法和背景剪除法获得人体步态深度图像；或者，直接利用Kinect深度摄像机获取的深度图像，对深度图像做人体边缘检测算法，再运用人体模板匹配方法，将人体步态数据从深度图像中抠出，实现与背景无关的人体步态数据提取，得到人体步态深度图像；2)令上述人体步态深度图像像素点数为N＝2J，对人体步态深度图像进行分辨率为L的小波变换，得到各分辨率下的小波系数Wj,i；其中，0≤L<J，j＝L,L+1,...,J-1，i＝1,...,2j；3)对小波系数进行软阀值去噪处理，得到软阀值去噪处理后的系数其中，σ为人体步态深度图像噪声的标准差；4)进行小波逆变换：对阀值去噪处理后的小波系数做小波逆变换，得到滤波后的步态深度图像。所述步骤B中，三维步态表面模型获取过程如下：1)计算滤波修复后的步态深度图像所有点像素所对应的空间三维坐标，得到三维步态点云数据；2)利用包围盒法对三维步态点云数据进行分割，得到任一点云P和它的L个近邻点；3)计算点云P的高斯曲率和平均曲率，并将点云P的高斯曲率和平均曲率都归一化至[02T]：{kP,hP}；其中，k为高斯曲率，h为平均曲率；4)定义二元特征组概率Pkh：Pkh＝f(k,h)/N，f(k,h)表示高斯曲率为k，平均曲率为h的二元特征组出现的频数，N为点云总数；利用高斯曲率和平均曲率二元特征组概率Pkh计算所有点云的二维曲率平均熵值H：5)令信息熵阀值ig＝εH，每个点云的信息熵iq为：当iq<ig时，删除iq；否则，保留iq；得到点云精减后的模型；其中，q＝1,2,...，N，为点云q的高斯曲率和平均曲率二元特征组概率；6)找到点云精减后人体步态模型的头顶和脚底，在头顶和脚底之间插入n个等分平面，将每两个相邻的平面之间所有点云的高度Y值统一；找到点云精减后人体步态模型的最左侧和最右侧，在最左侧和最右侧之间插入m个等分平面，将每两个相邻的平面之间所有点云的横坐标X值统一，完成切面轮廓点云数据重新排列和采样，得到离散化后的三维步态点云数据zr；zr＝f(x,y)；其中，1≤x≤m,1≤y≤n；7)三维步态表面模型为：P＝{(x,y,zr),1≤x≤m,1≤y≤n,zr＝f(x,y),r＝1...N(x,y)}；N(x,y)为具有相同离散(x,y)坐标的点云数。所述步骤C中，各视角三维局部融合步态模型提取过程如下：1)对β视角下三维步态表面模型Pβ进行旋转变换，由β视角旋转至θ视角，得到θ视角的点云表面模型Pθ为：Pθ＝Pβ×Rβ→θ；其中，Rβ→θ为三维空间β视角旋转至θ视角的旋转变换矩阵；2)利用分层迭代选权滤波方法去除θ视角三维步态表面模型Pβ自遮挡数据，从而保留公共面数据，完成局部视角相似性特征提取；3)通过三维旋转和迭代选权滤波，得到训练视角β与θ视角的公共步态特征模型为公共步态特征模型点云w三维坐标，W为迭代选权滤波后保留的点云总数；4)令一个步态周期有Q帧人体步态深度图像，对一个周期内所有步态深度图分别进行三维步态表面模型重建，并重复上述步骤1)～步骤4)，提取训练视角β与θ视角步态周期内所有帧的Q个公共步态特征模型；其中，β-45°≤θ≤β+45°；5)提取上述训练视角β与θ的Q个公共步态特征模型的质心：6)选取步态周期内第一个公共步态特征模型为参考模型，计算训练视角β与θ的Q个公共步态特征模型与参考模型的平移变换矩阵：Ti,i＝1...Q；7)利用平移变换矩阵计算出质心对齐的各视角三维局部融合步态模型：所述步骤D中，遮挡识别时的步态遮挡区域检测和定位方法包括以下步骤：1)对θ视角下的三维局部融合步态模型，以X-Y平面为参考面进行离散化，离散投影到X-Y平面中，得到二维离散步态图像；2)对二维离散步态图按像素dx，dy步进由上到下，由左至右划分为S个小块，计算所有小块的点云平均密度Dmean；同时按小块为单位计算位于j块内所有点云数量Dj，通过将每个小块对应成一个像素点，点云数量Dj对应成像素点的灰度值，得到一幅二维步态图，图像大小为(1/dx,1/dy)；3)对二维步态图以像素为基本单位由上而下进行扫描，计算每个像素的相对点云密度Ej：Ej＝Dj/Dmean，j＝1...S，Dj表示第j个小块内所有点云数；4)将像素点对应的相对点云密度值归一化至[0255]，替换像素点原来的灰度值，最终得到θ视角下的步态点云密度能量图；通过对各角度步态点云密度能量图的提取，得到多视角局部融合步态模型库的二维步态特征，表示为点云密度能量图并将作为步态识别的全局特征；其中θ为步态视角，c为类别，c＝1,...,C，C为总分类数；5)将上述步态的全局特征由上而下按解剖学原理分成G块，并依次提取各分块的轮廓和轮廓质心，以△Φ为步进，顺时针方向提取各质心到相应轮廓边沿的距离向量本文档来自技高网...

【技术保护点】
一种基于遮挡修复和局部相似性匹配的三维步态识别方法，其特征在于，包括以下步骤：A、对单个深度摄像机采集到的深度图像进行背景剔除和小波的软阀值滤波，得到滤波修复后的步态深度图像；B、利用滤波修复后的步态深度图像进行三维步态点云数据提取，并通过基于高斯和平均曲率熵值的点云精减方法完成三维表面特征建模，得到三维步态表面模型；C、对三维步态表面模型，运用局部相似性匹配方法进行各视角公共步态特征数据提取，将各视角步态周期内所有公共步态特征分别进行数据融合，生成三维局部融合步态模型，利用各视角三维局部融合步态模型得到多视角三维局部融合步态特征库；D、对各视角三维局部融合步态模型按解剖学原理进行分块，按视角提取待训练三维局部融合步态模型中各分块轮廓线，并运用Fourier描述子分别完成特征提取和聚类，以此为基础实现遮挡识别时的步态遮挡区域检测和定位；E、运用遮挡变换修复模型，完成步态遮挡区域数据的修复，得到遮挡修复后的三维局部融合步态模型；F、对遮挡修复后的三维局部融合步态模型，分类完成有遮挡条件下的视角可变三维步态识别。

【技术特征摘要】
1.一种基于遮挡修复和局部相似性匹配的三维步态识别方法，其特征在于，包括以下步骤：A、对单个深度摄像机采集到的深度图像进行背景剔除和小波的软阀值滤波，得到滤波修复后的步态深度图像；B、利用滤波修复后的步态深度图像进行三维步态点云数据提取，并通过基于高斯和平均曲率熵值的点云精减方法完成三维表面特征建模，得到三维步态表面模型；C、对三维步态表面模型，运用局部相似性匹配方法进行各视角公共步态特征数据提取，将各视角步态周期内所有公共步态特征分别进行数据融合，生成三维局部融合步态模型，利用各视角三维局部融合步态模型得到多视角三维局部融合步态特征库；D、对各视角三维局部融合步态模型按解剖学原理进行分块，按视角提取待训练三维局部融合步态模型中各分块轮廓线，并运用Fourier描述子分别完成特征提取和聚类，以此为基础实现遮挡识别时的步态遮挡区域检测和定位；E、运用遮挡变换修复模型，完成步态遮挡区域数据的修复，得到遮挡修复后的三维局部融合步态模型；步态遮挡区域数据的修复过程如下：1)产生步态遮挡模型，以步态遮挡模型，作为待学习的先验知识，通过学习训练得到遮挡投影矩阵和与遮挡无关步态特征矩阵；首先，以视角进行分组，将人体步态点云密度能量图按解剖学原理，依据身体各部分比例关系，由上至下共分为N′块；令为人为去除第t块内所有点云密度数据后的步态点云密度能量图；然后，将θ视角下所有C个样本的C×N′种有数据缺失步态点云密度能量图和C个完整步态点云密度能量图作为训练样本，构造矩阵，并对该矩阵进行奇异值分解，求解得到步态遮挡无关特征向量的投影矩阵Pr和遮挡无关的步态特征ω；ω＝[ω0…ωC]；2)利用遮挡投影矩阵完成遮挡数据变换和修复：当已知第n′块数据为被遮挡模型，将第n′块数据转换为第m′块数据为被遮挡模型时有：其中为逆矩阵；取m′＝0时，投影得到的即为完整的未被遮挡模型；3)投影矩阵Pr即为要求的模型参数，利用投影矩阵，取m′＝0，利用完成遮挡步态的变换修复；4)当检测出未知步态序列X的人体步态点云密度能量图第n′块数据存在遮挡时，先屏蔽删除步态点云密度能量图第n′块内所有数据，得到去除第n′块内数据的步态点云密度能量图利用训练得到的投影矩阵Pr和公式计算得到修复后的未遮挡步态模型，再进行分类识别。F、对遮挡修复后的三维局部融合步态模型，分类完成有遮挡条件下的视角可变三维步态识别。2.根据权利要求1所述的基于遮挡修复和局部相似性匹配的三维步态识别方法，其特征在于，所述步骤A中，滤波修复后的步态深度图像获取过程如下：1)使用Kinect深度摄像机获取场景的深度图像，建立深度图像的背景模型，利用深度图像帧间差异法和背景剪除法获得人体步态深度图像；或者，直接利用Kinect深度摄像机获取的深度图像，对深度图像做人体边缘检测算法，再运用人体模板匹配方法，将人体步态数据从深度图像中抠出，实现与背景无关的人体步态数据提取，得到人体步态深度图像；2)令上述人体步态深度图像像素点数为N＝2J，对人体步态深度图像进行分辨率为L的小波变换，得到各分辨率下的小波系数Wj,i；其中，0≤L<J，j＝L,L+1,...,J-1，i＝1,...,2j；3)对小波系数进行软阀值去噪处理，得到软阀值去噪处理后的系数其中，σ为人体步态深度图像噪声的标准差；4)进行小波逆变换：对阀值去噪处理后的小波系数做小波逆变换，得到滤波后的步态深度图像。3.根据权利要求2所述的基于遮挡修复和局部相似性匹配的三维步态识别方法，其特征在于，所述步骤B中，三维步态表面模型获取过程如下：1)计算滤波修复后的步态深度图像所有点像素所对应的空间三维坐标，得到三维步态点云数据；2)利用包围盒法对三维步态点云数据进行分割，得到任一点云P和它的L个近邻点；3)计算点云P的高斯曲率和平均曲率，并将点云P的高斯曲率和平均曲率都归一化至[02T]：{kP,hP}；其中，k为高斯曲率，h为平均曲率；4)定义二元特征组概率Pkh：Pkh＝f(k,h)/N，f(k,h)表示高斯曲率为k，平均曲率为h的二元特征组出现的频数，N为点云总数；利用高斯曲率和平均曲率二元特征组概率Pkh计算所有点云的二维曲率平均熵值H：5)令信息熵阀值ig＝εH，每个点云的信息熵iq为：当iq<ig时，删除iq；否则，保留iq；得到点云精减后的模型；其中，q＝1,2,…,N，为点云q的高斯曲率和平均曲率二元特征组概率；6)找到点云精减后人体步态模型的头顶和脚底，在头顶和脚底之间插入n个等分平面，将每两个相邻的平面之间所有点云的高度Y值统一；找到点云精减后人体步态模型的最左侧和最右侧，在最左侧和最右侧之间插入m个等分平面，将每两个相邻的平面之间所有点云的横坐标X值统一，完成切面轮廓点云数据重新排列和采样，得到离散化后的三维步态点云数据zr；zr＝f(x,y)；其中，1≤x≤m,1≤y≤n；7)...

【专利技术属性】
技术研发人员：唐琎，罗坚，许天水，王富强，郝勇峰，毛芳，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南;43