一种基于模态融合的步态识别方法技术

本发明专利技术提供一种基于模态融合的步态识别方法，属于模式识别技术领域，为解决现有步态识别技术受光照条件以及复杂背景或协变量影响较大，导致轮廓图提取不准确，从而影响识别精度以及由于缺少人体基本属性信息而使其特征表达能力受到限制，同时由于关键点序列是非结构化数据，难以用深度网络进行建模，多采用凭经验人工设计特征的方法，无法最大化挖掘有效的判别特征，影响识别准确率及泛化能力的问题。本发明专利技术采用模态融合方式，将具有互补性的人体关键点特征和步态轮廓图特征进行模态融合。人体关键点序列输入图卷积神经网络，提取基于骨架信息的步态特征，步态轮廓图序列输入卷积神经网络，提取基于轮廓信息的步态特征，提升了步态识别的准确率。

【技术实现步骤摘要】
一种基于模态融合的步态识别方法
本专利技术涉及模式识别
，具体而言，尤其涉及一种基于模态融合的步态识别方法。
技术介绍
步态识别是计算机视觉和模式识别领域内一个非常新的研究方向，是一种新的生物特征识别技术，旨在根据人们的走路姿势实现对个人身份的识别或生理、病理及心理特征的检测，步态识别作为一种生物识别技术，具有其他生物认证技术所不具有的独特优势，即在远距离或低视频质量情况下的识别潜力大，且步态难以隐藏或伪装等，但是要设计并实现一个实用性强的步态识别系统是非常复杂且困难的。由于人的行走姿势受各种因素的影响，在不同环境条件下行走姿势有或多或少的变化，因此步态识别的计算较复杂，识别的准确度还不够高，如何更准确的识别步态特征是步态识别领域面临的难题。步态序列图像是一个复杂、具有非常高维数的视觉模式，图像获取过程中的不确定性，使得步态识别过程受到各种外界因素的干扰。如何消除复杂背景以及各种协变量的影响，准确提取运动人体的目标特征成为步态特征提取以及后续处理的关键。现有步态识别技术仍然存在以下不足：1、通过步态轮廓图或步态能量图进行步态识别，受光照条件、复杂背景以及协变量影响较大，往往导致轮廓图提取不准确，从而影响识别精度。2、通过骨架信息进行步态识别，从步态视频序列中获取人体关键点序列，但是这种表达方式由于缺少了人体基本属性信息(如体型)而使其特征表达能力受到限制；另外由于关键点序列是非结构化数据，难以用深度网络进行建模，故现有技术多采用凭经验人工设计特征的方法，因此无法最大化挖掘有效的判别特征，极大地影响了其识别准确率及泛化能力。
技术实现思路
根据上述提出的技术问题，而提供一种基于模态融合的步态识别方法。本专利技术采用模态融合方式，将具有互补性的人体关键点特征和步态轮廓图特征进行模态融合。人体关键点序列输入图卷积神经网络，提取基于骨架信息的步态特征，步态轮廓图序列输入卷积神经网络，提取基于轮廓信息的步态特征，提升了步态识别的准确率。本专利技术采用的技术手段如下：一种基于模态融合的步态识别方法，包括如下步骤：S1、采集步态视频序列；S2、采用OpenPose对上述步态视频序列进行姿态估计，得到步态关键点序列；S3、构建时空骨架序列；将得到的步态关键点序列在空间上进行人体自然连接；同时根据人体走路步态的对称性特点，将对称点进行连接；在时间上，将帧与帧之间相同的关键点进行连接；S4、将时空骨架序列输入多尺度时空图卷积网络进行训练，提取基于骨架信息的步态特征，分别计算待识别样本和图库中样本之间的余弦相似度S，S越大则样本相似度越高；S5、采用前景提取技术，对上述采集的步态视频序列进行前景分割获得步态轮廓图序列；S6、将步骤S5中获得的步态轮廓图进行预处理，即对获得的步态轮廓图进行剪裁并对齐，剪裁到大小为64x64；S7、将预处理后的步态轮廓图输入到卷积神经网络中进行训练，提取基于轮廓信息的步态特征，分别计算待识别样本和图库中样本之间的欧几里得距离D，D越小则越相似；S8、将所述提取的基于骨架信息的步态特征和提取的基于轮廓信息的步态特征进行融合；S9、根据融合后的距离对样本库中样本进行排序，计算rank-1识别准确率。进一步地，所述步骤S4具体为：S41、选择样本后，从ID与所选择的样本相同的所有样本中随机选取一个样本作为正样本，从ID与所选择的样本不同的所有样本中随机选取一个样本作为负样本；S42、采用孪生机制，在一次迭代中，将所述选择的样本输入支路1，将正样本和负样本依次输入支路2，支路1和支路2共享参数；S43、采用SoftMax和交叉熵损失函数对支路1中所述选择的样本特征进行分类；S44、采用对比损失函数对比所述选择的样本与正样本的特征，以及所述选择的样本与负样本的特征；若样本来自于同一个ID，则标签为1，否则标签为0；S45、反向传播，更新网络，完成多尺度时空图卷积网络的训练；S46、输入待测试的步态关键点序列；S47、利用训练好的多尺度时空图卷积网络提取步态特征，并对该特征进行二范数归一化；S48、对样本库中的样本进行步骤S46和步骤S47的操作，则可用特征向量来代表待检索行人步态序列和检索库中行人步态序列；S49、计算待检索行人步态序列与检索库中行人步态序列之间的距离，即针对一个待检索行人步态序列，计算其特征与检索库中所有行人步态序列之间的余弦相似度S，并将该余弦相似度进行保存。进一步地，所述步骤S7具体为：S71、选择样本后，从ID与所选择的样本相同的所有样本中随机选取一个样本作为正样本，从ID与所选择的样本不同的所有样本中随机选取一个样本作为负样本；S72、将样本输入卷积神经网络，学习步态特征，采用三元组损失函数，将该样本特征分别与正负样本特征进行对比，减小类内距离，增大类间距离；S73、反向传播，更新网络，完成卷积神经网络的训练；S74、输入多张待检测样本的步态轮廓图；S75、利用训练好的卷积神经网络提取步态特征；S76、对样本库中的样本进行步骤S74和步骤S75的操作，则可用特征向量来代表待检索行人步态序列和检索库中行人步态序列；S77、计算待检索行人步态特征与检索库中行人步态特征之间的距离，即针对一个待检索行人步态特征，计算其特征与检索库中所有行人步态特征之间的欧几里得距离D，并将该距离进行保存。进一步地，所述步骤S8具体为：S81、分别读取所述步骤S39中保存的余弦相似度S和所述步骤S77保存的欧几里得距离D；S82、因为余弦相似度越大则表示样本间相似度越大，而欧几里得距离越小则表示样本越相似，因此融合公式为：DS＝D–λS，根据实验得出λ＝10，DS即为融合后距离；S83、按照融合后距离DS由小到大的顺序将检索库中样本进行排序，越靠前则表示与待检索行人ID一致。较现有技术相比，本专利技术具有以下优点：1、本专利技术提供的步态识别方法，针对协变量、光照以及复杂背景的影响，采用关键点序列来表征步态的方式，解决了轮廓图或者能量图表示的步态特征在协变量等条件下鲁棒性较低问题，提升了识别准确率。2、本专利技术提供的步态识别方法，针对使用骨架信息导致的人体属性缺失问题，以及在携带物条件下，特定的人体关键点比如手是固定在某一位置的，导致信息冗余，因此使用轮廓图来表示步态特征，提升识别准确率3、本专利技术提供的步态识别方法，将具有互补性的人体关键点特征和步态轮廓图特征进行模态融合，既解决了协变量等影响下鲁棒性较低问题，又丰富了特征的表示形式，增加人体属性信息，有效地提升了识别准确率。基于上述理由本专利技术可在模式识别等领域广泛推广。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人本文档来自技高网...

【技术保护点】
1.一种基于模态融合的步态识别方法，其特征在于，包括如下步骤：/nS1、采集步态视频序列；/nS2、采用OpenPose对上述步态视频序列进行姿态估计，得到步态关键点序列；/nS3、构建时空骨架序列；将得到的步态关键点序列在空间上进行人体自然连接；同时根据人体走路步态的对称性特点，将对称点进行连接；在时间上，将帧与帧之间相同的关键点进行连接；/nS4、将时空骨架序列输入多尺度时空图卷积网络进行训练，提取基于骨架信息的步态特征，分别计算待识别样本和图库中样本之间的余弦相似度S，S越大则样本相似度越高；/nS5、采用前景提取技术，对上述采集的步态视频序列进行前景分割获得步态轮廓图序列；/nS6、将步骤S5中获得的步态轮廓图进行预处理，即对获得的步态轮廓图进行剪裁并对齐，剪裁到大小为64x 64；/nS7、将预处理后的步态轮廓图输入到卷积神经网络中进行训练，提取基于轮廓信息的步态特征，分别计算待识别样本和图库中样本之间的欧几里得距离D，D越小则越相似；/nS8、将所述提取的基于骨架信息的步态特征和提取的基于轮廓信息的步态特征进行融合；/nS9、根据融合后的距离对样本库中样本进行排序，计算rank-1识别准确率。/n...

【技术特征摘要】
1.一种基于模态融合的步态识别方法，其特征在于，包括如下步骤：
S1、采集步态视频序列；
S2、采用OpenPose对上述步态视频序列进行姿态估计，得到步态关键点序列；
S3、构建时空骨架序列；将得到的步态关键点序列在空间上进行人体自然连接；同时根据人体走路步态的对称性特点，将对称点进行连接；在时间上，将帧与帧之间相同的关键点进行连接；
S4、将时空骨架序列输入多尺度时空图卷积网络进行训练，提取基于骨架信息的步态特征，分别计算待识别样本和图库中样本之间的余弦相似度S，S越大则样本相似度越高；
S5、采用前景提取技术，对上述采集的步态视频序列进行前景分割获得步态轮廓图序列；
S6、将步骤S5中获得的步态轮廓图进行预处理，即对获得的步态轮廓图进行剪裁并对齐，剪裁到大小为64x64；
S7、将预处理后的步态轮廓图输入到卷积神经网络中进行训练，提取基于轮廓信息的步态特征，分别计算待识别样本和图库中样本之间的欧几里得距离D，D越小则越相似；
S8、将所述提取的基于骨架信息的步态特征和提取的基于轮廓信息的步态特征进行融合；
S9、根据融合后的距离对样本库中样本进行排序，计算rank-1识别准确率。


2.根据权利要求1所述的基于模态融合的步态识别方法，其特征在于，所述步骤S4具体为：
S41、选择样本后，从ID与所选择的样本相同的所有样本中随机选取一个样本作为正样本，从ID与所选择的样本不同的所有样本中随机选取一个样本作为负样本；
S42、采用孪生机制，在一次迭代中，将所述选择的样本输入支路1，将正样本和负样本依次输入支路2，支路1和支路2共享参数；
S43、采用SoftMax和交叉熵损失函数对支路1中所述选择的样本特征进行分类；
S44、采用对比损失函数对比所述选择的样本与正样本的特征，以及所述选择的样本与负样本的特征；若样本来自于同一个ID，则标签为1，否则标签为0；
S45、反向传播，更新网络，完成多尺度时空图卷积网络的训练；
S46、输入待测...

【专利技术属性】
技术研发人员：刘晓凯，尤昭阳，毕胜，刘祥，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：辽宁;21