步态识别方法和装置制造方法及图纸

本公开提供了一种步态识别方法和装置。所述方法包括：获取待检测目标的步态序列；基于步态序列根据用于约束肢体的关键点的信息的关键帧模板筛选出初步关键帧序列，并基于初步关键帧序列生成初步剪影序列；判断初步关键帧序列是否存在缺失关键帧；如果存在缺失关键帧，则根据关键帧模板和初步关键帧序列对缺失关键帧进行重建以形成重建姿态图像，基于重建姿态图像生成重建剪影，并将初步剪影序列和重建剪影合并以生成相位集；如果不存在缺失关键帧，则将初步剪影序列作为相位集；以及基于相位集提取步态特征向量，并根据步态特征向量进行步态识别。行步态识别。行步态识别。

【技术实现步骤摘要】
步态识别方法和装置


[0001]本公开涉及步态识别领域，具体地，本公开提供了一种基于相位重建的缺失步态识别方法和使用该方法的装置。

技术介绍

[0002]随着多模态生物特征识别技术的快速发展，行人步态特征作为一种新的生物特征受到人们的广泛关注。在现有技术中，可以采用步态作为标识来区分不同的行人。步态特征主要用于表达人体行走过程中的姿态变化信息。较之指纹、人脸与虹膜等其它生理特征，步态具有难以伪装、容易采集与无需行人配合等优势。基于人体步态特征可以在远距离、低视频质量的环境下对行人身份进行准确的识别。
[0003]然而，现有技术中的步态识别方法需要输入一个完整的步态序列，才能进行步态特征提取和识别。在实际应用中，经常会遇到输入的数据质量不够理想，不能包含完整的步态序列的情况。例如：
①
相机视野问题导致不能拍摄到全身，只能取到一部分连续步态；
②
行走过程中遇到一次或多次遮挡，缺失中间部分帧，不能得到连续完整的步态；
③
由于传输过程中的网络问题，导致某些帧失真严重；
④
行走时有异常动作或转换方向，导致的无用帧过多。

技术实现思路

[0004]本公开提供了一种步态识别方法和使用该方法的装置，更具体地，提供了一种基于相位重建的缺失步态识别方法和使用该方法的装置。
[0005]本公开的一方面提供了一种步态识别方法，所述方法包括：获取待检测目标的步态序列；基于步态序列根据用于约束肢体的关键点的信息的关键帧模板筛选出初步关键帧序列，并基于初步关键帧序列生成初步剪影序列；判断初步关键帧序列是否存在缺失关键帧；如果存在缺失关键帧，则根据所述关键帧模板对所述缺失关键帧进行重建以形成重建姿态图像，基于重建姿态图像生成重建剪影，并将初步剪影序列和重建剪影合并以生成相位集；如果不存在缺失关键帧，则将初步剪影序列作为相位集；以及基于相位集提取步态特征向量，并根据步态特征向量进行步态识别。
[0006]在示例实施例中，所述关键帧模板可以包括：局部约束条件，用于约束由共用关键点的骨骼形成的角度的范围；空间约束条件，用于约束不共用关键点的骨骼的空间关系的范围；时序约束条件，基于局部约束条件和空间约束条件根据关键帧的时序关系构建的同一关键点的时序关系矩阵。
[0007]在示例实施例中，如果存在缺失关键帧，则根据关键帧模板和初步关键帧序列对缺失关键帧进行重建以形成重建姿态图像，基于重建姿态图像生成重建剪影的步骤可以包括：基于卷积神经网络搭建端对端的姿态重建网络，并将关键帧模板和初步关键帧序列作为输入，基于姿态重建网络对缺失关键帧进行重建以形成重建姿态图像；基于生成对抗网络，根据重建姿态图像和初步剪影序列通过映射函数生成重建剪影。
[0008]在示例实施例中，关键帧模板包括与一个步态周期中的关键帧对应的模板组，其中，步态周期由四个步态相位构成，每个步态相位的关键帧模板数量彼此相同。
[0009]在示例实施例中，所述相位集中的所述初步剪影序列和重建剪影与位于同一步态相位中的关键帧模板一一对应。
[0010]本公开的另一方面公开了一种步态识别装置，所述装置包括：图像获取单元，被配置为获取待检测目标的步态序列；初步剪影生成单元，被配置为基于步态序列根据用于约束肢体的关键点的信息的关键帧模板筛选出初步关键帧序列，并基于初步关键帧序列生成初步剪影序列；缺失关键帧重建单元，被配置为判断初步关键帧序列是否存在缺失关键帧，如果存在缺失关键帧则根据关键帧模板对缺失关键帧进行重建以形成重建姿态图像，并基于重建姿态图像生成重建剪影；相位集生成单元，被配置为在不存在缺失关键帧时，将初步剪影序列作为相位集，或者，在存在缺失关键帧时，将初步剪影序列和重建剪影合并以生成相位集；以及识别单元，被配置为基于相位集提取步态特征向量，并根据步态特征向量进行步态识别。
[0011]在示例实施例中，所述缺失关键帧重建单元被配置为执行以下步骤：基于卷积神经网络搭建端对端的姿态重建网络，并根据关键帧模板对缺失关键帧进行重建以形成重建姿态图像；基于生成对抗网络，根据重建姿态图像和初步剪影序列通过映射函数生成重建剪影。
[0012]本公开的另一方面提供了一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序在被处理器执行时实现如上所述的步态识别方法。
[0013]本公开的另一方面提供了一种计算机设备，其特征在于，所述计算机设备包括：处理器；存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的步态识别方法。
[0014]根据本公开的一个或多个方面，本公开提出了一种步态识别方法和装置。通过对任意摄像设备(例如，单目摄像头)拍摄的包含步态信息的视频作为输入，对输入的缺失部分关键帧的步态序列进行重建，因根据本公开的步态识别方法将步态周期分解为四个相位，通过提取关键帧，构建步态相位集，输入相位步态特征提取网络，提取特征向量，进行步态识别。进一步地，可以仅通过将单个相位的步态相位集作为输入进行步态识别，在这种情况下，即使在缺失帧过多的情况下，仍能实现对缺失步态进行有效地识别。
附图说明
[0015]通过以下结合附图的详细描述，本公开的以上和其它方面、特征和优点将被更清楚地理解，在附图中：
[0016]图1是示出实施根据本公开的实施例的步态识别方法的场景图；
[0017]图2是示出根据本公开的实施例的步态识别方法的流程图；
[0018]图3是示出根据本公开的实施例的步态相位的示意图；
[0019]图4是示出根据本公开的实施例的关键帧模板的示意图；
[0020]图5是示出根据本公开的实施例的对缺失关键帧进行重建的示例；
[0021]图6是示出根据本公开的实施例的步态识别装置的框图；以及
[0022]图7是示出根据本公开的实施例的电子设备的框图。
具体实施方式
[0023]提供以下具体实施方式以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，对于本领域普通技术人员在此描述的方法、设备和/或系统的各种改变、变型和等同物将是显而易见的。例如，在此描述的操作的顺序仅仅是示例，并且不限于在此阐述的顺序，而是除了必须以特定顺序执行的操作之外，可做出对于本领域普通技术人员将显而易见的改变。此外，为了提高清楚性和简洁性，可省略对于本领域普通技术人员将公知的特征和结构的描述。在此描述的特征可以以不同的形式实施，并且将不被解释为局限于在此描述的示例。更确切地说，已经提供在此描述的示例使得本公开将是彻底的和完整的，并且将向本领域普通技术人员充分地传达本公开的范围。
[0024]下面参照附图详细描述本公开的实施例。所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本公开。
[0025]图1是示出实施根据本公开的实施例的步态识别方法的使用场景的示意图。
[0026]步态识别技术是目前具有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种步态识别方法，其特征在于，所述方法包括：获取待检测目标的步态序列；基于所述步态序列根据用于约束肢体的关键点的信息的关键帧模板筛选出初步关键帧序列，并基于所述初步关键帧序列生成初步剪影序列；判断所述初步关键帧序列是否存在缺失关键帧；如果存在所述缺失关键帧，则根据所述关键帧模板和所述初步关键帧序列对所述缺失关键帧进行重建以形成重建姿态图像，基于所述重建姿态图像生成重建剪影，并将所述初步剪影序列和所述重建剪影合并以生成相位集；如果不存在所述缺失关键帧，则将所述初步剪影序列作为相位集；以及基于所述相位集提取步态特征向量，并根据所述步态特征向量进行步态识别。2.根据权利要求1所述的方法，其特征在于，所述关键帧模板包括：局部约束条件，用于约束由共用关键点的骨骼形成的角度的范围；空间约束条件，用于约束不共用关键点的骨骼的空间关系的范围；以及时序约束条件，基于所述局部约束条件和所述空间约束条件根据关键帧的时序关系构建的同一关键点的时序关系矩阵。3.根据权利要求1或2所述的方法，其特征在于，所述如果存在所述缺失关键帧，则根据所述关键帧模板和所述初步关键帧序列对所述缺失关键帧进行重建以形成重建姿态图像，基于所述重建姿态图像生成重建剪影，包括：基于卷积神经网络搭建端对端的姿态重建网络，并将所述关键帧模板和所述初步关键帧序列作为输入，基于所述姿态重建网络对所述缺失关键帧进行重建以形成重建姿态图像；基于生成对抗网络，根据所述重建姿态图像和所述初步剪影序列通过映射函数生成重建剪影。4.根据权利要求1所述的方法，其特征在于，关键帧模板包括与一个步态周期中的关键帧对应的模板组，其中，步态周期由四个步态相位构成，每个步态相位的关键帧模板数量彼此相同。5.根据权利要求4所述的方法，其特征在于，所述相位集中的所述初步剪影序列和所述重建剪影与同一步态相位的关键帧模板一一对应。6.一种步态识别装置，其特...

【专利技术属性】
技术研发人员：宋宏伟，李永春，童心，岳志强，魏宏超，周丹，蒲岩，
申请(专利权)人：沈阳康慧类脑智能协同创新中心有限公司，
类型：发明
国别省市：