一种遮挡步态的重建方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及一种遮挡步态的重建方法、装置、电子设备及存储介质。本发明专利技术所述的遮挡步态的重建方法包括：获取待重建的遮挡步态序列；将所述遮挡步态序列输入训练好的生成对抗网络的生成器中，得到修复的步态序列；其中，生成对抗网络的训练方法包括以下步骤：从无遮挡步态数据集中选取部分样本作为原样本集，并将原样本集中的样本添加遮挡特征，作为训练集；将所述训练集的样本放入生成器中，得到修复样本集；将修复样本集与原样本集放入鉴别器中，使用损失函数计算所述修复样本集与所述原样本集的差距；对抗训练所述生成器和所述鉴别器，直至损失函数收敛，保存训练好的生成对抗网络。本发明专利技术所述的遮挡步态的重建方法，重建的人体结构性更加完整。的人体结构性更加完整。的人体结构性更加完整。

【技术实现步骤摘要】
一种遮挡步态的重建方法、装置、电子设备及存储介质


[0001]本专利技术涉及步态识别
，特别是涉及一种遮挡步态的重建方法、装置、电子设备及存储介质。

技术介绍

[0002]步态是指一个人的行走模式，与一个人的肌肉记忆、骨骼结构和由小脑中的神经中枢控制的影响有关，作为一个可以远距离识别的生物特征，步态识别在公安刑侦、危险预警等领域具有重要的应用价值。
[0003]然而，步态识别方法会受到多种协变量因素的影响，例如大衣、背包、拍摄角度、遮挡等，这些协变量因素的存在改变了步态的外观形状，导致步态识别准确率下降。该现象给步态识别在现实中的应用带来很大阻力，例如在火车站、超市、学校及马路上，人的步态经常会被其他行人或者物体遮挡，因此如何解决这一难题成为一个具有挑战性的问题。

技术实现思路

[0004]基于此，本专利技术的目的在于，提供一种遮挡步态的重建方法、装置、电子设备及存储介质，使用基于身体部位的输入和骨架信息计算损失函数，指导生成网络更加关注局部的重建信息，重建的人体结构性更加完整。
[0005]第一方面，本专利技术提供一种遮挡步态的重建方法，包括以下步骤：
[0006]获取待重建的遮挡步态序列；
[0007]将所述遮挡步态序列输入训练好的生成对抗网络的生成器中，得到修复的步态序列；
[0008]其中，所述生成对抗网络的训练方法包括以下步骤：
[0009]从无遮挡步态数据集中选取部分样本作为原样本集，并将原样本集中的样本添加遮挡特征，作为训练集；/>[0010]将所述训练集的样本放入生成器中，得到修复的步态序列，即修复样本集；
[0011]将所述修复样本集与所述原样本集放入鉴别器中，使用损失函数计算所述修复样本集与所述原样本集的差距；所述损失函数基于身体部位的输入和骨架信息计算；
[0012]对抗训练所述生成器和所述鉴别器，直至损失函数收敛，保存训练好的生成对抗网络。
[0013]进一步地，所述鉴别器的损失函数包括身体部位损失函数、骨架信息损失函数和三元组损失函数；
[0014]所述身体部位损失函数基于所述修复样本集中修复样本S
I
与所述原样本集中的真样本S
GT
的身体块的距离计算得到；
[0015]所述骨架信息损失函数基于所述修复样本集中修复样本S
I
与所述原样本集中的真样本S
GT
的骨架图距离计算得到；
[0016]所述三元组损失函数基于所述修复样本集中修复样本S
I
与基于所述原样本集中
的真样本S
GT
构建得到的正样本S
pos
和负样本S
neg
计算得到。
[0017]进一步地，所述三元组损失函数为：
[0018][0019]其中，L
‑
triplet为三元组损失函数，margin为超参数，D(S
I
)、D(S
pos
)和D(S
neg
)分别为将修复样本S
I
、正样本S
pos
和负样本S
neg
输入到鉴别器中得到的输出结果。
[0020]进一步地，所述身体部位损失函数的计算步骤为：
[0021]将所述修复样本S
I
的人体轮廓图按身体部位的头、身体左侧、身体右侧、左腿、右腿5个部分划分子图；
[0022]将所述真样本S
GT
的人体轮廓图按身体部位的头、身体左侧、身体右侧、左腿、右腿5个部分划分子图；
[0023]使用以下公式，分别计算所述修复样本S
I
的每个子图与所述真样本S
GT
的每个对应子图的距离：
[0024][0025][0026][0027][0028][0029]其中，i为当前的训练样本，n为训练时所用数据集的数量。
[0030]使用以下公式，计算所述身体部位损失函数L
‑
patch：
[0031]L
‑
patch＝L
‑
head+L
‑
leftbody+L
‑
rightbody+L
‑
leftleg+L
‑
rightleg。
[0032]进一步地，所述骨架信息损失函数的计算步骤为：
[0033]对所述修复样本S
I
和所述真样本S
GT
分别进行骨架提取生成骨架图像；
[0034]使用以下公式，计算所述骨架信息损失函数L
‑
skeleton：
[0035][0036]其中，L
‑
skeleton为骨架信息损失函数，i为当前的训练样本，n为训练时所用数据集的数量。
[0037]进一步地，所述生成器网络中使用残差连接，将第一层网络输出与倒数第二层网络的输出相加，作为最后一层卷积层的输入，将第三层网络输入与倒数第四层网络的输出相加，作为倒数第三层的输入。
[0038]进一步地，所述生成器中引入了空洞卷积；
[0039]空洞卷积引入了一个扩张率的超参数，该参数定义了卷积核处理数据时各值的间距：
[0040]一个普通的3*3的二维卷积核一次能采样3*3的特征图；一个扩张率为2的3*3的二维空洞卷积能够一次采样5*5的特征图。
[0041]第二方面，本专利技术还提供一种遮挡步态的重建装置，包括：
[0042]步态序列获取模块，用于获取待重建的遮挡步态序列；
[0043]步态序列修复模块，用于将所述遮挡步态序列输入训练好的生成对抗网络的生成器中，得到修复的步态序列；
[0044]所述生成对抗网络的训练方法包括以下步骤：
[0045]从无遮挡步态数据集中选取部分样本作为原样本集，并将原样本集中的样本添加遮挡特征，作为训练集；
[0046]将所述训练集的样本放入生成器中，得到修复的步态序列，即修复样本集；
[0047]将所述修复样本集与所述原样本集放入鉴别器中，使用损失函数计算所述修复样本集与所述原样本集的差距；所述损失函数基于身体部位的输入和骨架信息计算；
[0048]对抗训练所述生成器和所述鉴别器，直至损失函数收敛，保存训练好的生成对抗网络。
[0049]第三方面，本专利技术还提供一种电子设备，包括：
[0050]至少一个存储器以及至少一个处理器；
[0051]所述存储器，用于存储一个或多个程序；
[0052]当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如本专利技术第一方面任一所述的一种遮挡步态的重建方法的步骤。
[0053]第四方面，本专利技术还提供一种计算机可读存储介质，
[0054]所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种遮挡步态的重建方法，其特征在于，包括以下步骤：获取待重建的遮挡步态序列；将所述遮挡步态序列输入训练好的生成对抗网络的生成器中，得到修复的步态序列；其中，所述生成对抗网络的训练方法包括以下步骤：从无遮挡步态数据集中选取部分样本作为原样本集，并将原样本集中的样本添加遮挡特征，作为训练集；将所述训练集的样本放入生成器中，得到修复的步态序列，即修复样本集；将所述修复样本集与所述原样本集放入鉴别器中，使用损失函数计算所述修复样本集与所述原样本集的差距；所述损失函数基于身体部位的输入和骨架信息计算；对抗训练所述生成器和所述鉴别器，直至损失函数收敛，保存训练好的生成对抗网络。2.根据权利要求1所述的一种遮挡步态的重建方法，其特征在于：所述鉴别器的损失函数包括身体部位损失函数、骨架信息损失函数和三元组损失函数；所述身体部位损失函数基于所述修复样本集中修复样本S
I
与所述原样本集中的真样本S
GT
的身体块的距离计算得到；所述骨架信息损失函数基于所述修复样本集中修复样本S
I
与所述原样本集中的真样本S
GT
的骨架图距离计算得到；所述三元组损失函数基于所述修复样本集中修复样本S
I
与基于所述原样本集中的真样本S
GT
构建得到的正样本S
pos
和负样本S
neg
计算得到。3.根据权利要求2所述的一种遮挡步态的重建方法，其特征在于，所述三元组损失函数为：其中，L
‑
triplet为三元组损失函数，margin为超参数，D(S
I
)、D(S
pos
)和D(S
neg
)分别为将修复样本S
I
、正样本S
pos
和负样本S
neg
输入到鉴别器中得到的输出结果。4.根据权利要求2所述的一种遮挡步态的重建方法，其特征在于，所述身体部位损失函数的计算步骤为：将所述修复样本S
I
的人体轮廓图按身体部位的头、身体左侧、身体右侧、左腿、右腿5个部分划分子图；将所述真样本S
GT
的人体轮廓图按身体部位的头、身体左侧、身体右侧、左腿、右腿5个部分划分子图；使用以下公式，分别计算所述修复样本S
I
的每个子图与所述真样本S
GT
的每个对应子图的距离：
其中，i为当前的训练样本，n为训练时所用数据集的数量。使用以下公式，计算所述身体部位损失函数L

【专利技术属性】
技术研发人员：周成菊，刘平治，王瑜琦，王书喜，曾家煜，
申请(专利权)人：华南师范大学，
类型：发明
国别省市：