基于度量学习和时空双流网络的跨视角步态识别方法技术

一种基于度量学习和时空双流网络的跨视角步态识别方法，其步骤为：生成训练集；构建外观运动双流子网络；构建特征映射子网络；将外观运动双流子网络与特征映射子网络串联组成深度学习网络；生成联合损失函数；跨视角步态识别。本发明专利技术构建由外观运动双流子网络和特征映射子网络组成的深度学习网络，生成由三元组损失函数和多分类交叉熵损失组成的联合损失函数，克服现有技术时空特征学习能力和对视角变化的鲁棒性不足的缺陷，具有保存时间信息和提高时空特征学习能力的优点，并且利于实际情况下部署使用和提升复杂条件下对噪声鲁棒性，提高了跨视角步态识别的准确率。提高了跨视角步态识别的准确率。提高了跨视角步态识别的准确率。

【技术实现步骤摘要】
基于度量学习和时空双流网络的跨视角步态识别方法


[0001]本专利技术属于计算机
，更进一步涉及计算机视觉识别
中的一种基于度量学习和时空双流网络的跨视角步态识别方法。本专利技术可用于从人体步态轮廓序列中提取丰富的时空运动信息以得到具有鲁棒性的跨视角步态特征，并根据所得到的跨视角步态特征进行步态识别完成人体身份鉴定。

技术介绍

[0002]步态识别技术是一种利用人的行走模式这一独特信息并从中提取人行走时的步态特征对人进行身份鉴定的生物识别技术。步态识别技术因其远距离识别、无需受试者配合和难隐蔽性等特点，在预防犯罪、司法鉴定和医疗健康等方面有着广泛的应用。在实际场景中，步态识别会受到诸如视角变化、穿衣条件和遮挡等复杂因素的影响，其中跨视角带来的视角变化是最常见的问题，会极大影响步态识别的准确率。
[0003]复旦大学在其拥有的专利技术“基于多任务生成对抗网络的跨视角步态识别方法”(申请号：CN201710373017.5授权公告号：CN107085716B)中公开了一种基于多任务生成对抗网络的跨视角步态识别方法。该方法的具体实现步骤为：对于原始的行人视频帧序列，首先对每帧图像进行预处理，并提取出周期能量图这一步态模版特征；然后通过神经网络将其编码为步态隐表示，并在隐空间中进行角度变换；再通过多任务生成对抗网络重构出其他视角的步态模版特征；最后使用步态隐表示进行识别。但是，该方法仍然存在不足之处是有两点，其一,由于该方法使用周期能量图作为步态模板，会丢失步态轮廓序列中的部分时间信息，无法得到精确的表示步态信息的时空运动特征。其二，该方法无法很好地解决复杂条件下的穿衣变化和遮挡问题和抵抗环境干扰因素的影响，导致在复杂条件下该方法的步态识别性能不高，难以满足实际场景下存在复杂条件的步态识别场景。
[0004]北京交通大学在其申请的专利文献“一种基于注意力机制的神经网络步态识别方法”(专利申请号：CN202010778327.7授权公告号：CN111967358B)公开了一种基于注意力机制的步态识别方法。该方法首先构建神经网络的训练集和测试集，通过迭代优化策略，利用样本及样本标签预训练步态特征提取模型，使得训练后的步态特征提取模型能从人体步态中提取出较好的特征；然后在前一阶段基础上在网络中嵌入时域注意力机制模块和空域注意力机制模块，重新训练网络；最后使用训练好的网络模型进行步态识别。但是，该方法仍然存在的不足之处是有两点，其一，该方法需要复杂的注意力计算过程，计算开销和占用显存比较大，不利于实际场景下的部署使用。其二，因为视角变化引起同类别样本之间差异增大导致识别难度增加，该方法在视角变化的鲁棒性不足和跨视角识别准确率不高，并且没有充分挖掘视频序列中的时间维度的步态运动信息，时空特征学习能力不足。

技术实现思路

[0005]本专利技术的目的在于针对上述现有技术的不足，提出一种基于度量学习和时空双流网络的跨视角步态识别方法，旨在解决采用步态模板方法丢失部分时间信息和现有方法时
空特征学习能力不足，以及计算开销大和复杂条件下鲁棒性不足导致跨视角步态识别准确率不高的问题。
[0006]实现本专利技术目的的思路是，本专利技术使用预处理后的步态轮廓序列作为输入，保存原始的时间信息，以此解决现有技术的采用步态模板方法丢失部分时间信息的问题。本专利技术将构建好的外观运动双流子网络和特征映射子网络组成深度学习网络，其中外观运动双流子网络提取外观和运动特征，并通过特征融合的方式捕获外观和运动特征之间的关系，以此解决现有技术时空特征学习能力不足的问题；特征映射子网络对输入特征进行精炼压缩，学习不同粒度的人体部分特征，且无需复杂的注意力计算过程，以此解决现有技术计算开销与占用显存大，以及对噪声的鲁棒性不足的问题。本专利技术在训练深度学习网络中采用度量学习思想，设计包含三元组损失函数和多分类交叉熵损失函数的联合损失函数，学习更加鲁棒性的特征，以此解决现有技术在视角变化下提取特征鲁棒性不足的问题。最终利用训练好的深度学习网络进行跨视角步态识别。
[0007]实现本专利技术目的的技术方案包括如下：
[0008]步骤1，生成训练集：
[0009]步骤1.1，选取至少74个受试者的8140个步态轮廓序列；
[0010]步骤1.2，对每个步态轮廓序列进行预处理，得到行人头部位于图像的上边缘且脚部位于图像的下边缘的对齐后的步态轮廓序列；将对齐后的步态轮廓序列缩放成相同的图像大小64
×
64；
[0011]步骤1.3，将所有的数据样本组成训练集；
[0012]步骤2，构建外观运动双流子网络：
[0013]步骤2.1，构建外观流特征模块，其结构依次为：头部、第一外观卷积块、第二外观卷积块、第三外观卷积块、第四外观卷积块。第一至第四外观卷积块的结构相同，每个外观卷积块均由骨干分支和一个跳连分支组成；
[0014]所述头部由卷积层和池化层串联组成；
[0015]所述外观卷积块的骨干分支由第一卷积层、第一LeakyReLU激活层、第二卷积层、第二LeakyReLU激活层、第三卷积层串联组成。所述外观卷积块的跳连分支采用一个第四卷积层，使得跳跃连接的输出特征的通道数和骨干分支保持一致。外观卷积块的骨干分支和跳连分支通过逐位置加法器相连后再与第三LeakyReLU激活层连接；
[0016]将头部中卷积层的卷积核大小设置为1
×3×
3，卷积核通道数设置为1，卷积核数量设置为32。将头部中池化层设置为最大池化层，池化核的大小设置为1
×3×
3；
[0017]将第一至第四外观卷积块中第一卷积层的卷积核大小均设置为1
×1×
1，第二至第四卷积层的卷积核大小均分别设置为1
×3×
3、1
×1×
1、1
×1×
1。将第一至第四卷积层的卷积核的通道数分别设置为32、32、32、32，卷积核的数量分别设置为32、32、128、128；第二外观卷积块中，第一至第四卷积层的卷积核的通道数分别设置为128、32、32、128，卷积核的数量分别设置为32、32、128、128；第三外观卷积块中，第一至第四卷积层的卷积核的通道数分别设置为128、64、64、128，卷积核的数量分别设置为64、64、256、256；第四外观卷积块中，第一至第四卷积层的卷积核的通道数分别设置为256、64、64、256，卷积核的数量分别设置为64、64、256、256；
[0018]步骤2.2，构建运动流特征模块结构依次：头部、第一运动卷积块、第二运动卷积
块、第三运动卷积块、第四运动卷积块。第一至第四运动卷积块的结构相同，每个运动卷积块均由骨干分支和一个跳连分支组成；
[0019]所述头部由卷积层和池化层串联组成；
[0020]所述运动卷积块结构和步骤2.1中所述外观卷积块的结构一致；
[0021]将头部中卷积层的卷积核大小设置为3
×3×
3，卷积核通道数设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于度量学习和时空双流网络的跨视角步态识别方法，其特征在于,构建由外观运动双流子网络和特征映射子网络组成的深度学习网络，生成由三元组损失函数和多分类交叉熵损失组成的联合损失函数；该识别方法的具体步骤包括如下：步骤1，生成训练集：步骤1.1，选取至少74个受试者的8140个步态轮廓序列；步骤1.2，对每个步态轮廓序列进行预处理，得到行人头部位于图像的上边缘且脚部位于图像的下边缘的对齐后的步态轮廓序列；将对齐后的步态轮廓序列缩放成相同的图像大小64
×
64；步骤1.3，将所有的数据样本组成训练集；步骤2，构建外观运动双流子网络：步骤2.1，构建外观流特征模块，其结构依次为：头部、第一外观卷积块、第二外观卷积块、第三外观卷积块、第四外观卷积块；第一至第四外观卷积块的结构相同，每个外观卷积块均由骨干分支和一个跳连分支组成；所述头部由卷积层和池化层串联组成；所述外观卷积块的骨干分支由第一卷积层、第一LeakyReLU激活层、第二卷积层、第二LeakyReLU激活层、第三卷积层串联组成；所述外观卷积块的跳连分支采用一个第四卷积层，使得跳跃连接的输出特征的通道数和骨干分支保持一致；外观卷积块的骨干分支和跳连分支通过逐位置加法器相连后再与第三LeakyReLU激活层连接；将头部中卷积层的卷积核大小设置为1
×3×
3，卷积核通道数设置为1，卷积核数量设置为32；将头部中池化层设置为最大池化层，池化核的大小设置为1
×3×
3；将第一至第四外观卷积块中第一卷积层的卷积核大小均设置为1
×1×
1，第二至第四卷积层的卷积核大小均分别设置为1
×3×
3、1
×1×
1、1
×1×
1；将第一至第四卷积层的卷积核的通道数分别设置为32、32、32、32，卷积核的数量分别设置为32、32、128、128；第二外观卷积块中，第一至第四卷积层的卷积核的通道数分别设置为128、32、32、128，卷积核的数量分别设置为32、32、128、128；第三外观卷积块中，第一至第四卷积层的卷积核的通道数分别设置为128、64、64、128，卷积核的数量分别设置为64、64、256、256；第四外观卷积块中，第一至第四卷积层的卷积核的通道数分别设置为256、64、64、256，卷积核的数量分别设置为64、64、256、256；步骤2.2，构建运动流特征模块结构依次：头部、第一运动卷积块、第二运动卷积块、第三运动卷积块、第四运动卷积块；第一至第四运动卷积块的结构相同，每个运动卷积块均由骨干分支和一个跳连分支组成；所述头部由卷积层和池化层串联组成；所述运动卷积块结构和步骤2.1中所述外观卷积块的结构一致；将头部中卷积层的卷积核大小设置为3
×3×
3，卷积核通道数设置为1，卷积核数量设置为32；将头部中池化层设置为最大池化层，池化核的大小设置为1
×3×
3；将第一至第四运动卷积块中第一卷积层的卷积核大小均设置为3
×1×
1，第二至第四卷积层的卷积核大小均分别设置为1
×3×
3、1
×1×
1、1
×1×
1；将第一运动卷积块中，第一至第四卷积层的卷积核的通道数分别为32、32、32、32，卷积核的数量分别为32、32、128、128；第二运动卷积块中，第一至第四卷积层的卷积核的通道数分别为128、32、32、128，卷积
核的数量分别为32、32、128、128；第三运动卷积块中，第一至第四卷积层的卷积核的通道数分别为128、64、64、128，卷积核的数量分别为64、64、256、256；第四运动卷积块中，第一至第四卷积层的卷积核的通道数分别为256、64、64、256，卷积核的数量分别为64、64、256、256；步骤2.3，构建第一至第四特征融合模块，第一至第三特征融合模块的结构相同，每个特征融合模块均由卷积层和特征拼接块组成；所述特征拼接块由特征拼接操作构成，对输入的外观特征和运动特征进行拼接，融合得到更加丰富的步态特征；将第一至第三特征融合模块中卷积层的卷积核大小均设置为1
×1×
1，卷积核通道数分别设置为32、128、256，卷积核的个数分别设置为32、128、256；将第一至第三特征融合模块中特征拼接层分别设置为按通道、按通道、按高度维度对特征进行拼接；步骤2.4，构建外观流特征模块和运动流特征模块并联，并使用第一至第三特征融合模块连接外观流特征模块和运动流模块得到外观运动双流子网络；将第一特征融合模块中卷积层与外观流特征模块中头部的池化层相连，卷积层的输出特征与运动流特征模块中头部的池化层输出特征，按通道维度进行拼接，再与外观流特征模块中第一运动卷积块相连；将第二特征融合模块中卷积层与外观流特征模块中的第二外观卷积块相连，卷积层的输出特征与运动流特征模块中第二运动卷积块的输出特征，按通道维度进行拼接，再与外观流特征模块中第三运动卷积块相连；将第三特征融合模块中卷积层与外观流特征模块中的第四外观卷积块相连，卷积层的输出特征与运动流特征模块中第四运动卷积块的输出特征，按通道维度进行拼接得到最终输出特征，其通道、高、宽大小为分别为256、64、22；完成外观运动双流子网络的构建；步骤3，构建特征映射子网络：步骤3.1，构建时域池化模块，其结构由时间维度的最大池化层组成；将时域池化模块中的最大池化层的池化核大小设置为T1×1×
1，其中，T1为输入步态轮廓序列的长度；步骤3....

【专利技术属性】
技术研发人员：卢旺林，盛立杰，苗启广，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：