一种基于注意力机制进行衣着信息分离的行人重识别方法技术

本发明专利技术提供了一种基于注意力机制进行衣着信息分离的行人重识别方法，包括训练和测试阶段。在训练阶段，该方法包括：利用语义分割模型遮盖掉非衣着区域得到行人的衣着图片，并输入衣着信息提取分支中提取衣着信息，网络使用标注的衣着标签监督训练；行人图片输入衣着信息和身份信息分离分支提取特征，然后利用注意力机制分离为身份信息和衣着信息；利用衣着信息提取分支来辅助身份信息和衣着信息的分离。该方法包括：将需要识别的行人图片输入衣着信息和身份信息分离分支提取身份信息来进行特征度量，判断行人身份。本发明专利技术通过身份信息与衣着信息的分离，利用身份信息来进行检索，可以在一定程度上消除行人换装对检索的消极影响。响。响。

【技术实现步骤摘要】
一种基于注意力机制进行衣着信息分离的行人重识别方法


[0001]本专利技术属于计算机视觉与模式识别领域，尤其涉及一种基于注意力机制进行衣着信息分离的行人重识别方法。

技术介绍

[0002]近年来，随着监控设备的广泛应用，行人身份识别相关技术获得越来越广泛的关注，行人身份识别关注于利用拍摄到的行人图片在行人数据库中找寻具有相同身份的行人，以确定拍摄到的行人的身份。行人身份识别在物联网与大数据环境下具有广阔的应用场景，包括智能城市，智能安防等领域。目前主要行人重识别技术与行人身份识别关系密切，行人重识别最近也获得了广泛关注，在公开数据集上取得了显著的性能提升。但是现实场景中高昂的行人身份标注费用，在不同域(场景)下所获得行人图片在光照、背景、姿态等方面的巨大差异，给行人重识别在现实场景的应用带来了巨大的挑战，当前主流深度学习方法普遍关注于行人的外观信息进行推断，这在行人频繁换装的现实场景下难以应用。
[0003]目前大多数算法都使用注意力机制使模型关注于辨识度更高的区域来提高模型性能。但是在现实场景下，行人频繁换装，同一个行人穿着不同衣着具有不同的外观特征，如果只关注局部区域会使得模型泛化性能不好。
[0004]因此，基于上述关于主流深度学习方法中对外观信息进行推断应用的局限性，行人图片在光照、背景、姿态等方面的巨大差异识别困难，以及对行人重识别算法在换装场景下效果较差等问题亟需解决。

技术实现思路

[0005]针对现有技术的不足，本专利技术提供了一种基于注意力机制进行衣着信息分离的的行人重识别方法。
[0006]为实现上述技术目的，本专利技术是通过以下技术方案来实现的：在训练阶段，首先利用语义分割模型训练一个衣着信息提取模型E用于辅助训练；行人图片输入衣着信息和身份信息分离分支提取特征然后经注意力机制分离为身份特征和衣着特征，身份特征再经注意力机制精炼；训练衣着信息和身份信息分离分支网络以最小化分离出的衣着特征和衣着信息提取模型提取得到的衣着特征之间的差异；训练衣着信息和身份信息分离分支网络以最小化交叉熵分类损失和三元组损失；训练完成后，进入测试阶段，利用衣着信息和身份信息分离分支提取身份特征，然后进行推断。具体步骤如下：
[0007](1)从一段监控视频获得所需的一帧行人图片，利用语义分割模型将行人图片的上衣区域和下衣区域进行分割，得到行人的衣着区域掩膜；
[0008](2)使用步骤(1)中得到的衣着区域掩膜遮盖掉行人图片的非衣着区域，得到行人的衣着区域图片，再将衣着区域图片输入到衣着信息提取分支模型E中提取衣着特征f
CA
，使用人工预先标注的衣着类别标签监督模型E训练，得到训练好的衣着信息提取模型所述模型E包含衣着信息提取主干网络和衣着特征分离注意力机制；
[0009](3)利用步骤(2)训练好的衣着信息提取模型提取得到衣着特征来辅助衣着信息和身份信息分离分支的特征提取，具体为，行人图片输入至模型M中，通过衣着信息和身份信息提取主干网络提取得到特征维度为CxHxW的特征，又通过注意力机制分离得到身份信息特征f
ID
和衣着信息特征f
C
，再利用标注的身份和衣着标签经交叉熵分类损失和三元组损失监督模型M训练，且保证分离出的衣着信息特征f
C
与衣着信息提取模型提取得到的衣着特征一致，得到训练好的最佳参数模型；所述模型M包含衣着信息和身份信息提取主干网络和衣着信息和身份信息分离注意力机制；
[0010](4)将需要识别身份的行人图片输入到最佳参数模型中提取其身份信息特征，利用其身份信息特征进行相似度计算，推断和识别行人身份。
[0011]进一步地，所述的步骤(1)中，利用语义分割模型分割出上衣和下衣区域作为掩膜，使用的语义分割模型可以是当前任意公开模型。
[0012]进一步地，所述的步骤(2)中的衣着信息提取主干网络为当前任意的主干网络结构，如ResNet，VGGNet，EfficientNet。
[0013]进一步地，所述的步骤(3)中衣着信息和身份信息的分离分支具体为，行人图片输入衣着信息和身份信息提取主干网络中提取特征，然后经过注意力机制对衣着信息特征f
C
和身份信息特征f
ID
进行分离，其数学表达式为：
[0014]f
C
＝Atten(f
S
)*f
S
[0015]f
ID
＝(1
‑
Atten(f
S
))*f
S
[0016]其中，f
S
为行人图片输入主干网络提取的特征，Atten(f
S
)为注意力机制应用到f
S
得到的注意力图。
[0017]进一步地，所述的步骤(3)中，经注意力机制分离得到的衣着信息特征f
C
通过与步骤(2)中衣着信息提取模型提取得到的衣着特征保持一致，使用均方误差损失MSE度量函数度量分离出的特征的差异，其数学表达式为：
[0018][0019]其中，||
·
||表示两个向量或者矩阵的距离函数，即MSE损失函数。
[0020]进一步地，所述的步骤(3)中再利用标注的身份和衣着标签经交叉熵分类损失和三元组损失监督模型M训练具体为，利用标注的身份和衣着标签计算交叉熵分类损失和三元组损失，同时保证分离出的衣着信息特征和模型E提取的衣着特征的一致性损失，利用交叉熵分类损失L
ID
，三元组损失L
REIDTL
和一致性损失来监督模型M训练，其数学表达式为：
[0021][0022][0023]其中，||
·
||表示两个向量或者矩阵的距离函数；y
i
表示一个样本的真实标签，表示预测标签；N表示样本数；表示一个锚样本,表示锚样本经网络提取的身份
特征；表示与锚样本属于同一个身份的正样本，表示经网络提取的身份特征；表示与锚样本属于不同身份的负样本，表示经网络提取的身份特征；α表示希望正负样本对距离推远的边际值。
[0024]进一步地，所述的步骤(4)中，将需要识别身份的行人图片输入到衣着信息和身份信息分离分支中提取精炼的身份特征用于行人身份推断；所述具体推断过程为：计算需要识别身份的行人图片提取的身份特征与提前保存的行人数据集中的行人图片的身份特征的相似度，选择相似度最高的那个行人数据中的图片对应的身份作为该需要识别身份图片的身份。
[0025]本专利技术的有益效果是：
[0026]本专利技术通过注意力进行身份特征和衣着特征的分离，提取更具身份辨识度的身份特征，进而使用身份特征进行推断，提高了模型对行人换装的适应性。在现实场景下，行人频繁换装，常规的深度学习方法关注于外观特征进行推断，穿着不同衣着的同一行人图片会由于外观差异过大而造成误判，本专利技术将有望在一定程度上降低行人换装对现实场景下的行人重识别的负面影响，提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制进行衣着信息分离的行人重识别方法，其特征在于，包括以下步骤：(1)从一段监控视频获得所需的一帧行人图片，利用语义分割模型将行人图片的上衣区域和下衣区域进行分割，得到行人的衣着区域掩膜；(2)使用步骤(1)中得到的衣着区域掩膜遮盖掉行人图片的非衣着区域，得到行人的衣着区域图片，再将衣着区域图片输入到衣着信息提取分支模型E中提取衣着特征f
CA
，使用人工预先标注的衣着类别标签监督模型E训练，得到训练好的衣着信息提取模型所述模型E包含衣着信息提取主干网络和衣着特征分离注意力机制；(3)利用步骤(2)训练好的衣着信息提取模型提取得到衣着特征来辅助衣着信息和身份信息分离分支的特征提取，具体为，行人图片输入至模型M中，通过衣着信息和身份信息提取主干网络提取得到特征维度为CxHxW的特征，又通过注意力机制分离得到身份信息特征f
ID
和衣着信息特征f
C
，再利用标注的身份和衣着标签经交叉熵分类损失和三元组损失监督模型M训练，且保证分离出的衣着信息特征f
C
与衣着信息提取模型提取得到的衣着特征一致，得到训练好的最佳参数模型；所述模型M包含衣着信息和身份信息提取主干网络和衣着信息和身份信息分离注意力机制；(4)将需要识别身份的行人图片输入到最佳参数模型中提取其身份信息特征，利用其身份信息特征进行相似度计算，推断和识别行人身份。2.根据权利要求1所述的一种基于注意力机制进行衣着信息分离的行人重识别方法，其特征在于，所述的步骤(1)中，利用语义分割模型分割出上衣和下衣区域作为掩膜，使用的语义分割模型可以是当前任意公开模型。3.根据权利要求1所述的一种基于注意力机制进行衣着信息分离的行人重识别方法，其特征在于，所述的步骤(2)中衣着信息提取主干网络为当前任意的主干网络结构中的一种。4.根据权利要求1所述的一种基于注意力机制进行衣着信息分离的行人重识别方法，其特征在于，所述的步骤(3)中衣着信息和身份信息的分离分支具体为，行人图片输入衣着信息和身份信息提取主干网络中提取特征，然后经过注意力机制对衣着信息特征f
C
和身份信息特征f
ID
进行分离，其数学表达式为：f
C
＝Atten(f
S
)*...

【专利技术属性】
技术研发人员：闫禹铭，于慧敏，李殊昭，
申请(专利权)人：浙江大学，
类型：发明
国别省市：