一种基于指导的多尺度注意力行人重识别深度学习系统技术方案

本发明专利技术提供一种具有强大的特征表征能力和泛化能力的基于指导的多尺度注意力行人重识别深度学习系统，其特征在于，包括：行人图片获取部，用于获取行人图片，行人图片包含行人待检测图片以及行人候选图片；图片特征提取部，用于根据预先训练完成的基于指导的多尺度特征提取模型提取行人图片在各个尺度下的全局特征和局部特征；图片特征拼接部，用于分别拼接各张行人图片的全局特征以及局部特征作为对应各张行人图片的行人图片特征；特征距离计算部，用于根据各个行人图片特征计算不同的行人图片特征之间的特征距离；相似程度判断部，用于根据各个特征距离之间的远近判断行人待检测图片与行人候选图片的相似程度作为行人重识别结果。人重识别结果。人重识别结果。

【技术实现步骤摘要】
一种基于指导的多尺度注意力行人重识别深度学习系统


[0001]本专利技术属于计算机图象识别
，具体涉及一种基于指导的多尺度注意力行人重识别深度学习系统。

技术介绍

[0002]行人重识别任务旨在通过两个不相交的摄像头对行人进行识别匹配。通常，行人的外观表现可以因为姿态、光照、遮挡、视角等因素的改变而发生巨大的变化；并且在公共场合，不同行人可能会穿着非常相似的服装，例如在冬天穿着深色的厚外套。这些现象都会很大程度的给行人重识别问题带来巨大的挑战和难题。在这些严峻的干扰因素下，往往需要依靠一些细微的差异来实现行人重识别，这些细微的因素可以是全局的，例如体型、性别；也可以是局部的，例如鞋子、发型，即综合考虑由粗到细的，由全局到局部的多尺度行人信息，并合理地进行比对推敲。
[0003]一方面，随着深度学习热潮地掀起，越来越多的计算机视觉任务开始使用深度学习方法来解决，包括行人重识别任务。近几年提出的解决行人重识别任务的深度学习方法由于借鉴了目标分类任务的结构思想，通常只利用了单一尺度的特征。这些特征经过较深的网络提取，具有强大的抽象能力和表征能力。但是由于该特征更关注全局信息，并且不像多尺度特征能够进行反复推敲，因此对于行人重识别问题，尤其是一些难例，单一尺度特征的能力仍尤显不足。
[0004]另一方面，利用多尺度学习的思想来进行匹配的过程和人类的感知非常相似。给定两张行人图片，人类通常会先粗略的捕获图片中的显著信息或较大区域的信息，例如整体的衣着颜色、纹理等；如果这些信息不足以判断行人身份相同与否，那么人类会进一步仔细地有条理地观察一些细节信息，例如发型，鞋子款式等，直至获取足够的线索作出结论。因此设计一个有效的多尺度特征学习模型是帮助解决行人重识别问题的关键。
[0005]然而，现有一些行人重识别方法都具有一些问题，例如：
[0006]文献1(G.Wang,Y.Yuan,X.Chen,J.Li,and X.Zhou,“Learning Discriminative Features with Multiple Granularities for Person Re-identification”,Y.Lin,L.Zheng,Z.Zheng,Y.Wu,and Y.Yang.in ACM Multimedia，2018)提出了一个多分支的深度神经网络来提取行人图片的全局特征和不同规模的局部特征。但是该方法从行人物理结构角度来考虑绝对的全局与局部的划分，受输入图片质量影响，对多尺度特征的互补性学习较弱。
[0007]文献2(C.Shen,Z.Jin,Y.Zhao,Z.Fu,R.Jiang,Y.Chen,and X.-S.Hua,“Deep siamese network with multi-level similarity perception for person re-identification”,in ACM Multimedia，2017)和文献3(Y.Guo and N.-M.Cheung,“Efficient and deep person re-identification using multi-level similarity”,in CVPR,2018)提出了利用网络中间层多层特征的相似性来监督学习，提高行人图片特征的表征能力。但是由于共享权重的设计，该方法对多尺度特征的差异性学习较弱。
[0008]文献4(J.Liu,Z.-J.Zha,Q.Tian,D.Liu,T.Yao,Q.Ling,and T.Mei,“Multi-scale triplet cnn for person re-identification”,in ACM Multimedia,2016)提出了将不同尺度的图片输入不同的浅层网络来提取多尺度特征，并和深层网络的特征进行融合最后最终的识别特征。但是该方法具有计算耗时，模型参数大，多尺度特征学习独立的缺点。

技术实现思路

[0009]为解决上述方法中存在的问题，提供一种具有强大的特征表征能力和泛化能力的基于指导的多尺度注意力行人重识别深度学习系统，本专利技术采用了如下技术方案：
[0010]本专利技术提供了一种基于指导的多尺度注意力行人重识别深度学习系统，用于对行人待检测图片以及行人候选图片进行识别从而完成行人重识别，其特征在于，包括：行人图片获取部，用于获取行人图片，行人图片包含行人待检测图片以及行人候选图片；图片特征提取部，用于根据预先训练完成的基于指导的多尺度特征提取模型提取行人图片在各个尺度下的全局特征和局部特征；图片特征拼接部，用于分别拼接各张行人图片的全局特征以及局部特征作为对应各张行人图片的行人图片特征；特征距离计算部，用于根据各个行人图片特征计算不同的行人图片特征之间的特征距离；相似程度判断部，用于根据各个特征距离之间的远近判断行人待检测图片与行人候选图片的相似程度作为行人重识别结果，其中，基于指导的多尺度特征提取模型对全局特征以及局部特征的提取过程包括如下步骤：步骤S1，对行人图片进行基本深度特征提取得到对应该行人图片的描述特征；步骤S2，对描述特征进行多尺度特征分析从而获取每个行人图片在各个尺度下的尺度特征；步骤S3，利用基于指导的注意力机制对尺度特征下的显著性空间区域进行突显从而得到对应各个尺度特征的突显特征；步骤S4；将突显特征利用全局与局部双分支数据流进行全局特征和局部特征的提取。
[0011]本专利技术提供的基于指导的多尺度注意力行人重识别深度学习系统，还可以具有这样的技术特征，其中，在步骤S1中进行基本深度特征提取时，具体使用ResNet50的前3个残差模块作为基础卷积层提取描述特征。
[0012]本专利技术提供的基于指导的多尺度注意力行人重识别深度学习系统，还可以具有这样的技术特征，其中，步骤S2中，在描述特征进行多尺度特征分析时，使用3个权重不共享的数据流分支S
i
(i＝1,2,3)，分别提取3个表示不同尺度的尺度特征F
i
(i＝1,2,3)：对数据流分支S1，使用卷积核为3
×
3的卷积层提取行人图片小尺度特征F1；对数据流分支S2，使用卷积核为5
×
5的卷积层提取行人图片中等尺度特征F2；对数据流分支S3，使用卷积核为7
×
7的卷积层提取行人图片大尺度特征F3。
[0013]本专利技术提供的基于指导的多尺度注意力行人重识别深度学习系统，还可以具有这样的技术特征，其中，数据流分支S2拆分为2个级联的3
×
3卷积层，数据流分支S3拆分为3个级联的3
×
3卷积层，对数据流分支S1，S2和S3，为每一层3
×
3卷积层嵌入h(x)＝f(x)+x的残差思想，即额外添加一个由输入直接到输出的单位函数通道。
[0014]本专利技术提供的基于指导的多尺度注意力行人重识别深度学习系统，还可以具有这样的技术特征，其中，步骤S3包括如下子步骤：步骤S3-1，对尺度特征F
i<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于指导的多尺度注意力行人重识别深度学习系统，用于对行人图片待检测图片以及行人候选图片进行识别从而完成行人重识别，其特征在于，包括：行人图片获取部，用于获取行人图片，所述行人图片包含行人待检测图片以及行人候选图片；图片特征提取部，用于根据预先训练完成的基于指导的多尺度特征提取模型提取所述行人图片在各个尺度下的全局特征和局部特征；图片特征拼接部，用于分别拼接各张所述行人图片的所述全局特征以及所述局部特征作为对应各张所述行人图片的行人图片特征；特征距离计算部，用于根据各个所述行人图片特征计算不同的所述行人图片特征之间的特征距离；相似程度判断部，用于根据各个所述特征距离之间的远近判断所述行人待检测图片与所述行人候选图片的相似程度作为行人重识别结果，其中，所述基于指导的多尺度特征提取模型对所述全局特征以及所述局部特征的提取过程包括如下步骤：步骤S1，对所述行人图片进行基本深度特征提取得到对应该行人图片的描述特征；步骤S2，对所述描述特征进行多尺度特征分析从而获取每个所述行人图片在各个尺度下的尺度特征；步骤S3，利用基于指导的注意力机制对所述尺度特征下的显著性空间区域进行突显从而得到对应各个所述尺度特征的突显特征；步骤S4；将所述突显特征利用全局与局部双分支数据流进行所述全局特征和所述局部特征的提取。2.根据权利要求1所述的基于指导的多尺度注意力行人重识别深度学习系统，其特征在于：其中，在所述步骤S1中进行所述基本深度特征提取时，具体使用ResNet50的前3个残差模块作为基础卷积层提取所述描述特征。3.根据权利要求1所述的基于指导的多尺度注意力行人重识别深度学习系统，其特征在于：其中，所述步骤S2中，在所述描述特征进行多尺度特征分析时，使用3个权重不共享的数据流分支S
i
(i＝1，2，3)，分别提取3个表示不同尺度的尺度特征F
i
(i＝1，2，3)：对所述数据流分支S1，使用卷积核为3
×
3的卷积层提取行人图片小尺度特征F1；对所述数据流分支S2，使用卷积核为5
×
5的卷积层提取行人图片中等尺度特征F2；对所述的数据流分支S3，使用卷积核为7
×
7的卷积层提取行人图片大尺度特征F3。4.根据权利要求3所述的基于指导的多尺度注意力行人重识别深度学习系统，其特征在于：其中，所述数据流分支S2拆分为2个级联的3
×
3卷积层，所述数据流分支S3拆分为3个级联的3
×
3卷积层，对所述数据流分支S1，S2和S3，为每一层所述3
×
3卷积层嵌入h(x)＝f(x)+x的残差思想，即...

【专利技术属性】
技术研发人员：付彦伟，姜育刚，薛向阳，钱学林，
申请(专利权)人：复旦大学，
类型：发明
国别省市：