一种基于目标结构关系增强的行人重识别方法技术

本发明专利技术涉及行人识别技术领域，尤其涉及一种基于目标结构关系增强的行人重识别方法。包括选用ResNet50作为主干网络；在ResNet50的残差堆叠模块中添加结构增强可堆叠注意力模块来强化各层级特征，以通过结构增强因子提升网络学习可区分性特征的能力；使用标签平滑交叉熵损失联和联和三元组损失来训练模型。本发明专利技术的结构增强可堆叠注意力模块，能通过局部信息感受全局结构信息来帮助神经网络建立目标结构特征之间的联系，并强化结构信息，以此提炼更加具有区分性的目标结构特征；建模方式建立了结构之间的交互信息，使得结构信息不再独立，加强结构信息与自身表征向量的交互，最终的加强因子更加细腻。的加强因子更加细腻。的加强因子更加细腻。

【技术实现步骤摘要】
al.Backpro
‑
pagation app
‑
lied to handwrittenzip code recog
‑
nition[J].Neural computation,1989, 1(4):541
‑
551)展现的利用深度学习技术识别手写数字。整个神经网络用于提取整张图的全局信息，生成特征向量用于分类。对于手写数字这样简单的数据集来说，达到了95％的正确率。为了生成用于区分行人的特征向量，有研究人员仅使用ResNet作为训练行人重识别的基准网络，并使用softmax及triplet等损失函数在Market1501等数据集上训练，得到了很好的准确度。文献F(SUN Yifan,ZHENG Liang, DENG Weijian,et al.SVDNet for pedestrian retrieval[C]//Procof IEEE International Conference on Computer Vision. Washington D.C.,USA:IEEE Press,2017:3800
‑
3808)基于卷积层权重的相关性假设，认为数据分布的不确定性会造成区分性特征的冗余，削弱了可区分性特征。提出通过对神经网络权重施加正交约束，通过奇异值分解的方法来对网络权重进行去相关迭代训练。以此正交化权重学习以提升特征的可区分性。文献G(ZHENG Zhedong,YANGXiaodong,YU Zhiding,et al.Joint Discriminative andGenerative Learning for Person ReIdent
‑
ification[C]//Procof the IEEE Conference on Computer Vision and PatternRecognition.Long Beach,CA,USA:IEEE Press,2019:2138
‑
2147) 创新地将生成式对抗网络(GAN)思想结合到行人重识别网络中，以生成式和判别式结合的方法来增强网络对数据的学习。从一定程度上解决数据跨域，行人结构变化等问题造成的识别困难。文献H(Dai, Zuozhuo,Mingqiang Chen,Xiaodong Gu,et al.Batch FeatureErasing for Person Re
‑
identification and Beyond[C]//Procof the IEEE/CVF International Conference on Computer Vision. Seoul,Korea:IEEE Press,2019:3691
‑
3701)认为行人重识别的遮挡，姿态变化问题抑制了某些关键信息的学习。提出了批量块丢弃模块，该模块随机丢弃特征图某位置的子块来去除部分信息。通过基分支及批量丢弃分支的特征图拼接表征图像特征来训练网络，加强关键特征的学习。文献I(SUN Yifan,ZHENG Liang,YANG Yi,et al.Beyondpart models:Person retrieval with refined part pooling(anda strong convolutional baseline)[C]//Proc of the EuropeanConference on Computer Vision.Berlin,Germany:Springer,2018: 480
‑
496)在强基准网络ResNet上对图像特征的提取分块进行，期望从局部特征的角度来改进行人重识别任务。作者针对行人重识别任务提出基于块的卷积神经网络，加强图像特征的分块专注学习。并提出了分块精炼池化用于针对不同图像调整解决特征分块边界与语义块边界不一致的问题，进一步提升了行人重识别网络的性能。全局特征作为表征向量能完整获取整张图的全局信息，但是全局特征容易夹带环境、噪音等非重要信息。该文献将局部信息作为目标表征向量的思路更加符合认知，点到整体的认知思路能过滤部分非重要信息。
[0006]现有的行人重识别工作都围绕数据增强及普通的位置、通道注意力开展可区分性特征的提取研究，却忽略了通道结构之间的关系信息对于结构特征的学习提升潜力。

技术实现思路

[0007]本专利技术的目的是提供一种基于目标结构关系增强的行人重识别方法。
[0008]为了实现上述目的，本专利技术采用了如下技术方案：
[0009]一种基于目标结构关系增强的行人重识别方法，包括以下步骤：
[0010]选用ResNet50作为主干网络；
[0011]在ResNet50的残差堆叠模块中添加结构增强可堆叠注意力模块来强化各层级特征，以通过结构增强因子提升网络学习可区分性特征的能力；
[0012]使用标签平滑交叉熵损失联和联和三元组损失来训练模型。
[0013]进一步优选的，所述结构增强可堆叠注意力模块包括：
[0014]结构增强向量学习模块，结构增强向量学习模块用于学习包含结构注意力的嵌入向量；
[0015]结构分离卷积模块，结构分离卷积模块用于学习不同结构所得到的结构注意力嵌入向量的特定映射。
[0016]进一步优选的，所述结构增强向量学习模块的输入为ResNet某层级的特征图
[0017]X经过元素重排操作得到的特征图Xinput；
[0018]Xinput经过三次输入维度为H
×
W、输出维度分别为C1，C1，C2的1
×
1 卷积、批量标准化及ReLU激活函数，且进一步得到请求向量响应向量和表征自身信息的嵌入向量
[0019]请求向量的计算如下：
[0020]Q＝ReLU(BN(W
conv
X
input
))；
[0021]响应向量的计算如下：
[0022]R＝ReLU(BN(W
conv
X
input
))；
[0023]嵌入向量的计算如下：
[0024]E＝ReLU(BN(W
conv
X
input
))；
[0025]表征某种结构信息的请求向量q
i
(q
i
∈Q)分别与所有响应r
j
(r
j
∈R)向量做对应元素相乘，再对其进行1
×
1卷积得到第i个通道的关系响应向量；
[0026]考虑表征结构信息的特定通道与其它通道双向的关系，即将某通道的主动响应向量及其被动响应向量堆叠作为通道i的结构关系表征向量S
i
，结构关系向量S可由下式得：
[0027][0028]其中Φ(q
i
,r
j
)＝Conv(q
i
×
r
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标结构关系增强的行人重识别方法，其特征在于，包括以下步骤：选用ResNet50作为主干网络；在ResNet50的残差堆叠模块中添加结构增强可堆叠注意力模块来强化各层级特征，以通过结构增强因子提升网络学习可区分性特征的能力；使用标签平滑交叉熵损失联和联和三元组损失来训练模型。2.根据权利要求1所述的一种基于目标结构关系增强的行人重识别方法，其特征在于，所述结构增强可堆叠注意力模块包括：结构增强向量学习模块，结构增强向量学习模块用于学习包含结构注意力的嵌入向量；结构分离卷积模块，结构分离卷积模块用于学习不同结构所得到的结构注意力嵌入向量的特定映射。3.根据权利要求2所述的一种基于目标结构关系增强的行人重识别方法，其特征在于，所述结构增强向量学习模块的输入为ResNet某层级的特征图X经过元素重排操作得到的特征图Xinput；Xinput经过三次输入维度为H
×
W、输出维度分别为C1，C1，C2的1
×
1卷积、批量标准化及ReLU激活函数，且进一步得到请求向量响应向量和表征自身信息的嵌入向量请求向量的计算如下：Q＝ReLU(BN(W
conv
X
input
))；响应向量的计算如下：R＝ReLU(BN(W
conv
X
input
))；嵌入向量的计算如下：E＝ReLU(BN(W
conv
X
input
))；表征某种结构信息的请求向量q
i
(q
i
∈Q)分别与所有响应r
j
(r
j
∈R)向量做对应元素相乘，再对其进行1
×
1卷积得到第i个通道的关系响应向量；考虑表征结构信息的特定通道与其它通道双向的关系，即将某通道的主动响应向量及其被动响应向量堆叠作为通道i的结构关系表征向量S
i
，结构关系向量S可由下式得：其中Φ(q
i
,r
j
)＝Conv(q
i
×
r
j
)，q
i
×
r
j
是q
i
,r
j...

【专利技术属性】
技术研发人员：杨武，李永波，冯欣，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：