一种基于注意力机制的跨域行人重识别方法技术

本发明专利技术公开了一种基于注意力机制的跨域行人重识别方法，其技术方案是在基于ResNet50构造的神经网络模型中对输入图像进行处理，通过空间注意力模块和注意力权重融合模块能够将不同阶段的注意力信息进行融合，从而充分了利用不同阶段的语义和位置信息来增强行人显著性特征的提取并抑制背景干扰，由此达到提升模型跨域行人重识别效果的目的。

【技术实现步骤摘要】
一种基于注意力机制的跨域行人重识别方法
本专利技术涉及计算机视觉
，尤其涉及一种基于注意力机制的跨域行人重识别方法。
技术介绍
行人重识别(Personre-identification，简称ReID)也称行人再识别，是利用计算机视觉技术在跨设备、时间和地点的条件下判断图像或者视频序列中是否存在特定行人的技术。因其能够对特定人员进行大范围跟踪监控，当前广泛应用于智能监控，智能安保等领域。得益于深度学习算法的快速发展和大规模行人重识别数据集的出现，行人重识别技术在一些标准公开数据集上的测试准确率已经得到了显著提高。但是目前大多数行人重识别模型普遍面临同样一个问题，由于不同摄像头下的行人图像存在遮挡、光照、角度、背景差异等比较多的干扰因素，同时同一行人的外观信息也会因各种原因发生剧烈变化。因此，当训练模型的训练集和评估模型的测试集来自不同的域时，将极大地干扰模型对行人显著性特征的提取，并导致模型的表现明显下降，这意味着把在一个场景下训练得到的模型迁移到另一个新的场景中进行测试时往往难以得到令人满意的效果。进一步的，训练好的模型无法从背景风格完全不同的行人图像中很好地判别行人特征，也会导致跨域行人重识别效果的急剧下降。因此，增强模型对行人显著性特征的提取对跨域行人重识别至关重要。研究表明，抑制背景干扰可以有效提高模型的泛化能力并提高跨域识别率。一方面，将行人与背景分割可有效抑制背景干扰。现有技术中提出了使用行人前景掩膜作为辅助，结合三元组损失和对比损失，使得模型更加关注于前景人体区域，忽略背景区域，以此达到分离行人与背景的目的。但若想得到高质量的分割效果，需要大量高质量的行人图像进行网络训练，数据集成本难以接受。另一方面，一些方法利用注意机制获取显著性特征。然而，许多注意力机制的实现没有深入挖掘特征内部信息的关联性，并且模型中不同阶段的注意力信息相互独立。另外，公开号为CN111738143A的文献于2020年10月2日就公开了一种基于期望最大化的行人重识别方法，其先利用残差卷积神经网络ResNet50作为特征提取的骨干网络对输入行人进行中间特征的提取；构建注意力模块，特征经过模块中Non-Local操作中的协方差运算捕获不同区域间的关联信息，再采用EM算法对特征进行注意力稀疏重构，在对特征中潜在变量进行挖掘的过程中来减小特征的冗余程度，增强有效特征信息的表征能力；采用三元组损失函数、交叉熵损失函数和中心损失函数对网络进行联合训练。该方法能够捕获具有较强辨识度的特征，并能够很好地减少特征的冗余程度，得到具有低秩特征的注意力特征图，进一步提高识别率。但该方法在实际应用中仍然存在如下技术问题：1、其注意力模块的EM算法需要迭代求解，导致注意力计算方式复杂。2、其采用的多分支结构增加了网络复杂度和训练难度。3、其未在整个特征提取过程中使用注意力机制，只是简单地针对某一阶段特征提取注意力，也未考虑不同阶段注意力信息的关联性。因此，有必要进一步对现有技术进行优先改进。
技术实现思路
本专利技术的目的在于克服现有技术存在的上述技术问题，提供了一种基于注意力机制的跨域行人重识别方法，本专利技术将不同阶段的注意力信息进行融合，充分利用了不同阶段的语义和位置信息，增强行人显著特征的提取并抑制背景干扰，由此达到提升跨域行人重识别效果的目的。为实现上述目的，本专利技术采用的技术方案如下：一种基于注意力机制的跨域行人重识别方法，其技术方案为：在基于ResNet50构造的神经网络模型中对输入图像进行特征提取和抑制背景干扰，具体包括如下步骤：步骤1：对输入图像进行卷积和池化处理，提取输入图像的特征数据；步骤2：将特征数据输入到第一残差块中进行处理得到第一输出特征x1，使用残差连接的InstanceNormalization层对第一输出特征x1进行归一化处理并得到归一化的特征f1，使用空间注意力模块提取出第一个注意力权重w1，再根据第一个注意力权重w1与使用残差连接得到的特征A得出第二输入特征i1；步骤3：将第二输入特征i1输入到第二残差块中进行处理得到第二输出特征x2，使用残差连接的InstanceNormalization层对第二输出特征x2进行归一化处理并得到归一化的特征f2，使用空间注意力模块提取出第二个注意力权重w2，使用注意力权重融合模块将第二个注意力权重w2与第一个注意力权重w1进行融合得到第一融合权重w12，再根据第一融合权重w12与使用残差连接得到的特征B得出第三输入特征i2；步骤4：将第三输入特征i2输入到第三残差块中进行处理得到第三输出特征x3，使用残差连接的InstanceNormalization层对第三输出特征x3进行归一化处理，使用空间注意力模块提取出第三个注意力权重w3，使用注意力权重融合模块将第三个注意力权重w3与第一融合权重w12进行融合得到第二融合权重w23，再根据第二融合权重w23与使用残差连接得到的特征C得出第四输入特征i3；步骤5：将第四输入特征i3输入到第四残差块中进行处理，得到第四输出特征，再将第四输出特征输入到Head层中处理，处理后即得到抑制了背景干扰的行人特征。所述的方法中，使用InstanceNormalization层进行归一化处理的方法如下：其中xi，i∈1，2，3分别为第一输出特征x1、第二输出特征x2和第三输出特征x3，μ(·)和σ(·)分别表示每个特征在其各个通道内计算所得的平均值和标准差，γ和β是通过数据训练所学习到的参数。所述的方法中，设定空间注意力模块的输入特征为f∈Rc*h*w，提取出对应的注意力权重为w∈R1*h*w，c、h、w分别为输入特征f的通道数、高度和宽度，则使用空间注意力模块提取出注意力权重的方法如下：S1：沿通道维度分别计算输入特征f的最大值和平均值，生成两个2D特征图，计算平均值得到的2D特征图更关注于全局特征信息，计算最大值得到的2D特征图更关注于显著的特征信息；S2：将生成的两个2D特征图分别沿h维度和w维度计算对应的最大值和平均值，共得到8个特征向量；S3：将8个特征向量两两组合进行矩阵乘法并进行softmax操作得到4个空间注意力掩码，softmax使得每个掩码内部数值和为1，增加了行人区域和背景区域的注意力权重差异，然后在通道维度上将4个空间注意力掩码进行拼接；S5：通过3x3卷积和sigmoid将拼接得到的注意力掩码进行融合，融合后得到最终的空间注意力权重为w∈R1*h*w；该空间注意力权重仅关注于原特征中的行人显著性区域。步骤3中，使用注意力权重融合模块进行融合的方法为：先将第二个注意力权重w2进行上采样并与第一个注意力权重w1按通道维度进行拼接，同时保留高层的语义信息和低层的位置信息，再利用卷积操作对拼接后的特征进行融合和下采样，最后将下采样后的特征与第二个注意力权重w2进行逐元素相加，保证特征信息完整性的同时避免梯度消失，即得到融合后的第一融合权重w12，计算公式如下：w本文档来自技高网...

【技术保护点】
1.一种基于注意力机制的跨域行人重识别方法，其技术方案为：在基于ResNet50构造的神经网络模型中对输入图像进行特征提取和抑制背景干扰，具体包括如下步骤：/n步骤1：对输入图像进行卷积和池化处理，提取输入图像的特征数据；/n步骤2：将特征数据输入到第一残差块中进行处理得到第一输出特征x

【技术特征摘要】
1.一种基于注意力机制的跨域行人重识别方法，其技术方案为：在基于ResNet50构造的神经网络模型中对输入图像进行特征提取和抑制背景干扰，具体包括如下步骤：
步骤1：对输入图像进行卷积和池化处理，提取输入图像的特征数据；
步骤2：将特征数据输入到第一残差块中进行处理得到第一输出特征x1，使用残差连接的InstanceNormalization层对第一输出特征x1进行归一化处理并得到归一化的特征f1，使用空间注意力模块提取出第一个注意力权重w1，再根据第一个注意力权重w1与使用残差连接得到的特征A得出第二输入特征i1；
步骤3：将第二输入特征i1输入到第二残差块中进行处理得到第二输出特征x2，使用残差连接的InstanceNormalization层对第二输出特征x2进行归一化处理并得到归一化的特征f2，使用空间注意力模块提取出第二个注意力权重w2，使用注意力权重融合模块将第二个注意力权重w2与第一个注意力权重w1进行融合得到第一融合权重w12，再根据第一融合权重w12与使用残差连接得到的特征B得出第三输入特征i2；
步骤4：将第三输入特征i2输入到第三残差块中进行处理得到第三输出特征x3，使用残差连接的InstanceNormalization层对第三输出特征x3进行归一化处理，使用空间注意力模块提取出第三个注意力权重w3，使用注意力权重融合模块将第三个注意力权重w3与第一融合权重w12进行融合得到第二融合权重w23，再根据第二融合权重w23与使用残差连接得到的特征C得出第四输入特征i3；
步骤5：将第四输入特征i3输入到第四残差块中进行处理，得到第四输出特征，再将第四输出特征输入到Head层中处理，处理后即得到抑制了背景干扰的行人特征。


2.根据权利要求1所述的一种基于注意力机制的跨域行人重识别方法，其特征在于：使用InstanceNormalization层进行归一化处理的方法如下：



其中xi，i∈1，2，3分别为第一输出特征x1、第二输出特征x2和第三输出特征x3，μ(·)和σ(·)分别表示每个特征在其各个通道内计算所得的平均值和标准差，γ和β是通过数据训练所学习到的参数。


3.根据权利要求1或2所述的一种基于注意力机制的跨域行人重识别方法，其特征在于：设定空间注意力模块的输入特征为f∈Rc*h*w，提取出对应的注意力权重为w∈R1*h*w，c、h、w分别为输入特征f的通道数、高度和宽度，则使用空间注意力模块提取出注意力权重的方法如下：
S1：沿通道维度分别计算输入特征f的最大值和平均值，生成两个2D特征图；
S2：将生成的两个2D特征图分别沿h维度和w维度计算对应的最大值和平均值，共得到8个特征向量；
S3：将8个特征向量两两...

【专利技术属性】
技术研发人员：殷光强，贾召钱，王文超，候少麒，王治国，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51