基于姿态与样式归一化的换衣行人重识别方法技术

本发明专利技术公开了一种基于姿态与样式归一化的换衣行人重识别方法。该方法首先引入姿态服装互换模型，利用生成对抗网络将身穿不同服装的同一ID的两张图像进行服装与姿态的互换。然后，通过样式归一化模块对图像进行样式擦除并利用内容注意力模块对丢失内容中的干扰特征和有用特征进行提取，从而保证特征的鲁棒性。最后，采用双通道特征融合模型进行行人匹配，将行人的局部语义特征与全局特征进行融合，通过欧氏距离度量，输出行人的身份信息。本发明专利技术公开的换衣行人重识别方法能够解决换衣场景下无法进行换衣行人识别的问题。下无法进行换衣行人识别的问题。下无法进行换衣行人识别的问题。

【技术实现步骤摘要】
基于姿态与样式归一化的换衣行人重识别方法


[0001]本专利技术涉及计算机视觉、模式识别等
，主要涉及的是监控视频中行 人的身份重识别，它在预防犯罪、智慧城市和社会治安等方面具有广泛的应用。

技术介绍

[0002]行人重识别作为智慧城市中一个非常重要的应用，在计算机视觉领域中被广 泛研究。早期行人重识别主要通过手工构建行人特征或者距离度量学习。随着深 度学习在计算机视觉领域的广泛应用，基于深度学习的行人重识别技术开始迅速 发展，并且在封闭世界环境中取得了良好的性能。
[0003]基于深度学习的行人重识别方法主要针对姿态、光照、背景噪声等问题进行 研究的，其中Qian等人在2018年提出了一种基于生成对抗网络的姿态归一化方 法，但是该方法需要OpenPose等第三方辅助工具，增加了网络模型的规模，使 得行人重识别的预处理工作变得复杂。Zheng等人提出的DG
‑
Net虽无需第三方 辅助工具，但其严重依赖于服装外观一致性，其身份信息主要由外观特征为主导， 在姿态互换时强制将衣服相同的不同行人判断为同一行人，这种误判现象会导致 识别精度下降。这些方法只适用于短期捕获的行人再识别场景，限制了行人重识 别在实际场景中的应用。
[0004]为了解决模型依赖服装外观一致性的问题，一些研究对换衣行人重识别进行 了初步探索。Li等人在2020年提出了Angle Specific Extractor(ASE)模块来建 模不同通道之间的关系，尝试从行人轮廓的角度进行行人重识别，一定程度上消 除了服装颜色变化带来的影响。虽然行人轮廓短期内可能不会改变，但在长期捕 获行人图像的过程中，其易受服装款式的变化而不再具有鲁棒性。Yu等人提出 了Biometric Drows network(BC
‑
Net)的双分支结构，分别学习行人生物特征和 衣服特征，衣服检测器和特征提取器是分别进行训练的，该方法主要使检索库的 行人换上画廊图库中行人的衣服，从而保证行人匹配过程中服装外观一致性，但 是该方法需要大量繁杂的预处理过程，还需要第三方衣服模板作为辅助数据，大 大增加了行人重识别的工作量。
[0005]针对短期捕获的行人重识别技术已经取得了巨大的进展，但是在真实的应用 场景下，短期捕获的行人数据集可能无法适用于换衣场景下的识别需求，因此为 了解决这种问题，提出了一种基于姿态与样式归一化的换衣行人重识别方法。

技术实现思路

[0006]专利技术目的：在现实场景中，人们往往会在几天内身穿不同衣服，这就导致在 长期捕获行人图像的过程中不同时间不同相机拍摄到的行人可能身穿不同衣服， 而目前的换衣行人重识别仍然停留在实验室阶段，现有行人重识别技术都基于短 期捕获的行人数据集进行研究的，对行人服装一致性具有强烈依赖，无法适用于 换衣场景。因此本专利技术希望通过将生成对抗网络和归一化技术结合，解决换衣场 景下的行人重识别问题，从而使得行人重识别技术能够真正落到实处，为社会保 障方面节省更多的资源。
[0007]1、一种基于姿态与样式归一化的换衣行人重识别方法，其特征在于，包括 以下步骤：
[0008]步骤1.1：使用姿态编码器与服装外观编码器对目标图库与检索图库中的行 人进行姿态特征与服装外观特征的提取，并利用解码器进行交叉重建与自我重建。
[0009]步骤1.2：将生成的行人图像通过归一化模块进行样式擦除，利用内容注意 力机制恢复因擦除丢失的内容鉴别性特征；
[0010]步骤1.3：擦除后的行人特征通过双通道结构将利用姿态估计获取的行人局 部特征和利用主干网络提取的全局特征进行特征融合；
[0011]步骤1.4：通过欧氏距离度量，输出行人的身份信息。
[0012]2、根据权利要求1所述的一种姿态与样式归一化的换衣行人重识别方法， 其特征在于，所述步骤1.1中行人姿态服装互换的方法如下：
[0013]步骤2.1：利用姿态编码器与外观编码器分别对行人的姿态与服装外观进行 特征提取；
[0014]步骤2.2：将解耦出的行人姿态特征与服装外观特征交叉组合，利用解码器 生成同一姿态不同服装以及同一服装不同姿态的行人图像；
[0015]步骤2.3：通过判别器来判断生成的图像是否逼真，并采用对抗性损失来匹 配生成图像的分布与实际数据分布，其中对抗约束如下：
[0016][0017]其中x
i
∈D
query
，D
query
＝{x
i
|i＝1,2,...,n}，D
query
是指query里的目标行人数 据集，其中n是数据集中的样本数量。D是判别器，G是生成器，f
ip
,分别 代表x
i
的姿态特征和x
j
的服装外观特征，其中x
j
∈D
gallery
，D
gallery
是指gallery里 的行人数据集，同理，gallery库里的行人生成亦是如此。
[0018]3、根据权利要求2所述的行人姿态服装互换方法，其特征在于，步骤2.2 中姿态服装特征交叉生成的方法为：
[0019]步骤3.1：利用姿态编码器和服装外观编码器提取姿态特征和服装外观特征， 在提取姿态特征时将原始图像转化为灰度图，使得网络在提取姿态特征时更倾向 于空间结构特征，从而确保提取的姿态特征不包含其他噪声。
[0020]步骤3.2：将提取到的姿态特征与服装外观特征交叉融合后进行图像生成， 并对生成的图像进行二次编码，利用重建损失对解耦出的特征进行约束，重建损 失如下：
[0021][0022]其中E
p
是指姿态编码器，E
a
是服装外观编码器，是对原始图像x
i
中的姿态特征f
ip
与生成图像所解耦出的姿态特征进行距离计算， 其中f
ip
＝E
p
(x
i
)，同理，是对原始图像x
j
中的服装外观特征与生成图像所解耦出的服装外观特征进行距离计算。
[0023]4、根据权利要求1所述的一种基于姿态与样式归一化的换衣行人重识别方 法，其特征在于，所述步骤1.2中通过归一化模块进行样式擦除的方法：
[0024]步骤4.1：将生成的一组姿态服装互换行图像通过实例归一化操作进行样式 擦除；
[0025]步骤4.2：将输入特征与实例归一化后的特征做差，得到实例归一化过程中 擦除掉的剩余特征；
[0026]步骤4.3：采用通道注意力机制从剩余特征中提取内容相关特征；
[0027]步骤4.4：将内容相关特征与实例归一化后的的特征进行特征融合，获取不 具有样式风格的行人特征。
[0028]5、根据权利要求4所述的步态识别模型，其特征在于，步骤4.3中的基于 通道注意力机制的内容特征提取方法为：
[0029]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于姿态与样式归一化的换衣行人重识别方法，其特征在于，包括以下步骤：步骤1.1：使用姿态编码器与服装外观编码器对目标图库与检索图库中的行人进行姿态特征与服装外观特征的提取，并利用解码器进行交叉重建与自我重建。步骤1.2：将生成的行人图像通过归一化模块进行样式擦除，利用内容注意力机制恢复因擦除丢失的内容鉴别性特征；步骤1.3：擦除后的行人特征通过双通道结构将利用姿态估计获取的行人局部特征和利用主干网络提取的全局特征进行特征融合；步骤1.4：通过欧氏距离度量，输出行人的身份信息。2.根据权利要求1所述的一种姿态与样式归一化的换衣行人重识别方法，其特征在于，所述步骤1.1中行人姿态服装互换的方法如下：步骤2.1：利用姿态编码器与外观编码器分别对行人的姿态与服装外观进行特征提取,其中姿态编码器是浅层网络，先经过四个卷积层进行特征提取，然后接着四个跳跃连接块，其中每个卷积层的输入输出通道都为256，卷积核的大小为3x3，步幅和填充都为1，随后进行组归一化并采用线性整流函数作为激活函数。在进行姿态编码时先对原始输入图像1
×
256
×
128进行灰度化操作即通道数设为1，并经过两个下采样层，防止外观信息进行干扰，姿态编码器输出的姿态特征尺寸为128
×
64
×
32；服装外观编码器则是利用在ImageNet上预训练好的ResNet50进行改进，其中删除了全局平均池化层和完全连接层，取而代之的是最大池化层，输出的服装外观代码尺寸为2048
×4×
1。步骤2.2：将解耦出的行人姿态特征与服装外观特征交叉组合，利用解码器生成同一姿态不同服装以及同一服装不同姿态的行人图像；步骤2.3：通过判别器来判断生成的图像是否逼真，并采用对抗性损失来匹配生成图像的分布与实际数据分布，其中对抗约束如下：其中x
i
∈D
query
，D
query
＝{x
i
|i＝1,2,...,n}，D
query
是指query里的目标行人数据集，其中n是数据集中的样本数量。D是判别器，G是生成器，f
ip
,分别代表x
i
的姿态特征和x
j
的服装外观特征，其中x
j
∈D
gallery
，D
gallery
是指gallery里的行人数据集,f
ia
分别代表x
j
的姿态特征和x
i
的服装外观特征。3.根据权利要求2所述的行人姿态服装互换方法，其特征在于，步骤2.2中姿态服装特征交叉生成的方法为：步骤3.1：利用姿态编码器和服装外观编码器提取姿态特征和服装外观特征，在提取姿态特征时...

【专利技术属性】
技术研发人员：成科扬，梁赛，司宇，张海烽，严浏阳，沈维杰，
申请(专利权)人：镇江昭远智能科技有限公司南京昭视智能科技有限公司，
类型：发明
国别省市：