本发明专利技术提供了一种基于数据增强和图匹配的跨模态行人重识别方法，利用可见光相机和红外相机分别收集行人图像作为可见光域和红外域训练图像；将可见光域和红外域的行人图像输入到带有U‑Net结构的循环生成对抗网络进行数据增强；使用主干网络ResNet50和AGW分别提取可见光图像和红外图像的特征，并分别使用DBSCAN对其特征进行聚类；通过图匹配找出可见光‑红外的对应关系，获得匹配结果。本发明专利技术通过将图像进行数据增强并分别进行特征提取和分类，最后进行图匹配得到不同模态行人图像匹配的结果。本发明专利技术在减少模态间差异的同时还能提供更可靠的交叉模态对应。
【技术实现步骤摘要】
本专利技术属于机器视觉领域，具体是一种基于数据增强和图匹配的跨模态行人重识别方法。
技术介绍
1、可见光-红外行人重识别的目标是在给定一种模态图像的情况下，在另一组模态图库图像中识别出同一个行人。由于其在夜间智能监控和公共安全中的重要性，近年来受到了广泛关注。现有的跨膜态行人重识别技术主要依赖于高质量的带标签训练集，而这样的训练集难以获得。同时可见光图像与红外图像存在较大的模态差异，并且红外图像数据量远少于可见光图像，不利于模型的训练。因此它们在真实场景中的应用受到限制。针对以上问题，现有的不依赖高质量标注数据方法主要使用了无监督的解决方案，但在可见-红外异构空间中，由于跨模态差异远大于每个模态内部的类间差异，即存在较大的模态差距，所以无法保持特征和语义的一致性。针对模态差异现有的主要方法是基于共享模态特征学习，即使用共享网络提取可见光图像和红外图像的模态无关特征来进行跨模态行人匹配，但特定模态信息对于行人重识别有重要的价值，使用该方法会限制行人特征的表征能力影响可见光-红外行人重识别的性能。
技术实现思路
1、专利技术目的：为了克服上述现有技术的缺点，本专利技术提供一种基于数据增强和图匹配的跨模态行人重识别方法，以解决跨模态行人重识别精度不高的问题。
2、技术方案：本专利技术公开一种基于数据增强和图匹配的跨模态行人重识别方法，包括如下步骤：
3、步骤1：利用可见光相机收集行人图像作为可见光域训练图像，利用红外相机收集行人图像作为红外域训练图像；
>4、步骤2：将可见光域和红外域的行人图像分别输入到带有u-net结构的循环生成对抗网络进行数据增强，生成伪可见光图像和伪红外图像；将可见光图像和伪可见光图像组合成新的可见光图像数据集，将红外图像和伪红外图像组合成新的红外图像数据集；5、步骤3：使用主干网络resnet50和agw分别提取可见光图像和红外图像的特征，并分别使用dbscan对其提取到的特征进行聚类；
6、步骤4：通过图匹配找出可见光-红外的对应关系，获得跨模态行人重识别匹配结果。
7、进一步地，所述步骤1的具体方法为：
8、步骤1.1：使用可见光相机获取可见光图像数据集；对图像进行数据清洗，包括：去除重复，高斯滤波和图片缩放；labelme标注工具对行人进行身份标注；
9、步骤1.2：使用红外相机获取红外图像数据集；对图像进行数据清洗，包括：去除重复，高斯滤波和图片缩放；labelme标注工具对行人进行身份标注。
10、进一步地，所述步骤2的具体方法为：
11、步骤2.1：将图像输入到带有u-net结构的循环生成对抗网络，带有u-net结构的循环生成对抗网络包括生成器网络和判别器网络两部分；生成器网络使用u-net结构作为生成器，u-net由编码器和解码器组成，编码器负责逐层提取特征，解码器负责逐层恢复图像；在编码器和解码器之间添加跳跃连接，将编码器各层的特征直接传递给解码器对应层，保留更多的原始图像细节；判别器使用多尺度判别器结构；
12、步骤2.2：衡量生成图像与真实图像之间的差异，确保生成的图像与目标模态图像相似，对抗损失函数为：
13、
14、
15、
16、其中，xg表示可见光图像样本，xi表示红外图像样本；gg2i表示将可见光图像转换为红外图像的生成器，gi2g表示生成器将红外图像转换为可见光图像的生成器；di表示用于判别生成的红外图像和真实红外图像的判别器，dg表示用于判别生成的可见光图像和真实可见光图像的判别器；pdata(xg)表示可见光图像的真实数据分布，pdata(xi)表示红外图像的真实数据分布；表示期望值；表示生成的红外图像和红外图像之间的对抗损失函数，表示生成的可见光图像和可见光图像之间的对抗损失函数，表示和之和；
17、步骤2.3：设计循环一致性损失确保图像在两个模态之间转换后的细节保留；身份损失用来确保转换后的图像仍然保持原始图像的身份信息；重构损失确保生成的图像与输入图像在模态转换后保持一致；具体损失函数如下所示：
18、
19、
20、
21、
22、
23、
24、
25、其中，||.||1表示l1范数，||.||2表示l2范数；gg2i(xg)表示从可见光图像转换到红外图像，gi2g(xi)表示从红外图像转换到可见光图像；gi2g(gg2i(xg))表示把生成的红外图像再转换回可见光图像，gg2i(gi2g(xi))表示把生成的可见光图像再转换回红外图像；和分别表示生成可见光图像和红外图像的循环一致性损失，表示和之和；和分别表示可见光图像和红外图像的预测得分，y表示真实的身份标签，和分别表示可见光图像和红外图像的身份损失函数，表示和的身份损失之和；和分别表示生成可见光图像和红外图像的重构损失，表示和之和。
26、步骤2.4：将对抗损失、循环一致性损失、身份损失和重构损失结合起来，形成综合损失函数，具体如下：
27、
28、其中，λ1和λ2为加权系数。
29、进一步地，所述步骤3的具体方法为：
30、步骤3.1：将步骤2中生成的伪可见光图像和可见光图像去除身份标签组合起来形成新的可见光数据集，生成的伪红外图像和红外图像去除身份标签组合起来形成新的可见光数据集；将可见光图像数据集输入到resnet50主干网络中进行特征提取，提取到的可见光特征集合；红外图像数据集输入到agw主干网络中进行特征提取，提取到的红外特征集合；
31、步骤3.2：分别对可见光图像特征和红外图像特征使用dbscan进行聚类，可见光图像特征在聚类完成后打上身份标签；红外图像特征在聚类完成后打上身份标签；
32、步骤3.3：分别对可见光聚类和红外聚类使用以下对比损失函数进行训练：
33、
34、其中，表示单膜态损失函数；fi表示样本i所对应的特征向量，fj表示样本j所对应的特征向量；d(fi,fj)和表示两特征之间的欧式距离；a是二值标签，表示样本对是否来自同一类别，值为1表示同一类别，值为0表示不同类别；m是一个阈值或边界，当两个样本不相似时，它们的距离至少要大于m；完成训练后，实现了单模态的行人重识别任务。
35、步骤3.4：在聚类结果中，找出每一簇离簇中心最近的样本点特征，用该特征代表该簇；进一步可以得到可见光特征集合为和红外特征集合为为后续的跨膜态行人重识别任务做准备。
36、进一步地，所述步骤4的具体方法为：
37、步骤4.1：构建两个图gvis＝(vvis,evis)和gir＝(vir,eir)，其中节点集合vvis和vir分别代表步骤3.4所提取的可见光和红外图像特征，边集合evis和eir代表特征之间的相似度；
38、步骤4.2：计算可见光特征与红外特征之间的相本文档来自技高网...
【技术保护点】
1.一种基于数据增强和图匹配的跨模态行人重识别方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于数据增强和图匹配的跨模态行人重识别方法，其特征在于，所述步骤1的具体方法为：
3.根据权利要求1所述的一种基于数据增强和图匹配的跨模态行人重识别方法，其特征在于，所述步骤2的具体方法为：
4.根据权利要求1所述的一种基于数据增强和图匹配的跨模态行人重识别方法，其特征在于，所述步骤3的具体方法为：
5.根据权利要求4所述的一种基于数据增强和图匹配的跨模态行人重识别方法，其特征在于，所述步骤4的具体方法为：
【技术特征摘要】
1.一种基于数据增强和图匹配的跨模态行人重识别方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于数据增强和图匹配的跨模态行人重识别方法，其特征在于，所述步骤1的具体方法为：
3.根据权利要求1所述的一种基于数据增强和图匹配的跨模态行人重识别方法...
【专利技术属性】
技术研发人员：马甲林，林俊锋，陈伟，王浩，丁伟国，尤洪峰，翟中豪，汪涛，
申请(专利权)人：淮阴工学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。