一种基于多特征学习的跨模态行人重识别方法及系统技术方案

本发明专利技术提出一种基于多特征学习的跨模态行人重识别方法及系统，包括：获取若干批次的可见光图像和红外图像，并输入包括双流网络的跨模态行人重识别模型中，模型输出可见光图像和红外图像的全局特征和局部特征。根据全局特征和局部特征，计算困难五元组损失、全局身份损失和特定身份损失以构建模型的整体损失函数。根据整体损失函数对模型进行参数优化；将待测试的行人的可见光图像、红外图像以及待识别的目标图像输入优化后的模型中，模型输出行人重识别结果。本发明专利技术考虑了两种模态图像的全局特征以及局部特征，弥补了仅使用一种特征来进行行人重识别造成的不足，增强了模型特征的辨别性和鲁棒性，提高了跨模态行人重识别的识别精度。别精度。别精度。

【技术实现步骤摘要】
一种基于多特征学习的跨模态行人重识别方法及系统


[0001]本专利技术涉及图像识别领域，更具体地，涉及一种基于多特征学习的跨模态行人重识别方法及系统。

技术介绍

[0002]行人重识别是指给定一幅待识别行人的图片，在不同摄像头采集的不同图像中通过人员匹配找出具有相同身份的人员。可见光
‑
红外图像跨模态行人重识别方法，可以使得两种模态的行人图像能够相互匹配，充分利用可见光和红外摄像头拍摄到的监控数据，达到24小时监控的目的。
[0003]现有一种基于双流卷积神经网络的跨模态行人重识别方法和系统，其通过使用两个卷积神经网络中的特征提取部分，并采用交叉熵损失函数、跨模态三元组损失函数、相对熵损失函数和随机调换策略对两个卷积神经网络在跨模态数据集上进行训练，分别提取两个模态图像的特征，再将两个模态的特征进行欧氏距离度量得到特征匹配结果，实现跨模态行人重识别。
[0004]然而，可见光图像和红外图像不仅模态间有区别，而且即使在同一模态内，由于行人姿态、监控视角和光照强度的变化，也会使得同一模态中同一身份的图像之间产生诸多差异。上述方法仅使用两个模态图像的全局特征来进行行人重识别，仅使用单一特征信息的方法使得模型对图像的信息提取不够充分，可能导致模型对一些信息过分依赖，影响模型从图像库中检测目标行人的准确性。

技术实现思路

[0005]本专利技术为克服现有技术中存在的仅使用图像的全局特征或局部特征来进行跨模态行人重识别，导致识别准确性低的缺陷，提供一种基于多特征学习的跨模态行人重识别方法及系统。
[0006]为解决上述技术问题，本专利技术的技术方案如下：
[0007]第一个方面，本专利技术提出一种基于多特征学习的跨模态行人重识别方法，包括以下步骤：
[0008]S1：构建包括双流网络的跨模态行人重识别模型；
[0009]S2：随机获取若干批次行人的可见光图像和红外图像，构建训练集和测试集；
[0010]S3：按批次将所述可见光图像和所述红外图像分别输入跨模态行人重识别模型中，跨模态行人重识别模型输出可见光图像和红外图像的全局特征，以及可见光图像和红外图像局部特征；
[0011]S4：根据所述全局特征计算困难五元组损失和全局身份损失，根据所述局部特征计算特定身份损失；
[0012]S5：根据困难五元组损失、全局身份损失和特定身份损失构建跨模态行人重识别模型的整体损失函数，根据所述整体损失函数对跨模态行人重识别模型进行参数优化；
[0013]S6：将测试集中的图像和待识别的目标图像输入优化后的跨模态行人重识别模型，计算待识别的目标图像与测试集中的图像之间的特征相似度，输出测试集中前M张与待识别的目标图像特征相似度最高的图像，作为行人重识别结果。
[0014]优选地，S3中，随机获取若干批次行人的可见光图像和红外图像，每一批次包括N类行人的P张可见光图像和P张红外图像，共2NP张图像。
[0015]对可见光图像和红外图像的三维张量进行全局平均池化，得到可见光图像和红外图像的全局特征。
[0016]将可见光图像和红外图像的三维张量水平分割为K个水平部分张量，对所述K个水平部分张量进行全局平均池化，得到K个列向量；采用卷积层对所述K个列向量进行降维，得到可见光图像和红外图像的局部特征。
[0017]优选地，S4中，根据可见光图像和红外图像的全局特征计算困难五元组损失L
HP
，其计算公式如下所示：
[0018][0019]其中，N表示行人的类别数，P表示可见光图像或红外图像的数量，L
hgt
表示困难全局三元组损失，L
hct
表示困难跨模态三元组损失；
[0020]所述困难全局三元组损失L
hgt
的计算公式如下所示：
[0021][0022]其中，p＝1
…
2P,a＝1
…
2P,p≠a,n＝1
…
2P,i＝1
…
N,j＝1
…
N,j≠i，α表示图像之间最大欧式距离和最小欧式距离之差；f
ia
表示行人类别为i的第a张图像的全局特征，f
ip
表示行人类别为i的第p张图像的全局特征，表示行人类别为j的第n张图像的全局特征；表示行人类别为i的第a张图像与行人类别为i的第n张图像的最大欧式距离，表示行人类别为i的第a张图像与行人类别为j的第n张图像的最小欧式距离；函数[*]+
中，若*大于0，[*]+
输出*，若*小于或等于0，[*]+
输出为0；
[0023]所述困难跨模态三元组损失L
hct
的计算公式如下所示：
[0024][0025]其中，f
icp
表示行人类别为i且与f
ia
不属于同一模态图像的全局特征，表示行人类别为j且与f
ia
不属于同一模态图像的全局特征；表示行人类别为i的第a张图像与另一个模态中行人类别为j的图像中的最小欧式距离，maxd(f
ia
,f
icp
)表示行人类别为i的第a张图像与另一个模态中行人类别为i的图像的最大欧式距离。
[0026]优选地，S4中，使用全局分类器，对所述全局特征进行身份分类，计算交叉熵损失作为全局身份损失L
id
，其计算公式如下所示：
[0027][0028]其中，表示第i张可见光图像的标签，V表示可见光图像，表示全局分类器对第i张可见光图像进行分类的概率结果；为第i张红外图像的标签，I表示红外图像，表示全局分类器对第i张红外图像进行分类的概率结果。
[0029]优选地，S4中，使用可见光分类器对可见光图像的局部特征进行身份分类，使用红外分类器对红外图像对应的局部特征进行身份分类，计算交叉熵损失作为特定身份损失L
sid
，其计算公式如下所示：
[0030][0031]其中，表示可见光分类器对第i张可见光图像的第j个局部特征进行分类的概率结果，表示红外分类器对第i张红外图像的第j个局部特征进行分类的概率结果。
[0032]则根据困难五元组损失L
HP
、全局身份损失L
id
和特定身份损失L
sid
构建跨模态行人重识别模型的整体损失函数L，其表达式如下所示：
[0033]L＝L
id
+L
HP
+λL
sid
[0034]其中，λ为损失函数的权重参数。
[0035]优选地，S1中，所述双流网络包括可见光模态网络和红外模态网络；
[0036]所述可见光模态网络包括第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、第五卷积模块、第六卷积模块、第一水平分割模块、第一池化层、可见光分类器和第一全局分类器；所述第一卷积模块、第二卷积模块、第三卷积模块、第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征学习的跨模态行人重识别方法，其特征在于，包括以下步骤：S1：构建包括双流网络的跨模态行人重识别模型；S2：随机获取若干批次行人的可见光图像和红外图像，构建训练集和测试集；S3：按批次将所述可见光图像和所述红外图像分别输入跨模态行人重识别模型中，跨模态行人重识别模型输出可见光图像和红外图像的全局特征，以及可见光图像和红外图像局部特征；S4：根据所述全局特征计算困难五元组损失和全局身份损失，根据所述局部特征计算特定身份损失；S5：根据困难五元组损失、全局身份损失和特定身份损失构建跨模态行人重识别模型的整体损失函数，根据所述整体损失函数对跨模态行人重识别模型进行参数优化；S6：将测试集中的图像和待识别的目标图像输入优化后的跨模态行人重识别模型，计算待识别的目标图像与测试集中的图像之间的特征相似度，输出测试集中前M张与待识别的目标图像特征相似度最高的图像，作为行人重识别结果。2.根据权利要求1所述的基于多特征学习的跨模态行人重识别方法，其特征在于，S3中，将所述可见光图像和红外图像分别输入跨模态行人重识别模型中，分别得到可见光图像和红外图像的三维张量；对可见光图像和红外图像的三维张量进行全局平均池化，得到可见光图像和红外图像的全局特征；将可见光图像和红外图像的三维张量水平分割为K个水平部分张量，对所述K个水平部分张量进行全局平均池化，得到K个列向量；采用卷积层对所述k个列向量进行降维，得到可见光图像和红外图像的局部特征。3.根据权利要求1所述的基于多特征学习的跨模态行人重识别方法，其特征在于，S2中，随机获取若干批次行人的可见光图像和红外图像，每一批次包括N类行人的P张可见光图像和P张红外图像，共2NP张图像。4.根据权利要求3所述的基于多特征学习的跨模态行人重识别方法，其特征在于，S4中，根据可见光图像和红外图像的全局特征计算困难五元组损失L
HP
，其计算公式如下所示：其中，N表示行人的类别数，P表示可见光图像或红外图像的数量，L
hgt
表示困难全局三元组损失，L
hct
表示困难跨模态三元组损失；所述困难全局三元组损失L
hgt
的计算公式如下所示：其中，p＝1...2P，a＝1...2P，p≠a，n＝1...2P，i＝1...N，j＝1...N，j≠i，α表示图像之间最大欧式距离和最小欧式距离之差；f
ia
表示行人类别为i的第a张图像的全局特征，f
ip
表示行人类别为i的第p张图像的全局特征，f
jn
表示行人类别为j的第n张图像的全局特征；max d(f
ia
，f
ip
)表示行人类别为i的第a张图像与行人类别为i的第n张图像的最大欧式距离，min d(f
ia
，f
jn
)表示行人类别为i的第a张图像与行人类别为j的第n张图像的最小欧式
距离；函数[*]
+
中，若*大于0，[*]
+
输出*，若*小于或等于0，[*]
+
输出为0；所述困难跨模态三元组损失L
hct
的计算公式如下所示：其中，f
icp
表示行人类别为i且与f
ia
不属于同一模态图像的全局特征，表示行人类别为j且与f
ia
不属于同一模态图像的全局特征；表示行人类别为i的第a张图像与另一个模态中行人类别为j的图像中的最小欧式距离，maxd(f
ia
，f
icp
)表示行人类别为i的第a张图像与另一个模态中行人类别为i的图像的最大欧式距离。5.根据权利要求4所述的基于多特征学习的跨模态行人重识别方法，其特征在于，S4中，使用全局分类器，对所述全局特征进行身份分类，计算交叉熵...

【专利技术属性】
技术研发人员：郭思琦，谭台哲，
申请(专利权)人：河源市湾区数字经济技术创新中心，
类型：发明
国别省市：