【技术实现步骤摘要】
本专利技术涉及图像处理、模式识别，具体涉及一种协同分割辅助的跨模态行人重识别方法、系统、设备及介质。
技术介绍
1、行人重识别技术能够在不同相机的视野下找到相同身份的目标行人。现有的行人重识别技术主要集中在可见光下的行人重识别，但可见光相机在黑暗情况下无法捕获有效的行人信息，因此许多新型摄像头在夜间会自动转换为红外摄像头从而有效捕获行人信息。
2、可见光和红外重识别面临着两个主要挑战，即跨模态差异和内部模态差异，跨模态差异是由可见光图像和红外图像之间固有差异引起的；而内部模态差异则是由于个体的视角、姿势和曝光等方面的差异所造成的；因此具有性能低，泛化困难，计算成本高的缺点。
3、现有的大多数模型尝试捕捉跨模态与内部模态这两种模态中同时存在的具有区分性的特征(即模态共享特征)，以同时应对这些挑战。然而，跨模态变化不仅导致可见光特征和红外特征之间具有不同的特征分布，还会干扰一个模态内部的许多行人区分信息，因此具有结果不准确、计算成本高、结构复杂等缺点。行人分割子网络通过预测行人掩码来直接帮助共享的特征提取器，为vi-reid提取丰富的与行人相关的语义信息。同时，由行人分割子网络提取的行人语义信息也可以引入vi-reid子网络以进一步提升性能，从而实现大幅度的性能改进。然而，这个模型主要关注不同任务之间的关系，但忽略了跨模态特征之间的关系，因此也容易导致次优的结果。此外，它还引入了额外的计算成本，因为需要额外的分割子网络，因此具有结果不准确、计算成本高、结构复杂的缺点。
4、申请号为[cn20231
5、申请号为[202310707709.4]的专利申请，公开了一种基于双注意力感知融合网络的跨模态行人重识别方法，通过一种双注意力感知融合方法对模态内与模态间信息交互融合，减少模态间隙对跨模态行人重识别的影响；为了从模态内和模态间对齐样本分布，本专利技术从度量学习角度设计了一种特征相关性判断，它利用同类样本间的相似性与异类样本间的排他性形成监督信息来对特征样本间的相关性进行建模，目的是期望同类人物id特征样本更相似，异类人物id特征样本更不相似；与常规标准交叉熵损失配合训练，使得模型提取的特征获得更好的空间分布；由于只是简单的对多模态特征进行自注意力特征融合，不能很好的融合跨模态特征，不能很好地提取模态共享特征，因此具有跨模态特征差异大的缺点。
技术实现思路
1、为了克服上述现有技术的缺点，本专利技术的目的在于提供一种协同分割辅助的跨模态行人重识别方法、系统、设备及介质，通过在协同分割辅助模块的帮助下从输入图像中提取更多的行人特征信息，通过跨模态中心加权生成ccmg模块提取模态共享可见光-红外特征之间的关系，捕捉到更具辨别力的行人相关特征，因此具有重识别结果准确、性能高、跨模态特征差异小、提取结果准确、计算成本低的特点。
2、为了实现上述目的，本专利技术采用的技术方案是：
3、一种协同分割辅助的跨模态行人重识别方法，包括以下步骤：
4、步骤1，收集可见光行人图像以及红外行人图像，将这些图像进行预处理，得到预处理后的可见光图像以及红外图像；
5、步骤2，将步骤1得到的预处理后的可见光图像输入到构建基于协同分割的多模态可见光图像特征提取器，预处理后的红外图像输入到构建基于协同分割的多模态红外图像特征提取器，得到可见光特征以及红外特征；
6、步骤3，将步骤2得到的可见光特征以及红外特征输入到协同分割辅助模型中的跨模态中心加权生成ccmg模块，得到融合特征，将融合特征输入到语义分割解码器中，得到行人掩码结果；将步骤2得到可见光特征以及红外特征输入到跨模态行人重识别模块，得到跨模态行人重识别结果；
7、步骤4，将步骤3得到的行人掩码结果与真实行人掩码结果进行损失计算，同时将跨模态行人重识别结果与真实行人重识别结果进行损失计算，根据损失值进行反向传递，优化多模态可见光图像特征提取器以及多模态红外图像特征提取器，直至训练过程结束，得到优化后的多模态可见光图像特征提取器以及优化后的多模态红外图像特征提取器；
8、步骤5，将步骤1得到的预处理后的可见光图像输入到步骤4得到的优化后的多模态可见光图像特征提取器得到可见光特征；将步骤1得到的预处理后的红外图像输入到步骤4得到的优化后的多模态红外图像特征提取器得到红外特征，将得到的可见光特征以及红外特征输入到跨模态行人重识别模块，得到跨模态行人重识别结果。
9、所述步骤1中的预处理过程具体是：将可见光行人图像以及红外行人图像每边添加宽度为10，设置像素点值为0，使用随机裁剪的方式得到尺寸为288*144的图片，并且随机水平翻转裁剪后的图像，对翻转后的可见光图像进行灰度化处理，得到可见光图像以及红外图像。
10、所述步骤2中的构建基于协同分割的多模态可见光图像特征提取器以及构建基于协同分割的多模态红外图像特征提取器，包括可见光以及红外模态特征提取模块分支，表示为：fr＝convb(xr,ar),fi＝convb(xi,ai)
11、其中，fr为可见光行人图像，fi为红外行人图像，convb(*,ar)表示对可见光图像进行模态特征提取的ar参数子网络，convb(*,ai)表示对红外图像进行模态特征提取的ai参数子网络，convb(*,β)表示具有参数β的子网络，表示可见光模态输出特征维度，表示红外模态输出特征维度；
12、所述的可见光图像进行模态特征提取的ar参数子网络convb(*,ar)，以及红外图像进行模态特征提取的ai参数子网络convb(*,ai)，表示为：
13、fr＝convb(xr,ar)
14、fi＝convb(xi,ai)
15、fs,m＝convb(fm,β)
16、其中，fr为可见光行人图像，fi为红外行人图像，convb(*,ar)表示对可见光图像进行模态特征提取的ar参数子网络，convb(*,ai)表示对红外图像进行模态特征提取的ai参数子网络，convb(*,β)表示具有参数β的子网络，表示可见光模态输出特征维度，表示红外模态输出特征本文档来自技高网...
【技术保护点】
1.一种协同分割辅助的跨模态行人重识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种协同分割辅助的跨模态行人重识别方法，其特征在于，所述步骤1中的预处理过程具体是：将可见光行人图像以及红外行人图像每边添加宽度为10，设置像素点值为0，使用随机裁剪的方式得到尺寸为288*144的图片，并且随机水平翻转裁剪后的图像，对翻转后的可见光图像进行灰度化处理，得到可见光图像以及红外图像。
3.根据权利要求1所述的一种协同分割辅助的跨模态行人重识别方法，其特征在于，所述步骤2中的构建基于协同分割的多模态可见光图像特征提取器以及构建基于协同分割的多模态红外图像特征提取器，包括可见光以及红外模态特征提取模块分支，表示为：FR＝ConvB(XR,aR),FI＝ConvB(XI,aI)
4.根据权利要求1所述的一种协同分割辅助的跨模态行人重识别方法，其特征在于，所述步骤3的具体过程为：
5.根据权利要求1所述的一种协同分割辅助的跨模态行人重识别方法，其特征在于，所述步骤4中使用辅助协同分割行人掩码损失函数以及行人重识别损失函数，优化多模态
6.一种协同分割辅助的跨模态行人重识别系统，其特征在于，包括：
7.一种协同分割辅助的跨模态行人重识别设备，其特征在于，包括：
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现权利要求1-5所述的一种协同分割辅助的跨模态行人重识别方法。
...【技术特征摘要】
1.一种协同分割辅助的跨模态行人重识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种协同分割辅助的跨模态行人重识别方法，其特征在于，所述步骤1中的预处理过程具体是：将可见光行人图像以及红外行人图像每边添加宽度为10，设置像素点值为0，使用随机裁剪的方式得到尺寸为288*144的图片，并且随机水平翻转裁剪后的图像，对翻转后的可见光图像进行灰度化处理，得到可见光图像以及红外图像。
3.根据权利要求1所述的一种协同分割辅助的跨模态行人重识别方法，其特征在于，所述步骤2中的构建基于协同分割的多模态可见光图像特征提取器以及构建基于协同分割的多模态红外图像特征提取器，包括可见光以及红外模态特征提取模块分支，表示为：fr＝convb(xr,...
【专利技术属性】
技术研发人员：黄年昌，傅振阳，邢百超，张强，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。