【技术实现步骤摘要】
本专利技术属于跨模态行人重识别领域，具体的说是涉及一种基于煤矿场景的跨模态行人重识别方法。
技术介绍
1、随着经济与科技的高速发展，公共场所下保障人身和财产安全愈加重要。政府和相关部门加大对智能安防的投入，越来越多的摄像头在公共场所投入使用，智能监控深入人们生活，成为处理安全问题和应急事件的重要工具。在此背景下，行人重识别(personre-identification，re-id)技术引起了学者们的广泛关注并取得了迅速发展。大多数现有的行人重识别方法致力于检索相机在白天捕获的可见光图像，然而这些方法在煤矿场景中的低光照环境尤其是黑暗环境下不能有效地检索到行人信息，限制了其有效的实际应用，为此，跨模态行人重识别应运而生，近些年来，研究人员提出用于解决跨模态行人重识别问题的方法主要分为两类：第一，基于特征共享的方法，聚焦行人在跨模态图像下共享特征的学习，以此缩小模态间差异；第二，基于特征补充的方法，通过学习不同部位的特征从而达到相互补充的目的。
2、但现有技术中的跨模态行人重识别存在以下缺陷：第一，现有的跨模态数据集通常在样本的多样性和丰富性方面存在明显不足，行人样本的数量和覆盖范围远不及单模态数据集，尤其在煤矿环境中，光照变化、人员穿着、尘土和烟雾等因素导致的环境变化，进一步限制了数据集的代表性和多样性，泛化能力受到极大限制；由于煤矿作业场所普遍存在低光照、高温、烟雾等环境因素，红外成像受到极大影响，往往分辨率较差，且图像细节较为模糊，低质量的图像不仅增加了特征提取的难度，还容易引入噪声和伪影，进一步影响模型的训练效
3、第二，现有基于特征共享的行人重识别方法，在煤矿等复杂环境中的应用面临图像的特征信息的丢失较为严重且有效频率信息存在大量丢失的问题。具体来看：获取的特征信息极易受到煤矿场景下工作人员姿态变化、煤矿作业场所下噪声干扰等因素的影响，导致模型在训练过程中难以接触到足够多的身份、姿态、视角和环境变化等多样性信息，直接导致重要的图像特征信息的丢失，尤其是大量有效的频率信息的损失。
4、第三，现有基于特征补充的行人重识别方法，在煤矿等特殊环境中的应用面临诸多挑战，行人样本间缺少充分的交互且难以提取到更多的有效行人特征。具体来看，受煤矿环境下的红外图像的对比度较低，纹理信息不够丰富等因素影响，补充特征往往难以全面反映行人的真实身份信息，模型在提取有效的行人特征时面临较大困难，难以处理异质信息之间的差异；且由于煤矿作业区域的环境复杂，烟尘、光照不足等因素，且特征补充方法主要关注单个样本的特征增强，缺乏对样本间关系的深入挖掘，导致行人样本间缺少充分的交互和信息共享，限制模型对行人身份的准确判断，影响其在复杂场景下的泛化能力和鲁棒性。
技术实现思路
1、为了解决现有技术中行人图像数据集样本不够丰富、行人特征信息易丢失和行人图像质量普遍较低等问题，本专利技术提供了一种基于煤矿场景的跨模态行人重识别方法，有效融合跨模态间的图像特征和有效挖掘行人图像的特征信息。
2、为了达到上述目的，本专利技术是通过以下技术方案实现的：
3、本专利技术是一种基于煤矿场景的跨模态行人重识别方法，具体包括以下步骤：
4、步骤1、从煤矿红外光图像和煤矿可见光图像中获取表示行人图像的身份及行人图像对应的身份标签，每一个不同模态的行人图像均包含有可见光图像和红外光图像，并对可见光图像和红外光图像进行预处理，将可见光图像和红外光图像经过文本预训练模型进行预处理，得到经过文本预训练模型补充缺失色彩信息后的可见光图像特征和红外光图像特征；
5、步骤2、构建基于关系建模和频谱变换的跨模态行人重识别主干网络，所述跨模态行人重识别主干网络主要包括：颜色编码器、文本编码器、片段关系建模模块、通道频谱变换模块以及可见光纹理编码器、联合关系编码器、红外纹理编码器；其中，所述片段关系建模模块包括视觉区域图像建模模块和文本区域语义建模模块，并在所述视觉区域图像建模和文本区域语义建模的每部分加入全局-局部交叉注意力机制，通过捕获片段关系建模模块中的上下文信息，学习到具有区分性的跨模态嵌入知识，进而学习到整体嵌入；
6、步骤3、构建多尺度特征增强模块并加入至步骤2的所述跨模态行人重识别主干网络中，用于增强跨模态行人重识别主干网络对目标对象的感知，获取更加丰富的行人图像特征；
7、步骤4、确定损失函数，完成跨模态行人重识别主干网络的最终训练；
8、步骤5、将其中一个模态行人图像作为查询集，另一模态行人图像作为待检索集，将查询集中的行人图像与待检索集中的行人图像进行匹配，得到跨模态行人重识别结果。
9、本专利技术的进一步改进在于：在所述步骤2中，所述跨模态行人重识别主干网络还包括可见光纹理编码器、联合关系编码器、红外纹理编码器，可见光图像和红外光图像经过构建的跨模态行人重识别主干网络，可见光图像和红外光图像路径分别为：可见光路径、红外路径和可见光-红外共享路径：
10、针对可见光路径，输入为可见光图像，可见光图像经过跨模态行人重识别主干网的过程为：可见光图像进入颜色编码器并通过视觉区域图像建模模块获取颜色特征，与通过可见光纹理编码器获取的纹理特征共同进入可见光联合关系编码器进行充分融合；
11、针对红外路径，输入为步骤1中经过文本预训练模型补充缺失色彩信息后的图像特征，经过跨模态行人重识别主干网的过程为：进入文本编码器并通过文本区域语义建模模块获取文本特征，与通过红外纹理编码器获取的纹理特征共同进入红外联合关系编码器进行充分融合；
12、针对可见光-红外共享路径，其过程为：将可见光路径和红外路径获取的纹理特征进入参数共享的特征增强网络提高跨模态行人重识别主干网络对可见光图像和红外图像的区域感知能力，并通过通道频谱变化模块获取更多有用频谱信息，最终通过损失函数进行约束。
13、本专利技术的进一步改进在于：步骤2中的所述全局-局部交叉注意力机制学习到具有区分性的跨模态嵌入知识，进而学习到整体嵌入，具体包括如下步骤：
14、步骤2.1.1、通过计算从片段关系建模模块的低层至片段关系建模模块的高层之间的注意力矩阵的乘积，计算出从片段关系建模模块的低层至片段关系建模模块的高层之间的区域的这个指定区块的累计注意力分数，得到注意力图，其计算过程描述为：
15、
16、其中，表示对注意力权重的重新归一化，s表示为每一层的加权注意力矩阵，表示矩阵乘法运算，1-i表示为从第1层到第i层，由此，从输入层传播到更高层时的信息；
17、步骤2.1.2、通过聚合注意力图挖掘高响应区域，表示为类嵌入的累计加权，并从查询矩阵qi中选择排名为前r的查询向量以此重新构建新的查询矩阵ql，用以表示最关注的局部嵌入信息；
18、步骤2.1.3、由构建的新的查询矩阵ql和整个键-值对的全局集合，计算交叉注意力得到注意力权重矩阵，具体计算过程为：
19、
20、其中，d为输入特本文档来自技高网...
【技术保护点】
1.一种基于煤矿场景的跨模态行人重识别方法，其特征在于：所述煤矿场景跨模态行人重识别方法具体包括以下步骤：
2.根据权利要求1所述的一种基于煤矿场景的跨模态行人重识别方法，其特征在于：在所述步骤2中，所述跨模态行人重识别主干网络还包括可见光纹理编码器、联合关系编码器、红外纹理编码器，可见光图像和红外光图像经过构建的跨模态行人重识别主干网络，可见光图像和红外光图像路径分别为：可见光路径、红外路径和可见光-红外共享路径：
3.根据权利要求1所述的一种基于煤矿场景的跨模态行人重识别方法，其特征在于：步骤2中的所述全局-局部交叉注意力机制学习到具有区分性的跨模态嵌入知识，进而学习到整体嵌入，具体包括如下步骤：
4.根据权利要求1所述的一种基于煤矿场景的跨模态行人重识别方法，其特征在于：步骤2中，所述视觉区域图像建模模块包括区域映射、区域特征语义和样本片段交互三个部分，具体包括如下步骤：
5.根据权利要求1所述的一种基于煤矿场景的跨模态行人重识别方法，其特征在于：步骤2中，所述文本区域语义建模包括区域映射、词汇特征语义和样本片段交互三个部分，
6.根据权利要求1所述的一种基于煤矿场景的跨模态行人重识别方法，其特征在于：在所述步骤2中，在所述全局-局部交叉注意力机制中加入通道频谱变换模块，通过通道频谱变换模块进行离散余弦变换，具体的变换过程包括如下步骤：
7.根据权利要求1所述的一种基于煤矿场景的跨模态行人重识别方法，其特征在于：步骤3中的多尺度特征增强模块采用三个不同分支的卷积生成结构，每个分支结构均具有不同的卷积配置，提取到多个可区分的语义信息，增强目标的特征表示，通过多尺度特征增强模块进行特征增强，具体过程为：
8.根据权利要求2所述的一种基于煤矿场景的跨模态行人重识别方法，其特征在于：在所述步骤4中，使用正交投影损失函数、交叉熵损失函数、三元组损失函数、中心引导对挖掘损失函数、KL散度损失函数共同约束模型训练过程，编码器和编码器后的特征通过KL散度损失函数优化，通过编码器和编码器后的特征通过三元组损失函数进行优化，通过可见光-红外共享路径后的特征通过中心引导对挖掘损失函数、交叉熵损失函数和正交投影损失函数共同优化。
9.根据权利要求8所述的一种基于煤矿场景的跨模态行人重识别方法，其特征在于：所述正交投影损失函数的计算过程为：
10.根据权利要求8所述的一种基于煤矿场景的跨模态行人重识别方法，其特征在于：所述交叉熵损失函数用于行人检索过程中的身份识别，把跨模态行人重识别任务当作图像分类任务，其计算过程可表示为：
...【技术特征摘要】
1.一种基于煤矿场景的跨模态行人重识别方法，其特征在于：所述煤矿场景跨模态行人重识别方法具体包括以下步骤：
2.根据权利要求1所述的一种基于煤矿场景的跨模态行人重识别方法，其特征在于：在所述步骤2中，所述跨模态行人重识别主干网络还包括可见光纹理编码器、联合关系编码器、红外纹理编码器，可见光图像和红外光图像经过构建的跨模态行人重识别主干网络，可见光图像和红外光图像路径分别为：可见光路径、红外路径和可见光-红外共享路径：
3.根据权利要求1所述的一种基于煤矿场景的跨模态行人重识别方法，其特征在于：步骤2中的所述全局-局部交叉注意力机制学习到具有区分性的跨模态嵌入知识，进而学习到整体嵌入，具体包括如下步骤：
4.根据权利要求1所述的一种基于煤矿场景的跨模态行人重识别方法，其特征在于：步骤2中，所述视觉区域图像建模模块包括区域映射、区域特征语义和样本片段交互三个部分，具体包括如下步骤：
5.根据权利要求1所述的一种基于煤矿场景的跨模态行人重识别方法，其特征在于：步骤2中，所述文本区域语义建模包括区域映射、词汇特征语义和样本片段交互三个部分，具体包括如下步骤：
6.根据权利要求1所述的一种基于煤矿场景的跨模态行人重识别方法，其特征在于：在所述步骤2中，在所述全局-局部...
【专利技术属性】
技术研发人员：常猛，相吉利，王忠贺，柴春苗，程宇，姬广凯，
申请(专利权)人：济宁安泰矿山设备制造有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。