一种跨模态行人重识别方法、装置、设备和存储介质制造方法及图纸

本发明专利技术公开了一种跨模态行人重识别方法、装置、设备和存储介质。该方法包括：获取待识别行人图像集合，其中，待识别行人图像集合包括：至少两个模态下的待识别行人图像；对待识别行人图像集合中的待识别行人图像进行特征提取，得到待识别行人图像集合中的每个待识别行人图像对应的特征信息；根据待识别行人图像集合中的每个待识别行人图像和待识别行人图像集合中的每个待识别行人图像对应的特征信息构建目标异质图；根据目标异质图确定目标特征；根据目标特征生成目标行人图像。本方案可添加至任意现有跨模态行人重识别方法后面作为后处理，提高现有跨模态行人重识别方法的精度，使得夜晚的智能追踪和人员追捕更加准确，可大力推动智能安防建设。力推动智能安防建设。力推动智能安防建设。

A cross modal pedestrian recognition method, device, equipment and storage medium

【技术实现步骤摘要】
一种跨模态行人重识别方法、装置、设备和存储介质


[0001]本专利技术涉及行人重识别
，尤其涉及一种跨模态行人重识别方法、装置、设备和存储介质。

技术介绍

[0002]跨模态行人重识别在智慧城市安防监控场景发挥着巨大的作用。跨模态行人重识别方法是实现可见光拍摄的人体图片与近红外成像的人体图片之间的相互检索，目标是给定一张可见光拍摄的人体图片进行查询，在近红外成像图片的底库中找到与查询图片身份相同的图片，或者反之，给定一张近红外成像图片进行查询，在可见光拍摄的人体图片底库中找到与查询图片身份相同的图片。
[0003]现有的跨模态行人重识别大多数为通过标签作为媒介，使用统计学习的方法(如今以神经网络为代表)使得网络模型能够提取可见光和近红外行人图片中能够代表身份的有效信息。但是由于近红外与可见光图片的模态相差很大，深度学习网络学习到的特征仍然含有模态特有的、与身份无关的信息(如可见光图片中的颜色信息)，从而导致跨模态检索的精度不够高。

技术实现思路

[0004]本专利技术提供了一种跨模态行人重识别方法、装置、设备和存储介质，以解决现有技术中跨模态行人重识别检索精度不够高的问题，达到了夜晚的智能追踪和人员追捕更加准确的效果，实现了智能安防建设的大力推动。
[0005]根据本专利技术的一方面，提供了一种跨模态行人重识别方法，该方法包括：
[0006]获取待识别行人图像集合，其中，所述待识别行人图像集合包括：至少两个模态下的待识别行人图像；
[0007]对所述待识别行人图像集合中的待识别行人图像进行特征提取，得到待识别行人图像集合中的每个待识别行人图像对应的特征信息；
[0008]根据所述待识别行人图像集合中的每个待识别行人图像和待识别行人图像集合中的每个待识别行人图像对应的特征信息构建目标异质图；
[0009]根据所述目标异质图确定目标特征；
[0010]根据所述目标特征生成目标行人图像。
[0011]根据本专利技术的另一方面，提供了一种跨模态行人重识别装置，该装置包括：
[0012]获取模块，用于获取待识别行人图像集合，其中，所述待识别行人图像集合包括：至少两个模态下的待识别行人图像；
[0013]特征提取模块，用于对所述待识别行人图像集合中的待识别行人图像进行特征提取，得到待识别行人图像集合中的每个待识别行人图像对应的特征信息；
[0014]构建模块，用于根据所述待识别行人图像集合中的每个待识别行人图像和待识别行人图像集合中的每个待识别行人图像对应的特征信息构建目标异质图；
[0015]确定模块，用于根据所述目标异质图确定目标特征；
[0016]生成模块，用于根据所述目标特征生成目标行人图像。
[0017]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0018]至少一个处理器；以及
[0019]与所述至少一个处理器通信连接的存储器；其中，
[0020]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的跨模态行人重识别方法。
[0021]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的跨模态行人重识别方法。
[0022]本专利技术实施例的技术方案，通过获取待识别行人图像集合，其中，待识别行人图像集合包括：至少两个模态下的待识别行人图像；对待识别行人图像集合中的待识别行人图像进行特征提取，得到待识别行人图像集合中的每个待识别行人图像对应的特征信息；根据待识别行人图像集合中的每个待识别行人图像和待识别行人图像集合中的每个待识别行人图像对应的特征信息构建目标异质图；根据目标异质图确定目标特征；根据目标特征生成目标行人图像。本专利技术实施例可添加至任意现有跨模态行人重识别方法后面作为后处理，提高现有跨模态行人重识别方法的精度，使得夜晚的智能追踪和人员追捕更加准确，大力推动智能安防的建设。
[0023]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0024]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0025]图1是根据本专利技术实施例一提供的一种跨模态行人重识别方法的流程图；
[0026]图2a是根据本专利技术实施例一提供的一种第一异质图的示意图；
[0027]图2b是根据本专利技术实施例一提供的对一种第一异质图进行噪声去除的方法示意图；
[0028]图3是根据本专利技术实施例一提供的一种跨模态行人重识别方法的过程示意图；
[0029]图4是根据本专利技术实施例二提供的一种跨模态行人重识别装置的结构示意图；
[0030]图5是实现本专利技术实施例的跨模态行人重识别方法的电子设备的结构示意图。
具体实施方式
[0031]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人
员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0032]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0033]实施例一
[0034]图1是根据本专利技术实施例一提供的一种跨模态行人重识别方法的流程图，本实施例可适用于跨模态行人重识别情况，该方法可以由跨模态行人重识别装置来执行，该跨模态行人重识别装置可以采用硬件和/或软件的形式实现，该跨模态行人重识别装置可集成在任何提供跨模态行人重识别功能的电子设备中。如图1所示，该方法包括：
[0035]S101、获取待识别行人图像集合。
[0036]需要解释的是，待识别行人图像集合指的是现有的待识别的行人图像组成的集合。示例性的，行人图像可以是由监控拍摄到的行人的图像。
[0037]其中，待识别行人图像集合包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨模态行人重识别方法，其特征在于，包括：获取待识别行人图像集合，其中，所述待识别行人图像集合包括：至少两个模态下的待识别行人图像；对所述待识别行人图像集合中的待识别行人图像进行特征提取，得到待识别行人图像集合中的每个待识别行人图像对应的特征信息；根据所述待识别行人图像集合中的每个待识别行人图像和待识别行人图像集合中的每个待识别行人图像对应的特征信息构建目标异质图；根据所述目标异质图确定目标特征；根据所述目标特征生成目标行人图像。2.根据权利要求1所述的方法，其特征在于，所述根据所述目标异质图确定目标特征，包括：根据所述目标异质图对至少两个模态下的待识别行人图像进行信息聚合，得到至少两个模态聚合特征；对所述至少两个模态聚合特征进行融合，得到目标特征。3.根据权利要求2所述的方法，其特征在于，所述根据所述目标异质图对至少两个模态下的待识别行人图像进行信息聚合，得到至少两个模态聚合特征，包括：对所述目标异质图中的节点进行模态划分，得到至少两个模态对应的节点集合；分别对所述至少两个模态对应的节点集合中的节点进行信息聚合，得到至少两个模态聚合特征。4.根据权利要求2所述的方法，其特征在于，所述对所述至少两个模态聚合特征进行融合，得到目标特征，包括：将至少两个模态聚合特征分别映射到至少两个子空间，得到每个子空间对应的聚合特征；将至少两个子空间对应的聚合特征进行线性映射，得到目标特征。5.根据权利要求1所述的方法，其特征在于，所述根据所述待识别行人图像集合中的每个待识别行人图像和待识别行人图像集合中的每个待识别行人图像对应的特征信息构建目标异质图，包括：根据所述待识别行人图像集合中的每个待识别行人图像和待识别行人图像集合中的每个待识别行人图像对应的特征信息构建第一异质图；对所述第一异质图进行噪声去除，得到目标异质图。6.根据权利要求5所述的方法，其特征在于，所...

【专利技术属性】
技术研发人员：陈浩彬，乔宇，焦国华，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：