本发明专利技术实施例公开了一种跨模态行人重识别模型生成方法、识别方法、装置及设备，该方法包括：将可见光图像样本以及红外图像样本分别输入至预设跨模态行人重识别模型，其中，该模型由至少一个卷积层、至少一个注意力机制、平均池化层、以及至少一个全连接层构成；获取预设跨模态行人重识别模型中，各网络层针对可见光图像样本以及红外图像样本处理得到的特征信息；并根据特征信息，确定预设跨模态行人重识别模型的目标损失函数；以目标损失函数为优化目标，进行模型训练得到，优化后的目标跨模态行人重识别模型。该方法通过添加注意力模块，以提取图像的关键信息；并通过目标损失函数的约束，建立跨模态间的关联，从而实现跨模态的行人重识别。态的行人重识别。态的行人重识别。
【技术实现步骤摘要】
跨模态行人重识别模型生成方法、识别方法、装置及设备
[0001]本专利技术涉及计算机
，尤其涉及一种跨模态行人重识别模型生成方法、识别方法、装置及设备。
技术介绍
[0002]通常，在监控系统中，白天在自然光照下，可以通过普通摄像头捕获色彩信息丰富的行人可见光图像；夜间光线弱时，可以通过红外摄像头捕获行人的红外图像。在对行人轨迹识别的具体实际应用中，通常会存在行人的可见光图像和红外图像互相搜索的应用场景，即基于可见光图像与红外图像进行的跨模态行人重识别。
[0003]现有技术中，通常采用模态互转的策略，使得两种模态数据处理形式统一。例如，将可见光图像转换为对应的红外图像，或者将红外图像转换为对应的可将光图像。之后，再通过单模态行人重识别的策略，实现跨模态行人重识别的目标。
[0004]但是，红外图像与可见光图像的成像方式存在较大差异。红外图像丢失了颜色信息，而可见光图像含有三个通道的颜色信息。可见光图像具有更加丰富的有效识别信息。可见，红外图像与可见光图像的信息差距巨大，通过模态互转策略实现的跨模态行人重识别，会缺乏行人细粒度信息，也会缺失两种图像的关联信息。从而，导致跨模态行人重识别结果不可靠。
技术实现思路
[0005]本专利技术提供了一种跨模态行人重识别模型生成方法、识别方法、装置及设备。以建立跨模态之间的关联，实现可见光图像与红外图像的互搜索。
[0006]第一方面，本专利技术实施例提供了一种跨模态行人重识别模型生成方法，该方法包括：
[0007]将可见光图像样本以及红外图像样本分别输入至预设跨模态行人重识别模型，其中，预设跨模态行人重识别模型由至少一个卷积层、至少一个注意力机制、平均池化层、以及至少一个全连接层构成；
[0008]获取预设跨模态行人重识别模型中，各网络层针对可见光图像样本以及红外图像样本处理得到的特征信息；并根据特征信息，确定预设跨模态行人重识别模型的目标损失函数；
[0009]以目标损失函数为优化目标，进行模型训练得到，优化后的目标跨模态行人重识别模型。
[0010]第二方面，本专利技术实施例提供了一种跨模态行人重识别方法，该方法包括：
[0011]将可见光图像集以及红外图像集分别输入至本专利技术任一实施例所提供的目标跨模态行人重识别模型中，得到可见光图像特征以及红外图像特征；
[0012]其中，目标跨模态行人重识别模型由至少一个卷积层、至少一个注意力机制、平均池化层、以及至少一个全连接层构成；
[0013]根据可见光图像特征以及红外图像特征，进行跨模态图像互搜索，确定与目标行人匹配的目标图像集；
[0014]根据目标图像集，确定目标行人轨迹。
[0015]第三方面，本专利技术实施例提供了一种跨模态行人重识别模型生成装置，该装置包括：
[0016]图像样本输入模块，用于将可见光图像样本以及红外图像样本分别输入至预设跨模态行人重识别模型，其中，预设跨模态行人重识别模型由至少一个卷积层、至少一个注意力机制、平均池化层、以及至少一个全连接层构成；
[0017]目标损失函数确定模块，用于获取预设跨模态行人重识别模型中，各网络层针对可见光图像样本以及红外图像样本处理得到的特征信息；并根据特征信息，确定预设跨模态行人重识别模型的目标损失函数；
[0018]目标跨模态行人重识别模型生成模块，用于以目标损失函数为优化目标，进行模型训练得到，优化后的目标跨模态行人重识别模型。
[0019]第四方面，本专利技术实施例提供了一种跨模态行人重识别装置，该装置包括：
[0020]图像特征生成模块，用于将可见光图像集以及红外图像集分别输入至本专利技术任一实施例所提供的目标跨模态行人重识别模型中，得到可见光图像特征以及红外图像特征；
[0021]目标图像集确定模块，用于根据可见光图像特征以及红外图像特征，进行跨模态图像互搜索，确定与目标行人匹配的目标图像集；
[0022]行人轨迹确定模块，用于根据目标图像集，确定目标行人轨迹。
[0023]第五方面，本专利技术实施例提供了一种电子设备，电子设备包括：
[0024]至少一个处理器；以及
[0025]与至少一个处理器通信连接的存储器；其中，
[0026]存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本专利技术任一实施例所提供的跨模态行人重识别模型生成方法；或者，本专利技术实施例提供的跨模态行人重识别方法。
[0027]第六方面，本专利技术实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本专利技术任一实施例所提供的跨模态行人重识别模型生成方法；或者，本专利技术实施例提供的跨模态行人重识别方法。
[0028]本专利技术实施例的技术方案，通过将可见光图像样本以及红外图像样本分别输入至预设跨模态行人重识别模型，其中，预设跨模态行人重识别模型由至少一个卷积层、至少一个注意力机制、平均池化层、以及至少一个全连接层构成；获取预设跨模态行人重识别模型中，各网络层针对可见光图像样本以及红外图像样本处理得到的特征信息；并根据特征信息，确定预设跨模态行人重识别模型的目标损失函数；以目标损失函数为优化目标，进行模型训练得到，优化后的目标跨模态行人重识别模型。该方法通过添加注意力模块，可以在不同模态中提取到关键信息；并在特征提取阶段对不同域的特征分布进行目标损失函数的约束，可以建立跨模态之间的关联，从而可以通过跨模态行人重识别模型实现可见光图像与红外图像的互搜索。
[0029]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0030]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]图1a是根据本专利技术实施例一提供的一种跨模态行人重识别模型生成方法的流程图；
[0032]图1b是根据本专利技术实施例一提供的一种DAM注意力机制模型结构示意图；
[0033]图1c是根据本专利技术实施例一提供的一种跨模态行人重识别模型的结构示意图；
[0034]图2是根据本专利技术实施例二提供的另一种跨模态行人重识别模型生成方法的流程图；
[0035]图3是根据本专利技术实施例三提供的一种跨模态行人重识别方法的流程图；
[0036]图4是根据本专利技术实施例四提供的一种跨模态行人重识别模型生成装置的结构示意图；
[0037]图5是根据本专利技术实施例五提供的一种跨模态行人重识别装置的结构示意图；
[0038]图6是实现本专利技术实施例的跨模态行人重识别模型生成方法的电子设备的结构示意图。
具体实施方式...
【技术保护点】
【技术特征摘要】
1.一种跨模态行人重识别模型生成方法，其特征在于，包括：将可见光图像样本以及红外图像样本分别输入至预设跨模态行人重识别模型，其中，所述预设跨模态行人重识别模型由至少一个卷积层、至少一个注意力机制、平均池化层、以及至少一个全连接层构成；获取所述预设跨模态行人重识别模型中，各网络层针对所述可见光图像样本以及所述红外图像样本处理得到的特征信息；并根据所述特征信息，确定所述预设跨模态行人重识别模型的目标损失函数；以所述目标损失函数为优化目标，进行模型训练得到，优化后的目标跨模态行人重识别模型。2.根据权利要求1所述的方法，其特征在于，在所述预设跨模态行人重识别模型中的任意两个卷积层之间连接一个注意力机制；其中，所述注意力机制，用于将上一卷积层输出的可见光中间特征图或者红外中间特征图，进行权重处理，得到可见光中间加权特征图或者红外中间加权特征图；并将所述可见光中间加权特征图或者所述红外中间加权特征图输入至下一卷积层。3.根据权利要求2所述的方法，其特征在于，获取所述预设跨模态行人重识别模型中，各网络层针对所述可见光图像样本以及所述红外图像样本处理得到的特征信息；并根据所述特征信息，确定所述预设跨模态行人重识别模型的目标损失函数，包括：获取针对所述可见光图像以及所述红外图像，所述预设跨模态行人重识别模型中，各所述注意力机制分别输出的可见光中间加权特征图以及红外中间加权特征图；将所述可见光中间加权特征图以及所述红外中间加权特征图，分别经过平均池化，得到可见光目标中间特征以及红外目标中间特征；根据所述可见光目标中间特征以及所述红外目标中间特征，确定所述预设跨模态行人重识别模型目标损失函数中的三元组损失函数。4.根据权利要求1所述的方法，其特征在于，获取所述预设跨模态行人重识别模型中，各网络层针对所述可见光图像样本以及所述红外图像样本处理得到的特征信息；并根据所述特征信息，确定所述预设跨模态行人重识别模型的目标损失函数，包括：获取针对所述可见光图像以及所述红外图像，所述预设跨模态行人重识别模型中，末位卷积层分别输出的可见光目标特征图、以及红外目标特征图；将所述可见光目标特征图以及所述红外目标特征图，分别沿水平方向切成多个可见光目标特征子图以及红外目标特征子图；将各所述可见光目标特征子图以及各所述红外目标特征子图，分别经过平均池化和正则化后进行串联，得到可见光目标特征以及红外目标特征；根据所述可见光目标特征以及所述红外目标特征，确定所述预设跨模态行人重识别模型目标损失函数中的中心损失函数。5.根据权利要求1所述的方法，其特征在于，获取所述预设跨模态行人重识别模型中，各网络层针对所述可见光图像样本以及所述红外图像样本处理得到的特征信息；并根据所述特征信息，确定所述预设跨模态行人重识别模型的目标损失函数，包括：获取针对所述可见光图...
【专利技术属性】
技术研发人员：陈琳，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。