【技术实现步骤摘要】
本专利技术属于车辆重识别领域，尤其涉及一种语义知识引导的车辆重识别方法。
技术介绍
1、车辆重识别也被称为跨境追踪，目前已成为弥补车牌识别验证局限性的重要手段。目前的车辆重识别方法主要从视觉解译的角度聚焦于特定数据集，难以满足开放场景下的实际应用需求。车辆重识别面临的挑战主要包括：1)类间相似性，具有相同车型的车辆具有高度相似性；2)类内差异性，不同视角下拍摄的相同车辆具有较大的外观差异；3)在实际应用中，可能缺少具体的车辆图像，仅有相关的文本描述。
技术实现思路
1、针对现有技术中存在的以上问题，本专利技术提出了一种多语义知识引导的车辆重识别方法，有效提高了车辆重识别的准确度和鲁棒性。
2、为实现上述目的，本专利技术采用如下技术方案。
3、本专利技术提供一种多语义知识引导的车辆重识别方法，包括以下步骤：
4、(1)构建车辆图像提示文本生成网络，通过交叉熵损失训练图像编码器、文本编码器、条件编码网络，输出车辆图像的提示文本向量；
5、(2)构建文本语义对齐的车辆细粒度特征提取网络，通过多粒度全局特征学习、跨模态跨粒度特征对齐，采用分类损失和交叉熵损失联合监督训练，输出车辆图像的特征向量；
6、(3)利用步骤(2)训练完成的文本语义对齐的车辆细粒度特征提取网络，分别提取查询车辆图像和待检索车辆图像的特征，采用余弦距离进行特征相似度排序，得到检索的车辆图像结果；
7、在上述技术方案中，所述步骤(1)包括以下子步骤，
8、(1-1)采用预训练的clip模型作为文本编码器和图像编码器，输入图像后利用图像编码器提取图像特征；
9、(1-2)构建实例条件编码器，将编码后的图像特征向量转变为条件向量，实例条件编码器包含两个瓶颈层，每个瓶颈层由卷积层、batchnorm层和relu层构成，将条件向量与输入的提示文本向量相加，输入到文本编码器，得到一个代表视觉语义的分类权重向量；
10、(1-3)训练车辆图像提示文本生成网络，冻结图像编码器和文本编码器的网络参数，计算交叉熵损失，进行反向传播来更新实例条件编码器的网络参数。
11、在上述技术方案中，所述步骤(2)包括以下子步骤，
12、(2-1)构建多粒度全局特征学习模块，该模块包括判别token选择和多粒度全局特征学习两部分，
13、(2-1-1)判别token选择，输出的class token由所有的局部token加权得到，权重代表了局部区域特征与全局特征的相关性，具体地，计算class token和所有局部token的余弦相似度矩阵，选择相关性排在前2k的局部token来组成新的token序列，将其中的token按照相关性从大到小的顺序排列；
14、(2-1-2)多粒度全局特征学习，构建两个网络分支利用选择后的token序列学习不同粒度全局特征，第一个分支输入前k个token学习高层语义特征，第二个分支输入剩下的k个token学习中层语义特征，每个分支由多头自注意力块(mhsa)、layer norm、多头卷积注意力块(mhca)和多层感知机(mlp)构成，将步骤(2-1-1)中选择的新token序列分为高层序列和中层序列，并将class token追加到高层序列和中层序列中，最终的车辆图像全局特征，包括低层语义特征、中层语义特征和高层语义特征；
15、(2-2)跨模态跨粒度特征对齐，建立车辆图像-词、区域图像-语句的语义对齐，
16、(2-2-1)跨模态跨粒度的相似度计算，分别计算整个图像与描述文本中词的相似度和图像局部区域与整个描述文本的相似度；
17、(2-2-2)根据跨粒度的相似度聚合图像和描述文本最终的相似度，聚合时，采用softmax函数为每个相似度生成不同的权重；
18、(2-3)跨模态细粒度特征对齐，利用选择的前k个图像token和文本token进行细粒度特征对齐。
19、(2-3-1)计算前k个图像token和文本token的余弦相似度。对每个图像/文本token选择相似度最高的前k个文本/图像token，进行平均池化得到新的特征对；
20、(2-3-2)计算每个特征对的相似度来进行细粒度的特征对齐，输出细粒度相似度；
21、(2-4)模型训练，采用交叉熵损失和批次内难样本损失函数(batch hard tripletloss)来同时监督文本和图像多粒度全局特征学习，将步骤(2-2-2)中的跨模态跨粒度的相似度和步骤(2-3-2)中的跨模态细粒度相似度进行求和，采用三元组损失函数来监督求和后的跨模态相似度。
22、在上述技术方案中，所述步骤(3)包括以下子步骤，
23、(3-1)将所有待检索的车辆图像输入到步骤(2)中训练好的文本语义对齐的车辆细粒度特征提取网络中得到所有图像的特征向量，将查询车辆图像输入到步骤(2)中训练好的文本语义对齐的车辆细粒度特征提取网络中得到查询图像的特征向量；
24、(3-2)计算查询车辆图像特征和所有待检索车辆图像特征的余弦距离，按余弦距离从大到小进行排序，得到查询车辆的检索结果。
25、与现有技术相比，本专利技术的有益效果如下：
26、1、引入了语义知识约束，有助于提升模型的泛化能力。
27、2、设计了多粒度全局特征学习、跨模态跨粒度特征对齐、跨模态细粒度特征对齐，从不同粒度对齐了图像的视觉特征和文本描述的语义特征，能够更好的表征车辆的局部信息，提高重识别的准确度。
本文档来自技高网...【技术保护点】
1.一种语义知识引导的车辆重识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的语义知识引导的车辆重识别方法，其特征在于：所述“构建车辆图像提示文本生成网络，通过交叉熵损失训练图像编码器、文本编码器、条件编码网络，输出车辆图像的提示文本向量”包括以下子步骤，
3.根据权利要求1所述的语义知识引导的车辆重识别方法，其特征在于：所述“构建文本语义对齐的车辆细粒度特征提取网络，通过多粒度全局特征学习、跨模态跨粒度特征对齐，采用分类损失和交叉熵损失联合监督训练，输出车辆图像的特征向量”包括以下子步骤，
4.根据权利要求1所述的语义知识引导的车辆重识别方法，其特征在于：所述“利用训练完成的文本语义对齐的车辆细粒度特征提取网络，分别提取查询车辆图像和待检索车辆图像的特征，采用余弦距离进行特征相似度排序，得到检索的车辆图像结果”包括以下子步骤，
【技术特征摘要】
1.一种语义知识引导的车辆重识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的语义知识引导的车辆重识别方法，其特征在于：所述“构建车辆图像提示文本生成网络，通过交叉熵损失训练图像编码器、文本编码器、条件编码网络，输出车辆图像的提示文本向量”包括以下子步骤，
3.根据权利要求1所述的语义知识引导的车辆重识别方法，其特征在于：所述“构建文本语义对齐的车辆细粒度...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。