【技术实现步骤摘要】
本专利技术涉及车辆重识别技术，具体涉及一种基于自引导和部件自适应融合的多查询车辆重识别方法。
技术介绍
1、车辆再识别(reid)近年来受到越来越多的关注，因为它对于构建智能交通和城市监控系统非常重要。此任务旨在检索大型画廊集中查询车辆的图像，其中目标车辆通常处于各种视图下并来自广泛的摄像头。当车辆的牌照被遮挡、模糊和损坏时，它特别有用。实际情况是在真实世界测试期间可以捕获车辆的多张图像。
2、它面临着两个严峻的挑战。1)相同车辆图像在不同状态下的较大类内差异，例如，不同的摄像机视图和车辆视角。2)不同车辆之间的类间差异很小，尤其是当具有相同相似的属性时，例如，相同、相似的颜色和类型。
3、然而，大多数现有的基于图像的车辆重识别方法都依赖于单一查询。
4、例如，现有基于全局特征的方法通过特定的度量学习方法提取车辆图像的全局手工制作/深度特征。然而，该方法因为仅考虑车辆图像的外观，通常难以捕获类内差异和类间相似性。
5、例如，现有基于属性的方法，比如：时空信息、视角等，使用属性标签来约束身份特征，或直接连接或求和加权身份特征和属性特征以提升re-id任务。尽管这些基于属性的方法显著减少了类内差异，但网络会过于关注属性信息，忽略了类间细微差异的挑战。
6、例如，现有局部信息增强方法，通常提供一些稳定的判别线索以增加车辆re-id的类间差异。然而，局部区域提取模型通常需要大量注释数据，这既费时又费力。此外，其re-id模型可能对不准确的部分提取很敏感。
1、专利技术目的：本专利技术的目的在于解决现有技术中存在的不足，提供一种基于自引导和部件自适应融合的多查询车辆重识别方法，在车辆重识别检测和评估上取得良好效果。
2、技术方案：本专利技术的一种基于自引导和部件自适应融合的多查询车辆重识别方法；包括以下步骤：
3、步骤1、获取车辆的图片数据集，并将其划分为训练集、验证集和测试集；分别对训练集、验证集和测试集中部分数据进行预处理；
4、步骤2、构建基于自引导和部件自适应融合的多查询网络，多查询网络包括基线、自引导更新模块和部件自适应融合模块；训练集中的车辆图片输入多查询网络后执行以下操作：
5、步骤2.1、每次输入多组车辆图片，每组车辆图片包含m张同一车辆的不同照片，采用resnet-50模块作为基线来提取每组车辆图片的原始特征：是m个原始特征中的第m个原始特征；
6、步骤2.2、使用自引导更新模块为每组多个查询更新原始特征，所述自引导更新模块包括引导特征生成组件和原始特征更新组件；
7、步骤2.2.1、使用引导特征生成组件将步骤s2.1所得m个原始特征沿通道维度连接得到
8、再利用感知机mlp对进行处理得到引导特征
9、
10、并将步骤s2.1的原始特征和引导特征划在通道维度划分p个分组；
11、每个原始特征分组后被记为：引导特征被分组后记为：
12、步骤2.2.2、原始特征更新组件采用的是基于transformer的注意力模块；
13、先通过基于transformer的注意力模块获得中间特征hm，p，通过第p个自引导更新模块中的感知机mlp和归一化层ln，得到更新特征
14、最后将每组相同部件更新特征沿通道维度连接起来得到单部件更新特征
15、步骤2.3、使用部件自适应融合模块将单部件更新特征自适应进行融合，所述部件自适应融合模包括自注意力组件和融合组件；
16、先通过自注意力组件，得到单部件提高特征
17、
18、然后，将所得单部件提高特征通过基于感知机mlp的融合层，再加上自己的平均特征得到单部件融合特征
19、
20、接着，将单部件融合特征进行全局平均池化操作来提取单部件融合特征fm，p和单部件更新特征
21、
22、最后，通过重识别损失约束单部件融合特征fm，p和单部件更新特征表达式如下：
23、
24、上述重识别损失是用于训练车辆重识别模型的一种损失函数；重识别损失的目标是促使模型学习到对同一车辆具有相似特征表示的嵌入空间；通过最小化重识别损失，模型可以学习到对同一车辆具有相似特征表示的嵌入空间，从而在车辆重识别任务中提高准确性和鲁棒性，有助于提高模型在实际应用中的性能；
25、步骤3、对于对步骤2构造的基于自引导和部件自适应融合的多查询网络，使用步骤1的训练集和验证集进行训练和验证，进行多次训练和验证并保存的在验证集上最好的模型，再将训练所得最好的基于自引导和部件自适应融合的多查询网络在测试集上进行测试。
26、进一步地，所述步骤1的预处理方法包括图片大小统一、图片随机点位擦除、随机图片翻转等。
27、进一步地，所述步骤2的resnet-50模块采用经过预训练的卷积神经网络，其核心是残差块，每个残差块包含两个卷积层，每个卷积层后面接一个非线性激活函数，这种结构可以有效地保留并传递信息，从而避免梯度消失问题，显著提高了图像识别等任务的性能。
28、进一步地，所述步骤2.2中更新特征的计算公式如下：
29、
30、上式中，
31、
32、a＝softmax(qkt),
33、其中，是投影矩阵；hm，p是指通过基于transformer的注意力模块获得中间特征；
34、本专利技术中基于transformer的注意力模块使得整个模型能够将不同位置的信息进行关联，并根据其重要性来加权组合，从而实现对输入序列的全局信息编码和提取；注意力模块由多头注意力组成，每个注意力头都可以学习不同的关注点，并捕捉不同的语义信息。
35、有益效果：与现有技术相比，本专利技术具有以下优点：
36、(1)、本专利技术创造性地设计一个自引导更新模块，利用同一组内多个查询的集体信息来指导单个查询。这种自引导融合机制增强了个体查询的判别能力并减少了车内类别距离。
37、(2)本专利技术创造性地提出一个自适应融合模块，自适应地融合来自不同查询的相同部分的有效信息。这种方法可以更细粒度地处理每张照片的信息，从而增强特征表示并提高辨别能力。
本文档来自技高网...【技术保护点】
1.一种基于自引导和部件自适应融合的多查询车辆重识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于自引导和部件自适应融合的多查询车辆重识别方法，其特征在于，所述步骤1的预处理方法包括图片大小统一、图片随机点位擦除、随机图片翻转。
3.根据权利要求1所述的基于自引导和部件自适应融合的多查询车辆重识别方法，其特征在于，所述步骤2的Resnet-50模块采用经过预训练的卷积神经网络，Resnet-50模块的核心是残差块，每个残差块包含两个卷积层，每个卷积层后面接一个非线性激活函数。
4.根据权利要求1所述的基于自引导和部件自适应融合的多查询车辆重识别方法，其特征在于，所述步骤2.2中更新特征的计算公式如下：
【技术特征摘要】
1.一种基于自引导和部件自适应融合的多查询车辆重识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于自引导和部件自适应融合的多查询车辆重识别方法，其特征在于，所述步骤1的预处理方法包括图片大小统一、图片随机点位擦除、随机图片翻转。
3.根据权利要求1所述的基于自引导和部件自适应融合的多查询车...
【专利技术属性】
技术研发人员：郑爱华，范煜，李成龙，汤进，章程，王伟，王梓，
申请(专利权)人：安徽大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。