【技术实现步骤摘要】
本公开总体说来涉及视觉语言模型算法和自然语言处理，更具体地，涉及一种车辆重识别模型的训练方法及装置和车辆重识别方法。
技术介绍
1、在相关领域中，车辆重识别的含义是指在不同摄像头拍摄的图像或视频序列中找到同一指定车辆的技术。该技术在智能交通系统和智慧城市建设中扮演着关键角色，尤其是在分布式网络摄像机环境下，对于车辆的跨摄像头跟踪和识别尤为重要，例如，在智能视频监控系统中有很强的应用场景，能够跟踪目标的轨迹而找到目标的位置。车辆重识别的目标是在复杂的交通监控系统中，对目标车辆进行定位、监管等很多方面的应用。
2、然而，在许多实际应用场景中，所能够获得的并不是车辆的图像或视频，而是关于车辆的描述，因此基于文本的车辆重识别技术在安防监控、智能检索等领域有广泛的需求。因此，需要一种改进的车辆重识别算法。
技术实现思路
1、本公开的实施例提供一种车辆重识别模型的训练方法及装置和车辆重识别方法，通过将多模态大语言模型（可简称为“多模态大模型”）的知识蒸馏到基于文本的车辆重识别任务中来实现对车辆重识别模型的建模。
2、在一个总体方面，提供了一种车辆重识别模型的训练方法，所述训练方法包括：获取预设属性引导的预提示词、预设样本学习提示词、第一预设车辆重识别数据集和基于预设标注的第二预设车辆重识别数据集；将所述预设属性引导的预提示词、所述预设样本学习提示词和所述第一预设车辆重识别数据集输入到预设多模态大语言模型中，生成第一车辆图像-描述对数据集；利用所述第一车辆图像-描述对数据
3、可选地，在所述第一阶段的训练过程中训练的模型参数可包括与全局特征相关的参数而不包括与局部特征相关的参数，并且在所述第二阶段的训练过程中训练的模型参数可包括与全局特征相关的参数和与局部特征相关的参数两者。
4、可选地，所述第一车辆图像-描述对数据集中的车辆图像数据与所述第二预设车辆重识别数据集中的车辆图像数据可不相同。
5、可选地，所述将所述预设属性引导的预提示词、所述预设样本学习提示词和所述第一预设车辆重识别数据集输入到预设多模态大语言模型中，生成第一车辆图像-描述对数据集的步骤可包括：针对所述第一预设车辆重识别数据集中的每个子数据集，执行以下处理：将所述预设属性引导的预提示词、所述预设样本学习提示词和每个子数据集输入到所述预设多模态大语言模型中，生成相应的车辆图像-描述对子数据集；从所述相应的车辆图像-描述对子数据集中去除不满足预设条件的数据，得到与每个子数据集对应的输出结果，并且将与每个子数据集对应的输出结果进行组合，作为所述第一车辆图像-描述对数据集。
6、可选地，所述车辆重识别模型可以是基于神经网络的图像-描述模型。
7、在另一总体方面，提供了一种车辆重识别方法，所述车辆重识别方法包括：获取待识别的车辆描述数据；将所述待识别的车辆描述数据输入车辆重识别模型中，得到对应的车辆图像数据，其中，所述车辆重识别模型是利用如上所述的训练方法训练得到的。
8、在另一总体方面，提供了一种车辆重识别模型的训练装置，所述训练装置包括：数据获取模块，被配置为：获取预设属性引导的预提示词、预设样本学习提示词、第一预设车辆重识别数据集和基于预设标注的第二预设车辆重识别数据集；数据生成模块，被配置为：将所述预设属性引导的预提示词、所述预设样本学习提示词和所述第一预设车辆重识别数据集输入到预设多模态大语言模型中，生成第一车辆图像-描述对数据集；模型训练模块，被配置为：利用所述第一车辆图像-描述对数据集对车辆重识别模型进行第一阶段的训练，得到训练后的车辆重识别模型，并且利用所述第二预设车辆重识别数据集对所述训练后的车辆重识别模型进行第二阶段的训练，得到最终的车辆重识别模型，其中，在每个阶段的训练过程中，用于调整模型参数的目标代价为使与车辆图像对应的特征和与相应描述对应的特征之间的距离最小化。
9、可选地，在所述第一阶段的训练过程中训练的模型参数可包括与全局特征相关的参数而不包括与局部特征相关的参数，并且在所述第二阶段的训练过程中训练的模型参数可包括与全局特征相关的参数和与局部特征相关的参数两者。
10、可选地，所述第一车辆图像-描述对数据集中的车辆图像数据与所述第二预设车辆重识别数据集中的车辆图像数据可不相同。
11、可选地，所述数据生成模块将所述预设属性引导的预提示词、所述预设样本学习提示词和所述第一预设车辆重识别数据集输入到预设多模态大语言模型中，生成第一车辆图像-描述对数据集的操作可包括：针对所述第一预设车辆重识别数据集中的每个子数据集，执行以下处理：将所述预设属性引导的预提示词、所述预设样本学习提示词和每个子数据集输入到所述预设多模态大语言模型中，生成相应的车辆图像-描述对子数据集；从所述相应的车辆图像-描述对子数据集中去除不满足预设条件的数据，得到与每个子数据集对应的输出结果，并且将与每个子数据集对应的输出结果进行组合，作为所述第一车辆图像-描述对数据集。
12、可选地，所述车辆重识别模型可以是基于神经网络的图像-描述模型。
13、在另一总体方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如上所述的车辆重识别模型的训练方法以及如上所述的车辆重识别方法。
14、在另一总体方面，提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备/服务器的处理器执行时，使得电子设备/服务器能够执行如上所述的车辆重识别模型的训练方法以及如上所述的车辆重识别方法。
15、在另一总体方面，提供了一种计算设备，所述计算设备包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如上所述的车辆重识别模型的训练方法以及如上所述的车辆重识别方法。
16、根据本公开的实施例的车辆重识别模型的训练方法及装置和车辆重识别方法，通过将多模态大模型的知识蒸馏到基于文本的车辆重识别任务中来实现对车辆重识别模型的建模。此外，通过将多模态大模型的知识从生成的高质量车辆描述转移到了车辆重识别模型的训练中，从而提升了车辆重识别模型的跨模态检索性能。
本文档来自技高网...【技术保护点】
1.一种车辆重识别模型的训练方法，其特征在于，所述训练方法包括：
2.根据权利要求1所述的训练方法，其特征在于，在所述第一阶段的训练过程中训练的模型参数包括与全局特征相关的参数而不包括与局部特征相关的参数，并且在所述第二阶段的训练过程中训练的模型参数包括与全局特征相关的参数和与局部特征相关的参数两者。
3.根据权利要求1所述的训练方法，其特征在于，所述第一车辆图像-描述对数据集中的车辆图像数据与所述第二预设车辆重识别数据集中的车辆图像数据不相同。
4.根据权利要求1所述的训练方法，其特征在于，所述将所述预设属性引导的预提示词、所述预设样本学习提示词和所述第一预设车辆重识别数据集输入到预设多模态大语言模型中，生成第一车辆图像-描述对数据集的步骤包括：
5.根据权利要求1所述的训练方法，其特征在于，所述车辆重识别模型是基于神经网络的图像-描述模型。
6.一种车辆重识别方法，其特征在于，所述车辆重识别方法包括：
7.一种车辆重识别模型的训练装置，其特征在于，所述训练装置包括：
8.一种计算机程序产品，其
9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到5中的任一权利要求所述的车辆重识别模型的训练方法以及如权利要求6所述的车辆重识别方法。
10.一种计算设备，其特征在于，所述计算设备包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1至5中的任一权利要求所述的车辆重识别模型的训练方法以及如权利要求6所述的车辆重识别方法。
...【技术特征摘要】
1.一种车辆重识别模型的训练方法，其特征在于，所述训练方法包括：
2.根据权利要求1所述的训练方法，其特征在于，在所述第一阶段的训练过程中训练的模型参数包括与全局特征相关的参数而不包括与局部特征相关的参数，并且在所述第二阶段的训练过程中训练的模型参数包括与全局特征相关的参数和与局部特征相关的参数两者。
3.根据权利要求1所述的训练方法，其特征在于，所述第一车辆图像-描述对数据集中的车辆图像数据与所述第二预设车辆重识别数据集中的车辆图像数据不相同。
4.根据权利要求1所述的训练方法，其特征在于，所述将所述预设属性引导的预提示词、所述预设样本学习提示词和所述第一预设车辆重识别数据集输入到预设多模态大语言模型中，生成第一车辆图像-描述对数据集的步骤包括：
5.根据权利要求1所述的训练方法，其特征在于，所述车辆重识别模型是基于神经网络的图像-描述模型。
6.一种车辆重识别方法，其特征在于，所述车辆...
【专利技术属性】
技术研发人员：张驰，曾建树，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。