【技术实现步骤摘要】
本专利技术涉及计算机视觉和模式识别领域，尤其涉及一种基于伪标签优化的弱监督跨模态目标检索模型训练方法。
技术介绍
1、跨模态目标检索，旨在将人、车等目标图像与相应的查询文本描述关联起来，在智慧城市、智慧安防中有着广泛应用。然而，获取大量的标注数据并不容易。因此弱监督跨模态目标检索任务被提出，它只包括没有身份注释的文本-图像对。这个任务面临着复杂的模态内部变化和跨模态匹配歧义等难点。
2、现有技术的基于文本的无监督行人目标检索方法，通常采用自训练和聚类生成伪标签，然而，由于图像、文本数据中存在大量的噪声，现有的跨模态目标检索模型在跨模态目标检索任务中的表现不理想，且因为基于聚类的伪标签只能利用有限视图的样本关系，可靠性较差，进一步使得训练得到的跨模态目标检索模型性能变差。因此，如何获得具有更好性能的跨模态目标检索模型。是目前亟需解决的重要问题。
技术实现思路
1、本专利技术提供一种基于伪标签优化的弱监督跨模态目标检索模型训练方法，用以解决现有技术中伪标签质量低的问题，实现基于伪标签优化的弱监督跨模态目标检索模型训练得到的模型具有更好的目标检索性能。
2、本专利技术提供一种基于伪标签优化的弱目标检索模型监督跨模态目标检索模型训练方法，包括以下步骤：
3、根据目标域样本图片，提取视觉嵌入特征；根据目标域文本图片，提取文本嵌入特征；
4、根据视觉嵌入特征和文本嵌入特征，通过聚类方法构建多视图超图；
5、根据多视图超图进行可靠性引导
6、基于可靠伪标签进行训练，得到目标检索模型。
7、根据本专利技术提供的基于伪标签优化的弱目标检索模型监督跨模态目标检索模型训练方法，所述根据视觉嵌入特征和文本嵌入特征，使用聚类方法构建多视图超图，包括以下步骤：
8、根据视觉嵌入特征，使用聚类方法得到视觉聚类关系图；
9、根据文本嵌入特征，使用聚类方法得到文本聚类关系图；
10、根据视觉嵌入特征和文本嵌入特征进行特征融合得到融合特征，根据所述融合特征使用聚类方法得到视觉文本联合聚类关系图；
11、根据视觉聚类关系图、文本聚类关系图和视觉文本联合聚类关系图，得到多视图超图。
12、根据本专利技术提供的基于伪标签优化的弱目标检索模型监督跨模态目标检索模型训练方法，
13、根据视觉聚类关系图、文本聚类关系图和视觉文本联合聚类关系图，得到多视图超图，具体为：
14、根据视觉聚类关系图、文本聚类关系图和视觉文本联合聚类关系图，确定多视图超图的超边和多视图超图的关联矩阵；
15、根据多视图超图的超边对应的节点相似度，确定超边的权重；
16、根据视图超图的关联矩阵和超边的权重，确定多视图超图的邻接矩阵。
17、根据本专利技术提供的基于伪标签优化的弱目标检索模型监督跨模态目标检索模型训练方法，所述根据多视图超图进行可靠性引导的关系一致性推理，得到可靠伪标签，包括以下步骤：
18、根据视觉聚类关系图、文本聚类关系图和视觉文本联合聚类关系图，确定初始聚类和初始伪标签；
19、根据初始聚类和初始伪标签，计算类内紧密度，并确定具有最高类内紧密度的候选集，得到候选集的可靠实例和可靠伪标签；
20、根据候选集的可靠实例和可靠伪标签进行标签传播，得到所有数据实例的伪标签；
21、根据分类不确定性移除不可靠实例，得到可靠伪标签。
22、根据本专利技术提供的基于伪标签优化的弱目标检索模型监督跨模态目标检索模型训练方法，基于可靠伪标签进行训练，得到目标检索模型，具体为：基于可靠伪标签进行训练和视觉或文本嵌入与id原型之间的模态内和跨模态匹配目标函数进行训练，得到目标检索模型。
23、本专利技术还提供一种基于伪标签优化的弱目标检索模型监督跨模态目标检索模型训练装置，包括：
24、特征提取模块，用于根据目标域样本图片，提取视觉嵌入特征；根据目标域文本图片，提取文本嵌入特征；
25、多视图超图模块，用于根据视觉嵌入特征和文本嵌入特征，通过聚类方法构建多视图超图；
26、可靠伪标签推理模块，用于根据多视图超图进行可靠性引导的关系一致性推理，得到可靠伪标签；
27、训练模块，用于基于可靠伪标签进行训练，得到目标检索模型。
28、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于伪标签优化的弱目标检索模型监督跨模态目标检索模型训练方法。
29、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于伪标签优化的弱目标检索模型监督跨模态目标检索模型训练方法。
30、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于伪标签优化的弱目标检索模型监督跨模态目标检索模型训练方法。
31、本专利技术提供的基于伪标签优化的弱监督跨模态目标检索模型训练方法，通过构建多视图超图，并根据多视图超图进行可靠性引导的关系一致性推理，能够有效融合来自多个视图的样本关系，使多个视图的信息互补，能够挖掘出多视角样本关系中的一致性，减小多视角样本噪声的相互影响，生成用于视觉文本联合特征嵌入空间学习的最终伪标签，提高了伪标签的质量，从而获得更好的目标检索性能。
本文档来自技高网...【技术保护点】
1.一种基于伪标签优化的弱目标检索模型监督跨模态目标检索模型训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于伪标签优化的弱目标检索模型监督跨模态目标检索模型训练方法，其特征在于，所述根据视觉嵌入特征和文本嵌入特征，使用聚类方法构建多视图超图，包括以下步骤：
3.根据权利要求2所述的基于伪标签优化的弱目标检索模型监督跨模态目标检索模型训练方法，其特征在于，
4.根据权利要求1所述的基于伪标签优化的弱目标检索模型监督跨模态目标检索模型训练方法，其特征在于，所述根据多视图超图进行可靠性引导的关系一致性推理，得到可靠伪标签，包括以下步骤：
5.根据权利要求1所述的基于伪标签优化的弱目标检索模型监督跨模态目标检索模型训练方法，其特征在于，基于可靠伪标签进行训练，得到目标检索模型，具体为：基于可靠伪标签进行训练和视觉或文本嵌入与ID原型之间的模态内和跨模态匹配目标函数进行训练，得到目标检索模型。
6.一种基于伪标签优化的弱目标检索模型监督跨模态目标检索模型训练装置，其特征在于，包括：
7.一种电子设备，
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于伪标签优化的弱目标检索模型监督跨模态目标检索模型训练方法。
9.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于伪标签优化的弱目标检索模型监督跨模态目标检索模型训练方法。
...【技术特征摘要】
1.一种基于伪标签优化的弱目标检索模型监督跨模态目标检索模型训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于伪标签优化的弱目标检索模型监督跨模态目标检索模型训练方法，其特征在于，所述根据视觉嵌入特征和文本嵌入特征，使用聚类方法构建多视图超图，包括以下步骤：
3.根据权利要求2所述的基于伪标签优化的弱目标检索模型监督跨模态目标检索模型训练方法，其特征在于，
4.根据权利要求1所述的基于伪标签优化的弱目标检索模型监督跨模态目标检索模型训练方法，其特征在于，所述根据多视图超图进行可靠性引导的关系一致性推理，得到可靠伪标签，包括以下步骤：
5.根据权利要求1所述的基于伪标签优化的弱目标检索模型监督跨模态目标检索模型训练方法，其特征在于，基于可靠伪标签进行训练，得到目标检索模型，具体为：基于可靠伪标签进行训练和视觉或文本嵌入与...
【专利技术属性】
技术研发人员：王金桥，曲美至，郭海云，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。