一种基于图学习的全局结构信息嵌入网络的目标重识别方法技术

本发明专利技术公开了一种基于图学习的全局结构信息嵌入网络的目标重识别方法，包括步骤：数据集分类及预处理、训练集上图的构建和初始化、训练深度学习模型、测试深度学习模型。本发明专利技术利用图学习理论并通过图卷积神经网络自动学习这种全局结构信息，将该关系嵌入所学的特征中，获得更有表征能力的图形表示，将目标重识别问题转化为新的边预测问题，从而更快更准确地判断数据间的关系，提高了目标重识别的精度。度。度。

【技术实现步骤摘要】
一种基于图学习的全局结构信息嵌入网络的目标重识别方法


[0001]本专利技术属于计算机视觉、模式识别及人工智能领域，具体涉及一种基于图像间全局拓扑关系的目标重识别方法。

技术介绍

[0002]随着互联网技术和通信技术的不断发展，视频与图像等包含视觉信息的数据呈指数级增长，这些大规模的视觉数据为人工智能下计算机视觉的重要研究，带来了巨大的挑战。目标重识别主要用于解决目标的跨相机跟踪，实现场景匹配和行人、车辆的跨视场跟踪以及轨迹预测等。行人重识别和车辆重识别是目标重识别的两个重要任务。
[0003]车辆重识别的任务就是指，在给定一张测试图片的前提下，找出跨摄像头拍摄的同一辆车的图片。车牌作为车辆独一无二的标识，存在模糊、遮挡和虚假拍照的问题。另外由于涉及到隐私问题，科研人员往往无法获得具有车牌信息的数据集，近些年车辆重识别方法大多数都是对车辆整体进行纯视觉的研究。
[0004]行人重识别的目标是，在给定一个特定行人查询图片的情况下，可以在被检索的数据集中找到与之匹配的图片列表。现阶段，解决该问题仍存在诸多挑战，例如图像中存在恶劣的光照条件、严重遮挡、行人姿态的多样化、背景噪声以及视觉特征和摄像头视角的变化等情况。
[0005]尽管之前的研究工作极大地推动了目标重识别这一领域的发展，但几乎所有的相关算法都忽视了隐藏在整个数据集当中的全局结构特征：直观来看，一个真实的车辆/行人重识别数据集应当包含若干个簇，其中每个簇代表不同的行人，而每个簇内部属于同一个ID的图片实例之间存在着一定的拓扑关系。
>[0006]然而现有关注特征学习的算法中，基于学习有判别性更强特征的方法关注学习更显著的局部特征，没有考虑这种数据集中的结构关系,是通过批训练的方式训练样本；而基于度量学习的算法则只感知数据集中的局部结构特征，这是因为这类算法只考虑部分数据的距离关系，却无法学习其余数据之间的关系。

技术实现思路

[0007]本专利技术旨在提供一种基于图学习的全局结构信息嵌入网络的目标重识别方法，用于解决以上问题。
[0008]本专利技术的技术方案是：
[0009]一种基于图学习的全局结构信息嵌入网络的目标重识别方法，其中，全局结构信息嵌入网络分为编码器/解码器模块和基于注意力感知的图卷积网络模块；编码器位于全局结构信息嵌入网络的头部，解码器位于全局结构信息嵌入网络的尾部,包括以下步骤：
[0010]S1，数据集分类及预处理：获取车辆数据集/行人数据集，将数据集划分为训练集和测试集，并针对数据集进行图像裁剪和图像尺寸调整的数据预处理；
[0011]S2，训练集上图的构建和初始化：使用残差网络提取训练集中所有图片的特征向
量，根据提取好的特征向量集合X构建基于整个训练数据集上的大图对大图中边的特征和点的特征进行初始化，得到初始化图；
[0012]S3，训练深度学习模型，具体包括以下步骤：
[0013]S3.1，将S2中初始化图作为编码器的输入，编码器中的多层感知机将初始化图中的原始顶点特征和边特征转化到隐空间中；
[0014]S3.2，利用基于注意力感知的图卷积网络对隐空间中的顶点特征和边特征进行更新；
[0015]S3.3，解码器将最终学习到的隐空间中边特征映射到概率空间中，用于损失函数的计算；
[0016]S3.4，使用交叉熵损失函数和度量嵌入损失函数对整个全局结构信息嵌入网络进行训练；
[0017]S3.5，将S3.4中交叉熵函数和度量嵌入函数得到的损失相加，作为最终的损失；
[0018]S3.6，将整个数据集构造的图作为输入，并在每一个模块都是对所有数据进行处理，迭代次数均为400轮，训练时间为2
‑
5小时，得到训练完毕的深度学习网络模型；
[0019]S4，测试深度学习模型，具体包括以下步骤：
[0020]S4.1，将包含查询图像和检索库的测试集中的所有图片数据构造并初始化为一个大图，并输入到S3中训练好的深度学习模型；
[0021]S4.2，获得预测图中图节点特征和预测边的概率；
[0022]S4.3，根据两种相似度度量标准进行验证，查询测试集中图节点的余弦距离和边概率，进而计算首位命中率和查询图片的平均准确率。
[0023]优选地，基于注意感知的图卷积网络模块中，每一个模块都包含一个边卷积层和一个顶点卷积层。
[0024]优选地，S3中的度量嵌入函数用于拉近离群值与中心的距离，从而提高检索时排序每张被查询图片的平均准确率；S3的深度学习模型训练过程中，采用自适应估计(Adam)优化方法对深度学习模型进行优化。
[0025]本专利技术的有益效果在于：
[0026]利用图学习理论并通过图卷积神经网络自动学习这种全局结构信息，将该关系嵌入所学的特征中，获得更有表征能力的图形表示，提取出更优的特征从而提高再识别的准确率。
附图说明
[0027]图1为本专利技术实施例提供的一种基于图像间全局拓扑关系的目标重识别方法的流程图；
[0028]图2为本专利技术实施例提供的一种基于图像间全局拓扑关系的目标重识别方法与其他方法的数据结构关系效果对比图；
[0029]图3为本专利技术实施例提供的一种基于图像间全局拓扑关系的目标重识别方法的全局结构信息嵌入网络图；
[0030]图4为本专利技术实施例提供的一种基于图像间全局拓扑关系的目标重识别方法的行人重识别的原始特征及处理后的特征分布图；
具体实施方式
[0031]下面结合附图和具体实施例对本专利技术作进一步说明，以使本领域的技术人员可以更好的理解本专利技术并能予以实施，本专利技术的实施方式不限于此。
[0032]将目标重识别问题转化为新的边预测问题：
[0033]对隐藏在整个数据集中所有图片之间的结构化关系进行建模，用图来描述这种结构化关系，将目标重识别问题化为图中的边预测问题，其特征，包括以下步骤：
[0034]步骤一：目标重识别包括车辆重识别和行人重识任务；
[0035]步骤二：全局拓扑信息在数据分布上的特点是属于同一个编号的图片应当在同一组或簇中，而整个数据集是由若干个类似的簇组成，簇与簇之间有一定的间隔。可以利用图学习理论并通过图卷积神经网络自动学习这种全局结构信息，将该关系嵌入所学的特征中，获得更有表征能力的图形表示；
[0036]步骤三：将整个是数据集构建为一张大图，该图以数据集中的所有图片作为顶点，并利用无监督聚类算法为这些顶点赋予初始化边，在初始图基础上，可以通过预测两个顶点之间的边是否存在判断两张图片是否属于同一个ID，将目标重识别问题转化为新的边预测问题；
[0037]其中，步骤三中利用KNN算法在整个数据集上初始化一个大图，图的表示公式为其中每张图片都为一个顶点，而顶点之间的边是依据欧氏距离对任意两张图片进行相似度度量得到的。图中是顶点的集合，是边集合，v是顶点特征集合，ε是边特征集合。
[0038]步骤三中重识别问题转化为新的边预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图学习的全局结构信息嵌入网络的目标重识别方法，其中，全局结构信息嵌入网络分为编码器/解码器模块和基于注意力感知的图卷积网络模块；编码器位于全局结构信息嵌入网络的头部，解码器位于全局结构信息嵌入网络的尾部,其特征在于，包括以下步骤：S1，数据集分类及预处理：获取车辆数据集/行人数据集，将数据集划分为训练集和测试集，并针对数据集进行图像裁剪和图像尺寸调整的数据预处理；S2，训练集上图的构建和初始化：使用残差网络提取训练集中所有图片的特征向量，根据提取好的特征向量集合X构建基于整个训练数据集上的大图对大图中边的特征和点的特征进行初始化，得到初始化图；S3，训练深度学习模型，具体包括以下步骤：S3.1，将S2中初始化图作为编码器的输入，编码器中的多层感知机将初始化图中的原始顶点特征和边特征转化到隐空间中；S3.2，利用基于注意力感知的图卷积网络对隐空间中的顶点特征和边特征进行更新；S3.3，解码器将最终学习到的隐空间中边特征映射到概率空间中，用于损失函数的计算；S3.4，使用交叉熵损失函数和度量嵌入损失函数对整个全局结构信息嵌入网络进行训练；S3.5，将S3.4中交叉熵函数和度量嵌入函...

【专利技术属性】
技术研发人员：郎丛妍，陈诗迪，魏莉莉，许喆铭，李浥东，王涛，冯松鹤，金一，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：