基于图卷积网络的视觉检索模型的无监督训练方法和装置制造方法及图纸

本发明专利技术提供一种基于图卷积网络的视觉检索模型的无监督训练方法和装置。其中方法包括：将图像样本集输入特征提取网络得到特征提取网络输出的目标特征信息；基于目标特征信息构建图像样本集的无向图，将无向图输入图卷积网络，将图像样本集输入特征提取网络，获取特征提取网络的中间层特征信息输入图卷积网络，得到图卷积网络输出第一概率分布信息和特征提取网络输出的目标特征信息；基于目标特征信息对图像样本集进行聚类，基于聚类的结果确定图像样本集的第二概率分布信息，基于第一概率分布信息和第二概率分布信息对特征提取网络和图卷积网络的参数进行调整。本发明专利技术可以提升样本的特征表达，从而提升特征提取网络的性能，提升视觉检索的效果。提升视觉检索的效果。提升视觉检索的效果。

【技术实现步骤摘要】
基于图卷积网络的视觉检索模型的无监督训练方法和装置


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于图卷积网络的视觉检索模型的无监督训练方法和装置。

技术介绍

[0002]跨领域视觉检索任务要求使用源域的标签和目标域的无标签图像，实现在目标领域的图像检索。因此对视觉检索模型的鲁棒性要求较高。
[0003]目前对跨领域视觉检索任务的视觉检索模型的训练主要通过两阶段来实现：第一阶段为根据图像样本集通过特征提取网络得到的特征，使用无监督聚类方法对图像样本集进行聚类，产生图像样本集的伪标签；第二阶段为利用伪标签作为监督信息通过图像样本集对特征提取网络进行训练。
[0004]上述对视觉检索模型的无监督训练方法存在以下问题：（1）在聚类过程会产生具有大量噪声的伪标签，使用伪标签监督的训练过程会降低特征的判别性；（2）特征提取网络能够从图像样本本身学习到有用的信息，但是不能够学习到图像样本之间的关系。

技术实现思路

[0005]本专利技术提供一种基于图卷积网络的视觉检索模型的无监督训练方法和装置，用以解决现有技术中伪标签的噪声会降低特征提取网络提取到的特征的判别性，以及特征提取网络不能够学习到图像样本之间的关系的缺陷，可以提高特征提取网络提取到的特征的判别性，并且可以学习到图像样本的结构化关系。
[0006]第一方面，本专利技术提供一种基于图卷积网络的视觉检索模型的无监督训练方法，包括：将图像样本集输入特征提取网络进行特征提取处理，得到所述特征提取网络输出的目标特征信息；基于所述目标特征信息构建所述图像样本集的无向图，将所述无向图输入图卷积网络进行聚类处理，将所述图像样本集输入所述特征提取网络进行特征提取处理，获取所述特征提取网络的中间层特征信息输入所述图卷积网络，得到所述图卷积网络输出的所述图像样本集的第一概率分布信息和所述特征提取网络输出的所述目标特征信息；基于所述目标特征信息对所述图像样本集进行聚类处理，基于所述聚类处理的结果确定所述图像样本集的第二概率分布信息，基于所述第一概率分布信息和所述第二概率分布信息确定当前的训练损失；基于所确定的当前的训练损失，对所述特征提取网络和所述图卷积网络的参数进行调整。
[0007]根据本专利技术提供的一种基于图卷积网络的视觉检索模型的无监督训练方法，所述基于所述目标特征信息构建所述图像样本集的无向图，包括：基于所述目标特征信息，确定所述图像样本集中每个图像样本与其他图像样本之
间的第一相似度；基于所确定的第一相似度和预先设定的最近邻样本的数量，选取每个图像样本的最近邻图像样本；将所述每个图像样本与其所选取的最近邻图像样本连接，构建所述图像样本集的无向图。
[0008]根据本专利技术提供的一种基于图卷积网络的视觉检索模型的无监督训练方法，所述获取所述特征提取网络的中间层特征信息输入所述图卷积网络，包括：按照图像样本经过所述特征提取网络的层级顺序，依次获取所述特征提取网络中第一目标层输出的所述中间层特征信息；将依次获取的所述中间层特征信息按照所述无向图经过所述图卷积网络的层级顺序，依次输入所述图卷积网络的第二目标层；其中，所述第一目标层的数量与所述第二目标层的数量相等，所述第一目标层与所述第二目标层一一对应。
[0009]根据本专利技术提供的一种基于图卷积网络的视觉检索模型的无监督训练方法，所述将依次获取的所述中间层特征信息按照所述无向图经过所述图卷积网络的层级顺序，依次输入所述图卷积网络的第二目标层，包括：基于所获取的中间层特征信息和待输入所述中间层特征信息的第二目标层的前一层输出的特征信息，确定所述第二目标层的输入信息；将所确定的输入信息输入所述第二目标层。
[0010]根据本专利技术提供的一种基于图卷积网络的视觉检索模型的无监督训练方法，所述基于所述聚类处理的结果确定所述图像样本集的第二概率分布信息，包括：基于所述目标特征信息，确定所述聚类处理得到的聚类中心与所述图像样本集中每个图像样本之间的第二相似度；基于所确定的第二相似度得到所述第二概率分布信息。
[0011]根据本专利技术提供的一种基于图卷积网络的视觉检索模型的无监督训练方法，所述基于所述第一概率分布信息和所述第二概率分布信息确定当前的训练损失，包括：基于所述第二概率分布信息确定目标概率分布信息；基于所述第二概率分布信息与所述目标概率分布信息确定第一训练损失；基于所述第一概率分布信息与所述目标概率分布信息确定第二训练损失；基于所述第一训练损失和所述第二训练损失确定当前的训练损失。
[0012]第二方面，本专利技术还提供一种基于图卷积网络的视觉检索模型的无监督训练装置，包括：第一训练模块，用于将图像样本集输入特征提取网络进行特征提取处理，得到所述特征提取网络输出的目标特征信息；第二训练模块，用于基于所述目标特征信息构建所述图像样本集的无向图，将所述无向图输入图卷积网络进行聚类处理，将所述图像样本集输入所述特征提取网络进行特征提取处理，获取所述特征提取网络的中间层特征信息输入所述图卷积网络，得到所述图卷积网络输出的所述图像样本集的第一概率分布信息和所述特征提取网络输出的所述目标特征信息；
损失确定模块，用于基于所述目标特征信息对所述图像样本集进行聚类处理，基于所述聚类处理的结果确定所述图像样本集的第二概率分布信息，基于所述第一概率分布信息和所述第二概率分布信息确定当前的训练损失；参数调整模块，用于基于所确定的当前的训练损失，对所述特征提取网络和所述图卷积网络的参数进行调整。
[0013]第三方面，本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于图卷积网络的视觉检索模型的无监督训练方法的步骤。
[0014]第四方面，专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于图卷积网络的视觉检索模型的无监督训练方法的步骤。
[0015]第五方面，专利技术还提供一种计算机程序产品，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于图卷积网络的视觉检索模型的无监督训练方法的步骤。
[0016]本专利技术提供的基于图卷积网络的视觉检索模型的无监督训练方法和装置，将图卷积网络的深度聚类功能引入到基于聚类的视觉检索模型的无监督训练中，通过构建图像样本集的无向图输入图卷积网络，将图像样本集输入特征提取网络，获取特征提取网络的中间层特征信息输入图卷积网络，以图卷积网络输出的分类结果作为图像样本的伪标签，可以实现对特征提取网络端到端的训练，避免了两阶段的训练过程而引入带噪声的伪标签，并且通过图卷积网络可以使图像样本的特征能够交互，从而学习到图像样本的结构化关系，利用图卷积网络与特征提取网络相互促进，迭代提升，可以提升样本的特征表达，从而提高特征提取网络提取到的特征的判别性，提升特征提取网络的性能，进而提升视觉检索的效果。
附图说明
[0017]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图卷积网络的视觉检索模型的无监督训练方法，其特征在于，包括：将图像样本集输入特征提取网络进行特征提取处理，得到所述特征提取网络输出的目标特征信息；基于所述目标特征信息构建所述图像样本集的无向图，将所述无向图输入图卷积网络进行聚类处理，将所述图像样本集输入所述特征提取网络进行特征提取处理，获取所述特征提取网络的中间层特征信息输入所述图卷积网络，得到所述图卷积网络输出的所述图像样本集的第一概率分布信息和所述特征提取网络输出的所述目标特征信息；基于所述目标特征信息对所述图像样本集进行聚类处理，基于所述聚类处理的结果确定所述图像样本集的第二概率分布信息，基于所述第一概率分布信息和所述第二概率分布信息确定当前的训练损失；基于所确定的当前的训练损失，对所述特征提取网络和所述图卷积网络的参数进行调整。2.根据权利要求1所述的基于图卷积网络的视觉检索模型的无监督训练方法，其特征在于，所述基于所述目标特征信息构建所述图像样本集的无向图，包括：基于所述目标特征信息，确定所述图像样本集中每个图像样本与其他图像样本之间的第一相似度；基于所确定的第一相似度和预先设定的最近邻样本的数量，选取每个图像样本的最近邻图像样本；将所述每个图像样本与其所选取的最近邻图像样本连接，构建所述图像样本集的无向图。3.根据权利要求1或2所述的基于图卷积网络的视觉检索模型的无监督训练方法，其特征在于，所述获取所述特征提取网络的中间层特征信息输入所述图卷积网络，包括：按照图像样本经过所述特征提取网络的层级顺序，依次获取所述特征提取网络中第一目标层输出的所述中间层特征信息；将依次获取的所述中间层特征信息按照所述无向图经过所述图卷积网络的层级顺序，依次输入所述图卷积网络的第二目标层；其中，所述第一目标层的数量与所述第二目标层的数量相等，所述第一目标层与所述第二目标层一一对应。4.根据权利要求3所述的基于图卷积网络的视觉检索模型的无监督训练方法，其特征在于，所述将依次获取的所述中间层特征信息按照所述无向图经过所述图卷积网络的层级顺序，依次输入所述图卷积网络的第二目标层，包括：基于所获取的中间层特征信息和待输入所述中间层特征信息的第二目标层的前一层输出的特征信息，确定所述第二目标层的输入信息；将所确定的输入信息输入所述第二目标层。5.根据权利要求1至4任一项所述的基于图卷积网络的视觉检索模型的无监督训练...

【专利技术属性】
技术研发人员：王金桥，郭海云，闫天翊，赵朝阳，
申请(专利权)人：中科视语北京科技有限公司，
类型：发明
国别省市：