一种基于深度学习和度量学习的草图检索方法技术

本发明专利技术涉及图像检索领域，提供了一种基于深度学习和度量学习的草图检索系统，本发明专利技术目的在于解决草图与自然图像之间跨域检索的问题。主要方案流程主要分为六步：准备草图和自然图像数据；四元组采样和三元组组合来制作网络输入数据；搭建双三分支网络结构；确定网络对应的损失函数并训练神经网络；制作自然图像特征数据库；进行外部输入草图的检索。本发明专利技术用于通过草图检索自然图像。

【技术实现步骤摘要】
一种基于深度学习和度量学习的草图检索方法
本专利技术涉及由计算机进行的草图图像检索方法，可用于在系统上输入草图获取目标图像，属于深度学习和度量学习

技术介绍
基于草图的图像检索开始于20世纪90年代，早期的研究者通过提取图像的底层颜色、纹理特征，如将照片与包含颜色斑点或预定义纹理的查询进行匹配。上世纪90年代的草图检索更多的是关注轮廓或线条的变化规律。后来到20世纪90年代后期至21世纪初，研究者试图用颜色的全局描述符与形状组合为用于图像检索相似性度量。在2015年前，提取特征的方式大多是基于人工定义的规则，人工对特征描述规则的定义与测试通常情况下是一个缓慢的经验积累过程，且不具有普适性。近年来，深度学习在计算机视觉领域不断取得突破，一次一次的刷新各领域的成绩。目前，已经有大量深度学习的工作在草图检索上进行，但草图检索属于跨域问题，大量观察研究发现，这些方法虽然取得了比传统算法更高的准确率，但是模型学习到的特征大多还是底层的视觉特征，在特征表达上十分有限，对于深层语义的描述更加匮乏。在智能设备普及的今天，更好地适应跨域检索问题，研发出草图检索系统具备巨大的应用前景。
技术实现思路
针对上述研究问题，本专利技术目的在于解决草图与自然图像之间跨域检索的问题。本专利技术为解决上述技术问题采用以下技术效果：本专利技术提供了一种基于深度学习和度量学习的草图检索方法，包括训练步骤和检索步骤：检索步骤A：步骤A1.准备草图数据集；步骤A2.根据草图搜集对应的自然图像数据集；步骤A3.数据准备过程一，采用四元组采样：首先从草图数据集中取出一张草图，记为xi，对应类别记为c1，并随机从自然图像数据集中选取一张类别为c1的自然图像，记为yi；之后通过语义相似度计算，得到与类别c1语义上最接近的类别，记为c2，随机取出类别为c2的草图与自然图像，分别记为xj、yj，至此，得到四元组(xi，xj，yi，yj)；步骤A4.数据准备过程二，采用三元组组合：对步骤A3得到的四元组(xi，xj，yi，yj)进行组合，得到两组三元组，分别为草图锚三元组(xi，yi，yj)、自然图像锚三元组(yi，xi，xj)；步骤A5.准备未训练的Bi-Triplet神经网络模型，将Bi-Triplet网络分为草图锚区、自然图像锚区两个区域，每个区域都为一个单独的Triplet网络，草图锚区以草图锚三元组(xi，yi，yj)作为输入，自然图像锚区以自然图像锚三元组(yi，xi，xj)作为输入，每个Triplet网络由三个神经网络构成，其中以草图作为输入的卷积神经网络内部权值共享，该部分简称成草图神经网络，用于草图特征提取；以自然图像作为输入的神经网络共享权值，简称为自然图像神经网络；步骤A6.对步骤A5得到的Bi-Triplet神经网络模型定义损失函数，用于计算模型预测结果和真实标签的误差，Bi-Triplet模型损失的表达式如下：其中d(·)表示距离度量函数，margin表示距离阈值；步骤A6.在定义损失函数后，根据损失函数的误差值对神经网络进行反向传播来修改参数；对步骤A4得到的神经网络进行多次迭代训练，每次迭代过程都通过反向传播机制小范围修改网络参数，最后得到具备实际检索能力的模型，该模型得到一个公共特征空间，该空间同时具备同域度量性与跨域度量性，该公共特征空间中，相同类别的嵌入特征相互靠近，不同类别的嵌入特征相互远离，并且同类嵌入特征会形成聚类簇；步骤A7.对数据库中的图像使用自然图像神经网络提前提取自然图像特征并存储，以减少系统在检索阶段的处理时间；检索阶段B步骤B1：读取输入的草图图像；步骤B2：利用已经训练完成的草图神经网络进行草图图像的特征提取，获取的特征记f；步骤B3：读取图像数据库中的自然图像特征，数据库中的图像特征记为k；步骤B4：计算输入的草图图像特征与数据库图像特征之间的距离；步骤B5：输出与输入的草图特征距离最近的几幅图像。上述技术方案中，步骤A5中每个Triplet网络由三个神经网络构成具体为：草图锚区的Triplet网络为1个草图神经网络和2个自然图像神经网络；自然图像锚区的Triplet网络为2个草图神经网络和1个自然图像神经网络。因为本专利技术采用上述技术方案，因此具备以下有益效果：现有技术无法很好的解决跨域检索问题，导致了检索效果不好，直接影响用户体验。所以本专利技术提供了创新性的神经网络训练方式，在三分支(Triplet)网络架构的基础上，提出了一个双路三分支(Bi-Triplet)神经网络，通过施加双向排序限制，有效地解决了跨域检索问题，从而提高了草图检索的准确性，方便用户快速获得有效信息。本专利技术不同于图像检索，无需用户查找合适的查询图像，只需手工绘制目标图像的草图；由于草图和目标图像通常差异较大，本系统采取的方法能够实现更好地解决跨域检索问题，达到更高精度。附图说明图1为本专利技术流程框架简图，左边为训练阶段，右边为检索阶段；图2四元组采样、三元组组合示意图；图3为草图锚区、自然图像锚区示意图。具体实施方式具体实施流程主要分为六步：准备草图和自然图像数据；四元组采样和三元组组合来制作网络输入数据；搭建双三分支网络结构；确定网络对应的损失函数并训练神经网络；制作自然图像特征数据库；进行外部输入草图的检索。一、准备草图和自然图像数据采用已公开的数据集辅助模型训练是神经网络训练的通用方式，方便同领域方法间的对照，且能快速获取大量的图像数据。目前已有的草图数据集为TU-BerlinExt数据集，本专利技术在模型训练阶段采用该数据集作为神经网络的输入。TU-BerlinExt数据集是TU-Berlin数据集的扩展数据集，共250个草图类别，包含20000张草图图像，204489张自然图像，草图类别丰富，且自然图像与草图只有类别级对应关系，没有实例级对应关系，导致草图与自然图像的视觉差距较大，这有助于训练完成的模型适应复杂的实际情况。二、四元组采样和三元组组合制作网络输入数据四元组采样：首先从TU-Berlin数据集的所有草图图像中选择一张草图，记为xi，对应类别记为c1，并从TU-Berlin数据集的自然图中随机选取一张类别为c1的自然图像，记为yi；之后通过cosine相似度计算，得到与类别c1语义上最接近的类别，记为c2，随机取出类别为c2的草图与自然图像，分别记为xj、yj，至此，得到四元组(xi，xj，yi，yj)；三元组组合：对步骤A3得到的四元组(xi，xj，yi，yj)进行组合，得到两组三元组，分别为草图锚三元组(xi，yi，yj)、自然图像锚三元组(yi，xi，xj)；重复上述过程，直至所有草图图像都已经被选择作为xi，此时，制作完成的输入数据包含20000个草图锚三元组和20000个自然图像锚三元组。本专利技术采用本文档来自技高网...

【技术保护点】
1.一种基于深度学习和度量学习的草图检索方法，其特征在于，包括训练步骤和检索步骤：/n检索步骤A：/n步骤A1.准备草图数据集；/n步骤A2.根据草图搜集对应的自然图像数据集；/n步骤A3.数据准备过程一，采用四元组采样：首先从草图数据集中取出一张草图，记为x

【技术特征摘要】
1.一种基于深度学习和度量学习的草图检索方法，其特征在于，包括训练步骤和检索步骤：
检索步骤A：
步骤A1.准备草图数据集；
步骤A2.根据草图搜集对应的自然图像数据集；
步骤A3.数据准备过程一，采用四元组采样：首先从草图数据集中取出一张草图，记为xi，对应类别记为c1，并随机从自然图像数据集中选取一张类别为c1的自然图像，记为yi；之后通过语义相似度计算，得到与类别c1语义上最接近的类别，记为c2，随机取出类别为c2的草图与自然图像，分别记为xj、yj，至此，得到四元组(xi，xj，yi，yj)；
步骤A4.数据准备过程二，采用三元组组合：对步骤A3得到的四元组(xi，xj，yi，yj)进行组合，得到两组三元组，分别为草图锚三元组(xi，yi，yj)、自然图像锚三元组(yi，xi，xj)；
步骤A5.准备未训练的Bi-Triplet神经网络模型，将Bi-Triplet网络分为草图锚区、自然图像锚区两个区域，每个区域都为一个单独的Triplet网络，草图锚区以草图锚三元组(xi，yi，yj)作为输入，自然图像锚区以自然图像锚三元组(yi，xi，xj)作为输入，每个Triplet网络由三个神经网络构成，其中以草图作为输入的卷积神经网络的权值共享，该卷积神经网络简称成草图神经网络，用于草图特征提取；以自然图像作为输入的卷积神经网络的权值共享，简称卷积神经网络为自然图像神经网络；
步骤A6.对步骤A4得到的Bi-Triplet神经网络模型定义损失函数，用于计算模型预测结...

【专利技术属性】
技术研发人员：杨震群，魏骁勇，张栩禄，杨晨曦，
申请(专利权)人：深圳市前海小萌科技有限公司，
类型：发明
国别省市：广东;44