图像检索方法和装置制造方法及图纸

本公开提供一种图像检索方法和装置。图像检索装置提取待检索物品的图像特征信息，利用经过训练的第一神经网络模型对图像特征信息进行处理，以得到第一输出结果；利用经过训练的第二神经网络模型对第一输出结果进行处理，以便从第二神经网络模型的每个特征层中提取出一个特征信息，其中不同特征层所提供的特征信息中所包含的图像特征信息不同；分别将提取出的特征信息发送给对应的全连接层进行处理，以便得到相应的特征向量；将所得到的特征向量进行合并，以得到图像特征向量；根据图像特征向量检索与待检索物品相关联的图像。本公开可有效提升物品检索结果的类别一致性。

【技术实现步骤摘要】
图像检索方法和装置
本公开涉及信息处理领域，特别涉及一种图像检索方法和装置。
技术介绍
图像检索技术是根据用户输入的图片或其他可以概括图片内容的信息，在数据库中搜索相同或相关的图片的技术。该技术具有广泛的应用场景，例如：搜索引擎的以图搜图，电商平台的相似性商品搜索，社交平台的相关内容推荐，监控系统中的人脸匹配等。近年来，随着深度学习技术兴起，基于卷积神经网络的图像检索技术以其优越的性能迅速成为主流方法。这类方法采用监督学习的方式，训练一个卷积神经网络对图像视觉信息进行特征映射。训练过程的优化目标是减小同类图片的视觉信息经过卷积神经网络映射到高纬特征空间后特征点之间的距离，并增大不同类图片对应的特征点之间的距离。这类基于度量学习的损失函数，计算随机挑选的训练样本映射到特征空间中的距离，并依据不同的规则计算损失大小。
技术实现思路
专利技术人通过研究发现，基于度量学习的损失函数在优化卷积神经网络时，依据的信息只有该图片是否为相同类，对于相同类的图片，其趋向于减小网络输出的特征向量之间的距离；对于不同类，其趋向于增大网络输出的特征向量之间的距离。在超大规模商品检索场景中，图片的类别是纷繁复杂的，宏观上可以分为服饰，电子产品，食品，日用品等，这些大类又可以划分为不同的小类，这样的多级分类系统呈现为树状的结构，其叶子节点为最终的商品级的类别。对于这样的树状类别系统，如果仅仅依据商品级别的类别标签进行度量学习，将导致特征空间中父节点的类别混乱。即，对于一个确定的商品类别，其相邻的商品完全依靠视觉的相似性决定，不一定是属于相同大类的商品。这样的问题将导致检索系统性能的下降，检索结果排名中大类别的混乱，严重影响用户体验。为此，本公开提供一种能够在同类商品中进行图像检索的方案。根据本公开实施例的第一方面，提供一种图像检索方法，包括：提取待检索物品的图像特征信息；利用经过训练的第一神经网络模型对所述图像特征信息进行处理，以得到第一输出结果；利用经过训练的第二神经网络模型对所述第一输出结果进行处理，以便从所述第二神经网络模型的每个特征层中提取出一个特征信息，其中不同特征层所提供的特征信息中所包含的图像特征信息不同；分别将提取出的特征信息发送给对应的全连接层进行处理，以便得到相应的特征向量；将所得到的特征向量进行合并，以得到图像特征向量；根据所述图像特征向量检索与所述待检索物品相关联的图像。在一些实施例中，在所述第二神经网络模型中，各特征层所提供的特征信息中所包含的图像特征随着层数的增加而增多，各层所提供的特征信息中所包含的图像语义信息随着层数的增加而减少。在一些实施例中，所述第二神经网络模型中的特征层的数量与所述物品的类别层级数相对应。在一些实施例中，所述第一神经网络模型为卷积神经网络模型；所述第二神经网络模型为特征金字塔网络模型。在一些实施例中，在对第一神经网络模型和第二神经网络模型进行训练的过程中：利用待训练的第一神经网络模型对训练图像特征信息进行处理，以得到第一训练输出结果；利用待训练的第二神经网络模型对所述第一训练输出结果进行处理，以便从第二神经网络模型的每个特征层中提取出一个训练特征信息；分别将提取出的训练特征信息发送给对应的全连接层进行处理，以便得到相应的训练特征向量；将所得到的训练特征向量进行合并，以得到训练图像特征向量，根据所述训练图像特征向量计算对比损失函数值；分别根据每个训练特征向量计算相应的分类损失函数值；利用所述对比损失函数值和所述分类损失函数值对待训练的第一神经网络模型和第二神经网络模型中的参数进行调整，以得到经过训练后的第一神经网络模型和第二神经网络模型。在一些实施例中，所述对比损失函数值与随机选择的两个样本在每个训练特征向量上的欧式距离相关联。在一些实施例中，所述分类损失函数为softmax损失函数。根据本公开实施例的第二方面，提供一种图像检索装置，包括：提取模块，被配合为提取待检索物品的图像特征信息；第一处理模块，被配置为利用经过训练的第一神经网络模型对所述图像特征信息进行处理，以得到第一输出结果；第二处理模块，被配置为利用经过训练的第二神经网络模型对所述第一输出结果进行处理，以便从所述第二神经网络模型的每个特征层中提取出一个特征信息，其中不同特征层所提供的特征信息中所包含的图像特征信息不同；特征向量处理模块，被配置为分别将提取出的特征信息发送给对应的全连接层进行处理，以便得到相应的特征向量；合并模块，被配置为将所得到的特征向量进行合并，以得到图像特征向量；检索模块，被配置为根据所述图像特征向量检索与所述待检索物品相关联的图像。根据本公开实施例的第三方面，提供一种图像检索装置，包括：存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例涉及的方法。根据本公开实施例的第四方面，提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上述任一实施例涉及的方法。通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。附图说明为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本公开一个实施例的图像检索方法的流程示意图；图2为本公开另一个实施例的图像检索方法的流程示意图；图3为本公开一个实施例的图像检索装置的结构示意图；图4为本公开另一个实施例的图像检索装置的结构示意图；图5为本公开又一个实施例的图像检索装置的结构示意图；图6为本公开一个实施例的图像检索架构示意图。具体实施方式下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后本文档来自技高网...

【技术保护点】
1.一种图像检索方法，包括：/n提取待检索物品的图像特征信息；/n利用经过训练的第一神经网络模型对所述图像特征信息进行处理，以得到第一输出结果；/n利用经过训练的第二神经网络模型对所述第一输出结果进行处理，以便从所述第二神经网络模型的每个特征层中提取出一个特征信息，其中不同特征层所提供的特征信息中所包含的图像特征信息不同；/n分别将提取出的特征信息发送给对应的全连接层进行处理，以便得到相应的特征向量；/n将所得到的特征向量进行合并，以得到图像特征向量；/n根据所述图像特征向量检索与所述待检索物品相关联的图像。/n

【技术特征摘要】
1.一种图像检索方法，包括：
提取待检索物品的图像特征信息；
利用经过训练的第一神经网络模型对所述图像特征信息进行处理，以得到第一输出结果；
利用经过训练的第二神经网络模型对所述第一输出结果进行处理，以便从所述第二神经网络模型的每个特征层中提取出一个特征信息，其中不同特征层所提供的特征信息中所包含的图像特征信息不同；
分别将提取出的特征信息发送给对应的全连接层进行处理，以便得到相应的特征向量；
将所得到的特征向量进行合并，以得到图像特征向量；
根据所述图像特征向量检索与所述待检索物品相关联的图像。


2.根据权利要求1所述的方法，其中，
在所述第二神经网络模型中，各特征层所提供的特征信息中所包含的图像特征随着层数的增加而增多，各层所提供的特征信息中所包含的图像语义信息随着层数的增加而减少。


3.根据权利要求2所述的方法，其中，
所述第二神经网络模型中的特征层的数量与所述物品的类别层级数相对应。


4.根据权利要求1所述的方法，其中：
所述第一神经网络模型为卷积神经网络模型；
所述第二神经网络模型为特征金字塔网络模型。


5.根据权利要求1-4中任一项所述的方法，还包括，在对第一神经网络模型和第二神经网络模型进行训练的过程中：
利用待训练的第一神经网络模型对训练图像特征信息进行处理，以得到第一训练输出结果；
利用待训练的第二神经网络模型对所述第一训练输出结果进行处理，以便从第二神经网络模型的每个特征层中提取出一个训练特征信息；
分别将提取出的训练特征信息发送给对应的全连接层进行处理，以便得到相应的训练特征向量；
将所得到的训练特征向量进行合并，以得到训练图像特...

【专利技术属性】
技术研发人员：陈越，李业豪，于伟，王林芳，姚霆，梅涛，
申请(专利权)人：北京沃东天骏信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11