图像检索方法以及装置制造方法及图纸

本发明专利技术公开了一种图像检索方法以及装置，涉及图像搜索领域。本发明专利技术对图片提取全局特征后进行降维，再量化为二值比特串，根据图片二值比特串的距离从数据库中检索出相似的图片。本发明专利技术应用全局特征对图片的描述更加准确，对全局特征降维可以减少图片特征的数据量，同时由于降维模型可以使相似图片的降维后的全局特征的距离减小，且不相似图片的降维后的全局特征的距离增大，因此，图片的全局特征经过降维后描述能力得以提高，进一步的，将图片的特征量化为二值比特串能够降低数据的复杂度，进而减少数据的存储量，降低检索时的匹配的复杂度，提高检索效率，将图片检索处理能力提高到上亿量级。

Image retrieval method and apparatus

The invention discloses an image retrieval method and an image retrieval device, relating to the field of image search. After extracting the global features of the picture, the invention reduces the dimension and then quantifies it into a two value bit string, and retrieves similar pictures from the database according to the distance between the two value bit strings of the picture. The application of global feature description of images more accurately, the amount of data on the global feature reduction can reduce the image feature, at the same time as the dimension reduction model can make the global feature reduction of similar images after the distance decreases, and similar global dimensionality reduction images after the increase of the distance, therefore, the global feature the picture after dimensionality reduction description ability has been improved, further, the characteristics of quantitative picture of the value for the two bit string can reduce the complexity of the data, thereby reducing the amount of data storage and retrieval, reduce the complexity and improve the efficiency of retrieval, image retrieval processing capacity increased to hundreds of millions of magnitude.

【技术实现步骤摘要】
图像检索方法以及装置
本专利技术涉及图像搜索领域，特别涉及一种图像检索方法以及装置。
技术介绍
随着互联网技术的发展，用户对于数据检索的需求也越来越高，用户不只满足于文字、语音的输入获得的检索结果，还希望能够输入图像等获得满意的匹配结果，例如，用户进行网上购物可能并不知道想要购买的商品的品牌、型号等，也无法准确描述其特点，但是用户有拍摄的图片，用户希望输入图片即可检索到想要购买的商品。目前，比较常用的图片检索技术为积量化算法，这种算法对于图像特征的描述较为复杂，占用内存大，在面对互联网中海量数据的情况下，无法支持大量图片的计算和匹配过程，只能支持千万量级的图片处理，无法满足用户的需求。
技术实现思路
本专利技术所要实现的一个目的是：提出一种图片检索方法，在不降低图片检索准确率的情况下，提高图片检索能力。根据本专利技术的一个方面，提供的一种图像检索方法，包括：利用深度学习模型提取待检索图片的全局特征；利用降维模型中的降维矩阵对待检索图片的全局特征进行降维，降维模型是以减小降维训练集中相似图片的降维后的全局特征的距离且增大降维训练集中不相似图片的降维后的全局特征的距离为目标构建的；利用矢量量化模型将待检索图片的降维后的全局特征量化为二值比特串；根据待检索图片的二值比特串与数据库中的图片的二值比特串的距离，从数据库中检索出与待检索图片相似的图片。在一个实施例中，利用深度学习模型提取待检索图片的全局特征包括：将待检索图片输入GoogleNet模型；从GoogleNet模型各层输出的待检索图片的特征向量中，选取最后一个平均池化层和最后一个最大池化层输出的特征向量进行组合，作为待检索图片的全局特征。在一个实施例中，利用矢量量化模型将待检索图片的降维后的全局特征量化为二值比特串包括：根据矢量量化模型中的均值向量和旋转矩阵对待检索图片的降维后的全局特征进行投影，得到待检索图片的投影特征；根据矢量量化模型中划分的子空间以及获得的各个子空间的码本，确定待检索图片的投影特征在各个子空间中的编码；将待检索图片的投影特征在各个子空间中的编码进行组合，得到待检索图片的二值比特串。在一个实施例中，根据矢量量化模型中划分的子空间以及获得的各个子空间的码本，确定待检索图片的投影特征在各个子空间中的编码包括：将待检索图片的投影特征的各维数据按照子空间的个数均分到各个子空间，获得待检索图片在各个子空间的分特征；在各个子空间内，根据该子空间内的码本中与待检索图片在该子空间内的分特征的距离最近的码字确定待检索图片的投影特征在各个子空间中的编码。在一个实施例中，该方法还包括：采用以下方法对深度学习模型进行训练：选取人工拍摄的图片作为检索训练集，选取与检索训练集中图片相对应的评论图以及与检索训练集中图片不相关的图片作为数据训练集，并将检索训练集和数据训练集作为深度学习训练集；将检索训练集中的图片输入深度学习模型获得各层输出的特征向量；将数据训练集中的图片输入深度学习模型获得各层输出的特征向量；根据检索训练集中一张图片的在一个输出层的特征向量与数据训练集中的各个图片在该输出层的特征向量的距离，对数据训练集中的各个图片进行排序，并根据数据训练集中与检索训练集中的该图片对应的评论图的排序位置以及该排序位置对应的权重，确定检索训练集中该图片在该输出层的匹配结果；根据检索训练集中各图片在该输出层的匹配结果，确定该输出层的描述能力；根据各输出层的描述能力确定描述图片全局特征最优的两个输出层。在一个实施例中，该方法还包括：采用以下方法对降维模型进行训练：选取人工拍摄的图片作为检索训练集，从数据库中选取与检索训练集中相似的图片组成正样本对；从数据库中选取与检索训练集中不相似的图片组成负样本对，并将正样本对和负样本对作为降维训练集；利用图片的全局特征乘以降维矩阵表示图片降维后的全局特征；确定所有正样本对和负样本对中图片的降维后的全局特征的距离与分类阈值的差量信息的总和的关系表示；将求取关系表示取最小值时的降维矩阵和分类阈值的代价函数确定为降维模型；对降维模型进行训练求取最优解，得到降维矩阵。在一个实施例中，该方法还包括：采用以下方法对矢量量化模型进行训练：计算量化训练集中的图片的降维后的全局特征的均值作为矢量量化模型的均值向量；将量化训练集中的图片的降维后的全局特征减去均值向量并组成去均值后的图片特征矩阵；计算去均值后的图片特征矩阵的协方差矩阵，并将协方差分解为特征值矩阵与特征向量矩阵；根据特征值矩阵划分子空间；将特征向量矩阵根据特征值在划分的子空间中的位置对特征向量矩阵进行旋转，得到旋转矩阵；计算去均值后的图片特征矩阵与矢量量化模型的旋转矩阵的乘积，得到量化训练集中的图片的投影特征；将量化训练集中的图片的投影特征的各维数据按照子空间的个数均分到各个子空间；在各个子空间内，根据K均值哈希算法确定该子空间内的子码本以及子码本中各个码字对应的编码。根据本专利技术的第二个方面，提供的一种图片检索装置，包括：全局特征提取模块，用于利用深度学习模型提取待检索图片的全局特征；特征降维模块，用于利用降维模型中的降维矩阵对待检索图片的全局特征进行降维，降维模型是以减小降维训练集中相似图片的降维后的全局特征的距离且增大降维训练集中不相似图片的降维后的全局特征的距离为目标构建的；矢量量化模块，用于利用矢量量化模型将待检索图片的降维后的全局特征量化为二值比特串；检索模块，用于根据待检索图片的二值比特串与数据库中的图片的二值比特串的距离，从数据库中检索出与待检索图片相似的图片。在一个实施例中，全局特征提取模块，用于将待检索图片输入GoogleNet模型，从GoogleNet模型各层输出的待检索图片的特征向量中，选取最后一个平均池化层和最后一个最大池化层输出的特征向量进行组合，作为待检索图片的全局特征。在一个实施例中，矢量量化模块，用于根据矢量量化模型中的均值向量和旋转矩阵对待检索图片的降维后的全局特征进行投影，得到待检索图片的投影特征，根据矢量量化模型中划分的子空间以及获得的各个子空间的码本，确定待检索图片的投影特征在各个子空间中的编码，将待检索图片的投影特征在各个子空间中的编码进行组合，得到待检索图片的二值比特串。在一个实施例中，矢量量化模块，用于将待检索图片的投影特征的各维数据按照子空间的个数均分到各个子空间，获得待检索图片在各个子空间的分特征，在各个子空间内，根据该子空间内的码本中与待检索图片在该子空间内的分特征的距离最近的码字确定待检索图片的投影特征在各个子空间中的编码。在一个实施例中，该装置还包括：深度学习模型训练模块，用于选取人工拍摄的图片作为检索训练集，选取与检索训练集中图片相对应的评论图以及与检索训练集中图片不相关的图片作为数据训练集，并将检索训练集和数据训练集作为深度学习训练集，将检索训练集中的图片输入深度学习模型获得各层输出的特征向量，将数据训练集中的图片输入深度学习模型获得各层输出的特征向量，根据检索训练集中一张图片的在一个输出层的特征向量与数据训练集中的各个图片在该输出层的特征向量的距离，对数据训练集中的各个图片进行排序，并根据数据训练集中与检索训练集中的该图片对应的评论图的排序位置以及该排序位置对应的权重，确定检索训练集中该图片在该输出层的匹配结果，根据检索训练集中各本文档来自技高网...

【技术保护点】
一种图像检索方法，其特征在于，包括：利用深度学习模型提取待检索图片的全局特征；利用降维模型中的降维矩阵对所述待检索图片的全局特征进行降维，所述降维模型是以减小降维训练集中相似图片的降维后的全局特征的距离且增大降维训练集中不相似图片的降维后的全局特征的距离为目标构建的；利用矢量量化模型将所述待检索图片的降维后的全局特征量化为二值比特串；根据所述待检索图片的二值比特串与数据库中的图片的二值比特串的距离，从所述数据库中检索出与所述待检索图片相似的图片。

【技术特征摘要】
1.一种图像检索方法，其特征在于，包括：利用深度学习模型提取待检索图片的全局特征；利用降维模型中的降维矩阵对所述待检索图片的全局特征进行降维，所述降维模型是以减小降维训练集中相似图片的降维后的全局特征的距离且增大降维训练集中不相似图片的降维后的全局特征的距离为目标构建的；利用矢量量化模型将所述待检索图片的降维后的全局特征量化为二值比特串；根据所述待检索图片的二值比特串与数据库中的图片的二值比特串的距离，从所述数据库中检索出与所述待检索图片相似的图片。2.根据权利要求1所述的方法，其特征在于，所述利用深度学习模型提取待检索图片的全局特征包括：将所述待检索图片输入GoogleNet模型；从所述GoogleNet模型各层输出的所述待检索图片的特征向量中，选取最后一个平均池化层和最后一个最大池化层输出的特征向量进行组合，作为所述待检索图片的全局特征。3.根据权利要求1所述的方法，其特征在于，所述利用矢量量化模型将所述待检索图片的降维后的全局特征量化为二值比特串包括：根据所述矢量量化模型中的均值向量和旋转矩阵对所述待检索图片的降维后的全局特征进行投影，得到所述待检索图片的投影特征；根据所述矢量量化模型中划分的子空间以及获得的各个子空间的码本，确定所述待检索图片的投影特征在各个子空间中的编码；将所述待检索图片的投影特征在各个子空间中的编码进行组合，得到所述待检索图片的二值比特串。4.根据权利要求3所述的方法，其特征在于，所述根据所述矢量量化模型中划分的子空间以及获得的各个子空间的码本，确定所述待检索图片的投影特征在各个子空间中的编码包括：将所述待检索图片的投影特征的各维数据按照所述子空间的个数均分到各个子空间，获得所述待检索图片在各个子空间的分特征；在各个子空间内，根据该子空间内的码本中与所述待检索图片在该子空间内的分特征的距离最近的码字确定所述待检索图片的投影特征在各个子空间中的编码。5.根据权利要求1所述的方法，其特征在于，还包括：采用以下方法对深度学习模型进行训练：选取人工拍摄的图片作为检索训练集，选取与所述检索训练集中图片相对应的评论图以及与所述检索训练集中图片不相关的图片作为数据训练集，并将所述检索训练集和所述数据训练集作为深度学习训练集；将所述检索训练集中的图片输入所述深度学习模型获得各层输出的特征向量；将所述数据训练集中的图片输入所述深度学习模型获得各层输出的特征向量；根据所述检索训练集中一张图片的在一个输出层的特征向量与所述数据训练集中的各个图片在该输出层的特征向量的距离，对所述数据训练集中的各个图片进行排序，并根据所述数据训练集中与所述检索训练集中的该图片对应的评论图的排序位置以及该排序位置对应的权重，确定所述检索训练集中该图片在该输出层的匹配结果；根据所述检索训练集中各图片在该输出层的匹配结果，确定该输出层的描述能力；根据各输出层的描述能力确定描述图片全局特征最优的两个输出层。6.根据权利要求1所述的方法，其特征在于，还包括：采用以下方法对降维模型进行训练：选取人工拍摄的图片作为检索训练集；从所述数据库中选取与所述检索训练集中相似的图片组成正样本对，从所述数据库中选取与所述检索训练集中不相似的图片组成负样本对，并将正样本对和负样本对作为降维训练集；利用图片的全局特征乘以所述降维矩阵表示图片降维后的全局特征；确定所有正样本对和负样本对中图片的降维后的全局特征的距离与分类阈值的差量信息的总和的关系表示；将求取所述关系表示取最小值时的降维矩阵和分类阈值的代价函数确定为所述降维模型；对所述降维模型进行训练求取最优解，得到所述降维矩阵。7.根据权利要求1所述的方法，其特征在于，还包括：采用以下方法对矢量量化模型进行训练：计算量化训练集中的图片的降维后的全局特征的均值作为所述矢量量化模型的均值向量；将所述量化训练集中的图片的降维后的全局特征减去所述均值向量并组成去均值后的图片特征矩阵；计算所述去均值后的图片特征矩阵的协方差矩阵，并将所述协方差分解为特征值矩阵与特征向量矩阵；根据所述特征值矩阵划分子空间；将所述特征向量矩阵根据所述特征值在所述划分的子空间中的位置对所述特征向量矩阵进行旋转，得到旋转矩阵；计算所述去均值后的图片特征矩阵与所述矢量量化模型的旋转矩阵的乘积，得到所述量化训练集中的图片的投影特征；将所述量化训练集中的图片的投影特征的各维数据按照所述子空间的个数均分到各个子空间；在各个子空间内，根据K均值哈希算法确定该子空间内的子码本以及所述子码本中各个码字对应的编码。8.一种图片检索装置，其特征在于，包括：全局特征提取模块，用于利用深度学习模型提取待检索图片的全...

【专利技术属性】
技术研发人员：安山，陈宇，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11