图片检索方法和装置制造方法及图纸

本发明专利技术公开了一种图片检索方法和装置，属于图像处理领域。该方法包括：获取每个种子图片的特征向量，该特征向量由神经网络中提取的种子图片的多层特征组成；根据每个种子图片的特征向量，生成每个种子图片的至少一个视觉单词，该至少一个视觉单词用于表示每个种子图片的语义；根据每个种子图片的特征向量和至少一个视觉单词，获取每个视觉单词的至少一个种子图片和至少一个特征向量，进行图片检索。本发明专利技术通过将种子图片看作视觉单词的集合，获取种子图片的特征向量，根据特征向量生成至少一个视觉单词，该至少一个视觉单词用于表示种子图片的语义，基于视觉单词进行图片检索时，提高了检索精确度，能够满足用户的检索需求。

【技术实现步骤摘要】

本专利技术涉及图像处理领域，特别涉及一种图片检索方法和装置。
技术介绍
为了满足用户的视觉需求，目前的很多信息都是图片格式的。计算机可以识别出图片的视觉信息，如图片的颜色、形状、灰度分布等，当用户发起了图片检索指令时，计算机可以根据图片的视觉信息进行图片检索，如根据图片的视觉信息，学习图片的低层特征，再将学习到的多个低层特征组合成高层特征，通过对每个已有图片的高层特征进行匹配，检索出与用户指定的图片相似的图片。在实现本专利技术的过程中，专利技术人发现现有技术存在以下问题：根据图片的视觉信息进行图片检索时，仅能从视觉上对图片进行区分，检索精确度低，无法满足用户的检索需求。
技术实现思路
为了解决现有技术的问题，本专利技术实施例提供了一种图片检索方法和装置。所述技术方案如下：第一方面，提供了一种图片检索方法，所述方法包括：获取每个种子图片的特征向量，所述特征向量由神经网络中提取的种子图片的多层特征组成；根据每个种子图片的特征向量，生成每个种子图片的至少一个视觉单词，所述至少一个视觉单词用于表示每个种子图片的语义；根据每个种子图片的特征向量和至少一个视觉单词，获取每个视觉单词的至少一个种子图片和至少一个特征向量；基于每个视觉单词的至少一个种子图片和至少一个特征向量进行图片检索。第二方面，提供了一种图片检索装置，所述装置包括：特征向量获取模块，用于获取每个种子图片的特征向量，所述特征向量由神经网络中提取的种子图片的多层特征组成；视觉单词生成模块，用于根据每个种子图片的特征向量，生成每个种子图片的至少一个视觉单词，所述至少一个视觉单词用于表示每个种子图片的语义；视觉单词索引模块，用于根据每个种子图片的特征向量和至少一个视觉单词，获取每个视觉单词的至少一个种子图片和至少一个特征向量；图片检索模块，用于基于每个视觉单词的至少一个种子图片和至少一个特征向量进行图片检索。本专利技术实施例提供的技术方案带来的有益效果是：本专利技术实施例提供的方法和装置，通过将种子图片看作视觉单词的集合，获取种子图片的特征向量，该特征向量由神经网络中提取的种子图片的多层特征组成，根据特征向量生成至少一个视觉单词，该至少一个视觉单词用于表示种子图片的语义，基于视觉单词进行图片检索时，提高了检索精确度，能够满足用户的检索需求。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种图片检索方法的流程图；图2是本专利技术实施例提供的一种图片检索方法的流程图；图3是本专利技术实施例提供的一种图片检索装置结构示意图；图4是本专利技术实施例提供的一种服务器的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1是本专利技术实施例提供的一种图片检索方法的流程图，参见图1，该方法包括：101、获取每个种子图片的特征向量，该特征向量由神经网络中提取的种子图片的多层特征组成。102、根据每个种子图片的特征向量，生成每个种子图片的至少一个视觉单词，该至少一个视觉单词用于表示每个种子图片的语义。103、根据每个种子图片的特征向量和至少一个视觉单词，获取每个视觉单词的至少一个种子图片和至少一个特征向量。104、基于每个视觉单词的至少一个种子图片和至少一个特征向量进行图片检索。本专利技术实施例提供的方法，通过将种子图片看作视觉单词的集合，获取种子图片的特征向量，该特征向量由神经网络中提取的种子图片的多层特征组成，根据特征向量生成至少一个视觉单词，该至少一个视觉单词用于表示种子图片的语义，基于视觉单词进行图片检索时，提高了检索精确度，能够满足用户的检索需求。可选地，该基于每个视觉单词的至少一个种子图片和至少一个特征向量进行图片检索包括：对于待检索的指定图片，获取该指定图片的特征向量，作为第一特征向量，根据该第一特征向量，生成至少一个指定视觉单词；基于每个视觉单词的至少一个特征向量，确定该至少一个指定视觉单词的至少一个特征向量，作为第二特征向量；计算该指定特征向量与该至少一个第二特征向量之间的相似度；按照相似度从大到小的顺序，从该至少一个第二特征向量中，提取至少一个特征向量，作为第三特征向量；获取该至少一个第三特征向量对应的至少一个种子图片，作为该指定图片的相似图片。可选地，该方法还包括：当获取到指定图片的至少一个相似图片时，根据该指定图片与该至少一个相似图片之间的相似度以及该至少一个相似图片的语义，获取该指定图片的语义。可选地，该根据该指定图片与该至少一个相似图片之间的相似度以及该至少一个相似图片的语义，获取该指定图片的语义包括：对于每个相似图片，获取该相似图片的至少一个语义单词和该至少一个语义单词的第一权重；获取该指定图片与该相似图片之间的相似度；对于该相似图片的每个语义单词，计算该相似度与该语义单词的第一权重的乘积，作为该语义单词的第二权重；按照第二权重从大到小的顺序，从该至少一个相似图片的至少一个语义单词中，提取至少一个语义单词，作为该指定图片的语义单词。可选地，该获取该相似图片的至少一个语义单词和该至少一个语义单词的第一权重包括：获取该相似图片的至少一个文字描述块，为该至少一个文字描述块分配权重；根据文字描述块中的每个单词的出现次数和该至少一个文字描述块的数目，计算每个单词的逆向频率，该逆向频率用于表示单词对该相似图片的重要程度；对于每个文字描述块，计算该文字描述块中每个单词的逆向频率与该文字描述块的权重的乘积，作为每个单词的第一权重；按照第一权重从大到小的顺序，从该至少一个文字描述块中的每个单词中，提取至少一个单词，作为该相似图片的至少一个语义单词；确定该至少一个语义单词的第一权重。上述所有可选技术方案，可以采用任意结合形成本专利技术的可选实施例，在此不再一一赘述。图2是本专利技术实施例提供的一种图片检索方法的流程图。该本文档来自技高网...

【技术保护点】
一种图片检索方法，其特征在于，所述方法包括：获取每个种子图片的特征向量，所述特征向量由神经网络中提取的种子图片的多层特征组成；根据每个种子图片的特征向量，生成每个种子图片的至少一个视觉单词，所述至少一个视觉单词用于表示每个种子图片的语义；根据每个种子图片的特征向量和至少一个视觉单词，获取每个视觉单词的至少一个种子图片和至少一个特征向量；基于每个视觉单词的至少一个种子图片和至少一个特征向量进行图片检索。

【技术特征摘要】
1.一种图片检索方法，其特征在于，所述方法包括：
获取每个种子图片的特征向量，所述特征向量由神经网络中提取的种子图
片的多层特征组成；
根据每个种子图片的特征向量，生成每个种子图片的至少一个视觉单词，
所述至少一个视觉单词用于表示每个种子图片的语义；
根据每个种子图片的特征向量和至少一个视觉单词，获取每个视觉单词的
至少一个种子图片和至少一个特征向量；
基于每个视觉单词的至少一个种子图片和至少一个特征向量进行图片检
索。
2.根据权利要求1所述的方法，其特征在于，所述基于每个视觉单词的至
少一个种子图片和至少一个特征向量进行图片检索包括：
对于待检索的指定图片，获取所述指定图片的特征向量，作为第一特征向
量，根据所述第一特征向量，生成至少一个指定视觉单词；
基于每个视觉单词的至少一个特征向量，确定所述至少一个指定视觉单词
的至少一个特征向量，作为第二特征向量；
计算所述指定特征向量与所述至少一个第二特征向量之间的相似度；
按照相似度从大到小的顺序，从所述至少一个第二特征向量中，提取至少
一个特征向量，作为第三特征向量；
获取所述至少一个第三特征向量对应的至少一个种子图片，作为所述指定
图片的相似图片。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当获取到指定图片的至少一个相似图片时，根据所述指定图片与所述至少

\t一个相似图片之间的相似度以及所述至少一个相似图片的语义，获取所述指定
图片的语义。
4.根据权利要求3所述的方法，其特征在于，所述根据所述指定图片与所
述至少一个相似图片之间的相似度以及所述至少一个相似图片的语义，获取所
述指定图片的语义包括：
对于每个相似图片，获取所述相似图片的至少一个语义单词和所述至少一
个语义单词的第一权重；
获取所述指定图片与所述相似图片之间的相似度；
对于所述相似图片的每个语义单词，计算所述相似度与所述语义单词的第
一权重的乘积，作为所述语义单词的第二权重；
按照第二权重从大到小的顺序，从所述至少一个相似图片的至少一个语义
单词中，提取至少一个语义单词，作为所述指定图片的语义单词。
5.根据权利要求4所述的方法，其特征在于，所述获取所述相似图片的至
少一个语义单词和所述至少一个语义单词的第一权重包括：
获取所述相似图片的至少一个文字描述块，为所述至少一个文字描述块分
配权重；
根据文字描述块中的每个单词的出现次数和所述至少一个文字描述块的数
目，计算每个单词的逆向频率，所述逆向频率用于表示单词对所述相似图片的
重要程度；
对于每个文字描述块，计算所述文字描述块中每个单词的逆向频率与所述
文字描述块的权重的乘积，作为每个单词的第一权重；
按照第一权重从大到小的顺序，从所述至少一个文字描述块中的每个单词
中，提取至少一个单词，作为所述相似图片的至少一个语义单词；
确定所述至少一个语义单词的第一权重。
6.一种图片检索装置，其特征在于，所述装置...

【专利技术属性】
技术研发人员：姚伶伶，赫南，何琪，胡繁星，卫望，王兵，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44