一种搜索方法和处理设备技术

本申请提供了一种搜索方法和处理设备，其中，该方法包括：提取目标图像的图像特征向量，其中，所述图像特征向量用于表征所述目标图像的图像内容；在同一向量空间中，根据所述图像特征向量与文本的文本特征向量之间的相关度，确定所述目标图像对应的文本，其中，所述文本特征向量用于表征文本的语义。通过上述方式解决了现有的推荐文本方式所存在的效率较低、对系统处理能力要求较高的问题，达到了可以简单准确的实现图像打标的技术效果。

A Search Method and Processing Equipment

【技术实现步骤摘要】
一种搜索方法和处理设备
本申请属于互联网
，尤其涉及一种搜索方法和处理设备。
技术介绍
随着互联网、电子商务等技术的不断发展，对图像数据的需求越来越大，如何对图像数据进行更为有效的分析和利用，对电子商务会产生很大的影响。在对图像数据进行处理的过程中，为图像推荐标签可以更为有效地实现图像的聚合、图像分类、图像检索等等，因此，对图像数据推荐标签的需求也就越来越大。例如，用户A希望通过图像搜索产品的方式来搜索产品，这种情况下，如果可以自动对图像进行打标，那么用户在上传图像之后，就可以自动推荐出与图像相关的品类关键词和属性关键词。或者是在其他存在图像数据的场景，可以自动为图像推荐文本(例如：标签等)，不需要人为进行分类打标。针对如何简单高效地对图像进行打标，目前尚未提出有效的解决方案。
技术实现思路
本申请目的在于提供一种搜索方法和处理设备，可以简单高效地对图像进行打标。本申请提供一种搜索方法和处理设备是这样实现的：一种搜索方法，所述方法包括：提取目标图像的图像特征向量，其中，所述图像特征向量用于表征所述目标图像的图像内容；在同一向量空间中，根据所述图像特征向量与标签的文本特征向量之间的相关度，确定所述目标图像对应的标签，其中，所述文本特征向量用于表征标签的语义。一种处理设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：提取目标图像的图像特征向量，其中，所述图像特征向量用于表征所述目标图像的图像内容；在同一向量空间中，根据所述图像特征向量与标签的文本特征向量之间的相关度，确定所述目标图像对应的标签，其中，所述文本特征向量用于表征标签的语义。一种搜索方法，所述方法包括：提取目标图像的图像特征，其中，所述图像特征用于表征所述目标图像的图像内容；在同一向量空间中，根据所述图像特征与文本的文本特征之间的相关度，确定所述目标图像对应的文本，其中，所述文本特征用于表征文本的语义。一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现上述方法的步骤。本申请提供的确定图像标签的方法和处理设备，考虑到可以采用以图搜文的方式，基于输入的目标图像直接搜索确定出推荐的文本，而不需要在匹配的过程中增加图像匹配的操作，可以直接通过确定图像特征向量与文本特征向量之间的相关度来匹配得到对应的文本。通过上述方式解决了现有的推荐文本方式所存在的效率较低、对系统处理能力要求较高的问题，达到了可以简单准确的实现图像打标的技术效果。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请提供的搜索方法一种实施例的方法流程图；图2是本申请提供的图像编码模型和标签编码模型的建立示意图；图3是本申请提供的搜索方法另一实施例的方法流程图；图4是本申请提供的图像自动打标示意图；图5是本申请提供的以图搜诗文的示意图；图6是本申请提供的服务器的架构示意图；图7是本申请提供的搜索装置的结构框图。具体实施方式为了使本
的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。目前也存在一些为图像推荐文本的方法，例如：训练一个以图搜图的模型，为每张图像生成一个图像特征向量，对于任意的两张图像，图像特征向量之间的相似度越大，那就表明两个图像越相似。基于这个原理，现有的搜索方法一般是收集一个图像集，控制该图像集中的图像可以尽量涵盖整个应用场景。然后，可以通过基于图像特征向量的搜索匹配方式，从图像集中确定出与用户输入的图像相似的一个或多个图像，然后，将这一个或多个图像的文本作为文本集，从该文本集中确定出置信度比较高的一个或多个，作为为该图像推荐的文本。这种搜索方法需要维护一个涵盖整个应用场景的图像集，文本推荐的准确度依赖于图像集的规模，以及图像集自带文本的精度，且文本往往需要人工进行标注，实现起来较为繁琐。针对上述以图搜图的文本推荐方法所存在的问题，考虑到可以采用以图搜文的方式，基于输入的目标图像直接搜索确定出推荐的文本，而不需要在匹配的过程中增加图像匹配的操作，可以直接通过目标图像匹配得到对应的文本，即，可以采用以图搜文的方式为目标图像推荐文本。上述的文本可以是短标签、长标签、特定的文字内容等等，具体是哪种形式的文本内容，本申请对此不作限定，可以根据实际需要选择。例如，在电商场景中上传图片，那么文本可以是短标签，如果在一个诗文与图片的匹配系统中，那么文本可以是诗句，即，可以根据实际的应用场景的不同，选用不同的文本内容类型。考虑可以对图像进行特征提取和对文本进行特征提取，然后，通过提取的特征计算图像与标签集中各个文本之间的相关度，按照相关度高低确定目标图像的文本。基于此，在本例中提供了一种搜索方法，如图1所示，通过提取目标图像中用于表征目标图像的图像内容的图像特征向量，和文本中用于表征文本语义的文本特征向量，来统计图像特征向量和文本特征向量之间的相关度，从而确定出目标图像对应的文本。即，可以将文本和图像两个模态的数据经过各自的编码转换为同一空间的特征的特征向量，然后通过特征之间的距离来衡量文本和图像之间的相关度，将相关度高的文本作为目标图像的文本。在一个实施方式中，可以通过客户端上传图像，其中，所述客户端可以是客户操作使用的终端设备或者软件。具体的，客户端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能手表或者其它可穿戴设备等终端设备。当然，客户端也可以是能运行于上述终端设备中的软件。例如：手机淘宝、支付宝或者浏览器等应用软件。在一个实施方式中，考虑到在实际应用中的处理速度，可以预先提取出各个文本的文本特征向量，这样在获取到目标图像之后，仅需要提取目标图像的图像特征向量，而不需要再提取文本的文本特征向量，这样可以避免重复计算，且可以提高处理速度和效率。如图2所示，可以采用但不限于采用以下方式圈定为目标图像确定的文本：1)将文本特征向量与所述目标图像的图像特征向量之间的相关度大于预设阈值的一个或多个文本作为所述目标图像对应的文本；例如，预设阈值为0.7，即，如果某个或者某几个文本的文本特征向量与目标图像的图像特征向量之间的相关度大于0.7，则可以将这些文本作为为目标图像确定的文本。2)将文本特征向量与所述目标图像的图像特征向量之间的相关度位于前预设数量的文本作为所述目标图像的文本。例如，预设数量为4个，则可以按照文本特征向量与目标图像的图像特征向量之间的相关度高低进行排序，将相关度位于前4的4个文本作为为目标图像确定的文本。然而值得注意的是，上述所列举的圈定为目标图像确定的文本仅是一种示意性描述，在实际实现的时候，还可以采用其它的确定策略，例如，可以将相关度位于前预设数量，且相关度超出预设阈值的文本作为确定的文本。具体采用哪种方式可以根据实际需本文档来自技高网...

【技术保护点】
1.一种搜索方法，其特征在于，所述方法包括：提取目标图像的图像特征向量，其中，所述图像特征向量用于表征所述目标图像的图像内容；在同一向量空间中，根据所述图像特征向量与文本的文本特征向量之间的相关度，确定所述目标图像对应的文本，其中，所述文本特征向量用于表征文本的语义。

【技术特征摘要】
1.一种搜索方法，其特征在于，所述方法包括：提取目标图像的图像特征向量，其中，所述图像特征向量用于表征所述目标图像的图像内容；在同一向量空间中，根据所述图像特征向量与文本的文本特征向量之间的相关度，确定所述目标图像对应的文本，其中，所述文本特征向量用于表征文本的语义。2.根据权利要求1所述的方法，其特征在于，在根据所述图像特征向量与文本的文本特征向量之间的相关度，确定所述目标图像对应的文本之前，还包括：根据所述图像特征向量与所述文本特征向量之间的欧式距离，确定所述目标图像与文本之间的相关度。3.根据权利要求1所述的方法，其特征在于，根据所述图像特征向量与文本的文本特征向量之间的相关度，确定所述目标图像对应的文本，包括：将文本特征向量与所述目标图像的图像特征向量之间的相关度大于预设阈值的一个或多个文本作为所述目标图像对应的文本；或者，将文本特征向量与所述目标图像的图像特征向量之间的相关度位于前预设数量的文本作为所述目标图像的文本。4.根据权利要求1所述的方法，其特征在于，根据所述图像特征向量与文本的文本特征向量之间的相关度，确定所述目标图像对应的文本，包括：逐个确定所述图像特征向量与多个文本中各个文本的文本特征向量之间的相关度；在确定出所述图像特征向量与多个文本中各个文本的文本特征向量之间的相似度后，基于确定出的所述图像特征向量与多个文本中各个文本的文本特征向量之间的相似度，确定所述目标图像对应的文本。5.根据权利要求1所述的方法，其特征在于，在提取目标图像的图像特征向量之前，还包括：获取搜索点击行为数据，其中，所述搜索点击行为数据包括：搜索文本和基于搜索文本点击的图像数据；将所述搜索点击行为数据转换为多个图像文本对；根据所述多个图像文本对，训练得到用于提取图像特征向量和文本特征向量的数据模型。6.根据权利要求5所述的方法，其特征在于，将所述搜索点击行为数据转换为多个图像文本对包括：对所述搜索文本进行分词处理和词性分析；从分词处理和词性分析所得到的数据中确定出文本；对所述基于搜索文本点击的图像数据进行去重处理；根据确定出的文本和去重处理后得到的图像数据，建立图像文本对。7.根据权利要求6所述的方法，其特征在于，所述图像文本对包括单标签对，所述单标签对中携带有：一个图像和一个文本。8.一种处理设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：确定图像文本的方法，其特征在于，所述方法包括：提取目标图像的图像特征向量，其中，所述图像特征向量用于表征所述目标图像...

【专利技术属性】
技术研发人员：刘瑞涛，刘宇，徐良鹏，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY