搜索方法、搜索装置、电子设备、存储介质和程序产品制造方法及图纸

本公开提供了一种搜索方法、搜索装置、电子设备、存储介质和程序产品，涉及搜索领域和人工智能领域，尤其涉及以图搜图领域和机器学习领域。该方法包括：获取图像文本对集合，其中图像文本对集合为基于输入图像通过以图搜图得到的搜索结果；确定图像文本对集合中的第一图像文本对中的第一文本与图像文本对集合中的第二图像文本对中的第二文本的文本相似度；以及基于文本相似度，确定第一图像文本对与第二图像文本对的图像文本对相似度。利用上述方法，可以通过确定搜索结果中的多个图像文本对中的文本之间的文本相似度来确定图像文本对之间的图像文本对相似度，从而支持对搜索结果进行排序等操作，以及支持基于图像文本对相似度来训练各种模型，因而可以提升用户使用搜索工具时的用户体验。

【技术实现步骤摘要】
搜索方法、搜索装置、电子设备、存储介质和程序产品
本公开涉及计算机技术，并且更具体地，涉及搜索方法、搜索装置、电子设备、计算机可读存储介质和计算机程序产品，可以用于搜索领域和人工智能领域等领域，尤其可以用于以图搜图领域和机器学习领域等领域。
技术介绍
当今互联网生活中广泛存在着基于输入的图像来搜索与之相关联的、包括匹配的图像和相关联的文本的网页信息的搜索诉求，因此多个公司的多种产品已经被开发用于实现前述的、可以被称为以图搜图的搜索请求。用于以图搜图的产品的主要技术方案包括分析输入的、要被搜索的图像的特征、基于要被搜索的图像的特征来与数据库中的现有图像的特征进行比对，并且基于搜索到的相关联的图像来拉取与图像对应的网页，并且对拉取的网页进行展现。在以图搜图的上述过程中，对拉取的网页进行排序展现极大程度上影响了相关产品的最终质量。然而，传统的用于以图搜图的产品在对拉取的网页进行排序展现时存在很大的局限性，从而使得用户难以直观地看到最为接近的、或者被合理排序的搜索结果，进而影响用户使用搜索工具针对输入图像进行搜索操作时的用户体验。
技术实现思路
根据本公开的实施例，提供了一种搜索方法、搜索装置、电子设备、计算机可读存储介质和计算机程序产品。在本公开的第一方面中，提供了一种搜索方法，包括：获取图像文本对集合，其中图像文本对集合为基于输入图像通过以图搜图得到的搜索结果；确定图像文本对集合中的第一图像文本对中的第一文本与图像文本对集合中的第二图像文本对中的第二文本的文本相似度；以及基于文本相似度，确定第一图像文本对与第二图像文本对的图像文本对相似度。在本公开的第二方面中，提供了一种搜索装置，包括：获取模块，被配置为获取图像文本对集合，其中图像文本对集合为基于输入图像通过以图搜图得到的搜索结果；第一文本相似度确定模块，被配置为确定图像文本对集合中的第一图像文本对中的第一文本与图像文本对集合中的第二图像文本对中的第二文本的文本相似度；以及第一图像文本对相似度确定模块，被配置为基于文本相似度，确定第一图像文本对与第二图像文本对的图像文本对相似度。在本公开的第三方面中，提供了一种电子设备，包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够实现根据本公开的第一方面的方法。在本公开的第四方面中，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机实现根据本公开的第一方面的方法。在本公开的第五方面中，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时，执行根据本公开的第一方面的方法。利用根据本申请的技术，提供了一种搜索方法，利用该方法，可以通过确定搜索结果中的多个图像文本对中的文本之间的文本相似度来确定图像文本对之间的图像文本对相似度，从而支持对搜索结果进行排序等操作，以及支持基于图像文本对相似度来训练各种模型，因而可以提升用户使用搜索工具时的用户体验。应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。附图说明通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中在本公开示例性实施例中，相同的参考标号通常代表相同部件。应当理解，附图用于更好地理解本方案，不构成对本公开的限定。其中：图1示出了可以在其中实现本公开的某些实施例中的搜索方法的搜索环境100的示意性框图；图2示出了根据本公开实施例的搜索方法200的流程图；图3示出了根据本公开实施例的搜索方法300的流程图；图4示出了根据本公开实施例的搜索方法400的流程图；图5示出了根据本公开的实施例的搜索装置500的示意性框图；以及图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。在各个附图中，相同或对应的标号表示相同或对应的部分。具体实施方式下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。如以上在
技术介绍
中所描述的，传统的用于以图搜图的产品在对拉取的网页进行排序展现时存在很大的局限性，从而使得用户难以直观地看到最为接近的、或者被合理排序的搜索结果，进而影响用户使用搜索工具针对输入图像进行搜索操作时的用户体验。例如，在传统技术中，可以采取两种方式来对搜索结果进行排序展现。第一种方式涉及采取结果网页文本与搜索请求图之间的图文相关性技术。图文相关性的技术包括学术数据集上广泛的图像与文本相关性技术，主要是提取图像特征、提取文本特征、设计特定的相关性打分网络，基于标注的相关性数据进行图像与文本相关性打分拟合。第二种方式涉及参照例如搜索的文本和检索返回的结果文本的相关性的文本搜索相关性的方式。文本搜索相关性方式被迁移到以图搜图场景上，使用提取图像特征的方法替换提取搜索文本特征的方法，提取结果页文本特征的方法和相关性打分方法基本不变，同时，相关性的训练上也参照学习排序(LearningtoRank)的方式，通过构建不同相关性的图文对来训练排序模型。然而，上述两种方式都存在明显的缺陷。第一种方式涉及特定的图文相关性模型，在人工构建的图文相关性数据上进行训练的模型可能取得不错效果，但是在例如以图搜图的来源网页的搜索场景下，的图文相关性需求和一般性图文相关性需求并不一致。具体而言，以图搜索场景需要对海量、广谱的图文数据进行相关性区分，搜索场景的结果数据通常达到数百亿的例如网页标题的文本规模，图像也几乎覆盖所有网络图像，在数据的规模和多样性上都比任何特定的图文相关性任务要大，是典型的大数据场景。此外，以图搜图场景的排序候选文本大多与图像存在相关性，只是相关性强弱不同，这和学术上将相关文本分成几档相关性然后人工构建不同相关性文本比较的任务不同。再者，人工构建的图文相关性通常不涉及用户行为，搜索场景下的用户点击行为数据不会被用于训练图文相关性模型，而海量用户查看点击行为数据本身就构成数据优势。第二种方式涉及基于文本搜索相关的技术，其被迁移到以图搜图搜索场景下以训练图文相关性模型，进而改进结果页的相关性。一般而言，文本搜索场景图文相关性训练通过构建本文档来自技高网...

【技术保护点】
1.一种搜索方法，包括：/n获取图像文本对集合，其中所述图像文本对集合为基于输入图像通过以图搜图得到的搜索结果；/n确定所述图像文本对集合中的第一图像文本对中的第一文本与所述图像文本对集合中的第二图像文本对中的第二文本的文本相似度；以及/n基于所述文本相似度，确定所述第一图像文本对与所述第二图像文本对的图像文本对相似度。/n

【技术特征摘要】
1.一种搜索方法，包括：
获取图像文本对集合，其中所述图像文本对集合为基于输入图像通过以图搜图得到的搜索结果；
确定所述图像文本对集合中的第一图像文本对中的第一文本与所述图像文本对集合中的第二图像文本对中的第二文本的文本相似度；以及
基于所述文本相似度，确定所述第一图像文本对与所述第二图像文本对的图像文本对相似度。


2.根据权利要求1所述的方法，其中确定所述文本相似度包括：
基于所述第一文本和所述第二文本之间的相同部分来确定所述文本相似度。


3.根据权利要求2所述的方法，其中确定所述文本相似度包括：
以字为单位，确定所述第一文本中、与所述第二文本中所包括的内容相同的第一部分；
确定所述第一部分的字数与所述第一文本的字数的第一比值；
以字为单位，确定所述第二文本中、与所述第一文本中所包括的内容相同的第二部分；
确定所述第二部分的字数与所述第二文本的字数的第二比值；以及
将所述第一比值与所述第二比值的乘积确定为所述文本相似度。


4.根据权利要求3所述的方法，其中：
确定所述第一部分包括以至少两个连续字为单位，确定所述第一文本中、与所述第二文本中所包括的内容相同的所述第一部分；并且
确定所述第二部分包括以至少两个连续字为单位，确定所述第二文本中、与所述第一文本中所包括的内容相同的所述第二部分。


5.根据权利要求1所述的方法，其中确定所述图像文本对相似度包括：
确定所述第一图像文本对中的第一图像与所述第二图像文本对中的第二图像的图像相似度；以及
基于所述文本相似度和所述图像相似度，确定所述第一图像文本对与所述第二图像文本对的所述图像文本对相似度。


6.根据权利要求1所述的方法，其中：
所述第二图像文本对包括多个第二图像文本对；
确定所述文本相似度包括确定所述第一文本与所述多个第二图像文本中的多个第二文本的多个文本相似度；并且
确定所述图像文本对相似度包括确定所述第一图像文本对与所述多个第二图像文本对的多个图像文本对相似度。


7.根据权利要求6所述的方法，还包括：
将所述第一图像文本对和所述多个第二图像文本对中的、图像文本对相似度高于相似度阈值的第二图像文本对确定为正样本；
将所述多个第二图像文本对中的、所述图像文本对相似度不高于所述相似度阈值的第二图像文本对确定为负样本；以及
利用所述正样本和所述负样本来训练搜索模型，使得所述搜索模型能够基于所述输入图像来从所述图像文本对集合选择出所述第一图像文本对和所述图像文本对相似度高于所述相似度阈值的所述第二图像文本对。


8.根据权利要求6或7所述的方法，还包括：
利用所述多个第二图像文本对和所述多个图像文本对相似度来训练排序模型，使得所述排序模型能够基于所述输入图像来按照所述多个图像文本对相似度来对所述多个第二图像文本对排序。


9.一种搜索装置，包括：
获取模块，被配置为获取图像文本对集合，其中所述图像文本对集合为基于输入图像通过以图搜图得到的搜索结果；
第一文本相似度确定模块，被配置为确定所述图像文本对集合中的第一图像文本对中的第一文本与所述图像文本对集合中的第二图像文本对中的第二文本的文本相似度；以及
第一图像文本对相似度确定模块，被配置为基于所述文本相似度，确定所述第一图像文本对与所述第二图像文本对的图像文本对相似度。


10.根据权利要求9所述的装置，其中所述第一文本相似度确定模块包括：
第二文本相似度确定模块，被配置为基于所述第一文本和所述第二文本之间的相...

【专利技术属性】
技术研发人员：程洲，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11