从客户端系统向视觉查询搜索系统提交视觉查询，诸如照片、截屏、扫描的图像、视频帧。搜索系统通过将视觉查询发送给多个并行搜索系统来对视觉查询进行处理，多个并行搜索系统每一个实现不同的视觉查询搜索过程。从并行搜索系统接收多个结果。利用搜索结果，创建交互式结果文档，并将其发送给客户端系统。交互式结果文档具有用于视觉查询的子部分的至少一个视觉标识符，该至少一个视觉标识符带有到关于该子部分的至少一个搜索结果的可选择的链接。视觉标识符可以是围绕相应子部分的边界框，或在相应子部分之上的半透明标签。可选地，边界框或标签按照结果类型被颜色编码。
【技术实现步骤摘要】
【国外来华专利技术】
所公开的实施例一般地涉及通过用于处理视觉查询的多个并行搜索系统展示搜索结果。
技术介绍
基于文本或基于词语的搜索，其中用户将词或短语输入到搜索引擎中并且接收各种结果，是用于进行搜索的有用工具。然而，基于词语的查询要求用户能够输入相关词语。 有时，用户可能希望知道关于图像的信息。例如，用户可能想要知道照片中的人的名字，或用户可能想要知道图片中的花或鸟的名称。因此，能够接收视觉查询并且提供搜索结果的系统将是期望的。
技术实现思路
根据一些实施例，一种处理视觉查询的计算机实现的方法包括在服务器系统上执行以下步骤，所述服务器系统具有一个或多个处理器和存储一个或多个程序以供该一个或多个处理器执行的存储器。接收来自客户端系统的视觉查询。通过将该视觉查询发送给多个并行搜索系统以供同时处理来对该视觉查询进行处理。多个搜索系统中的每一个实现多个视觉查询搜索过程中的不同视觉查询搜索过程。然后，服务器系统从多个并行搜索系统中的一个或多个接收多个搜索结果。其创建包括视觉查询的相应子部分的一个或多个视觉标识符的交互式结果文档。每一个视觉标识符具有到搜索结果中的至少一个的至少一个用户可选择的链接。最后，服务器系统将该交互式结果文档发送给客户端系统。在一些实施例中，搜索结果包括与视觉查询的对应子部分有关的数据。在一些实施例中，发送进一步包括以搜索结果列表形式发送多个搜索结果的子集以与交互式结果文档一起展示。可选地，该方法进一步包括接收对至少一个用户可选择的链接的用户选择；以及识别搜索结果列表中与所选择的链接相对应的搜索结果。在一些实施例中，视觉标识符包括围绕视觉查询的相应子部分的一个或多个边界框。边界框可以是正方形或可以勾勒出视觉查询的相应子部分。可选地，一些边界框在其之内包括更小的边界框。在一些实施例中，边界框中的每一个包括到一个或多个搜索结果的用户可选择的链接，以及用户可选择的链接具有与边界框所环绕的视觉查询的子部分相对应的激活区域。即使在视觉标识符不是边界框的实施例中，相应用户可选择的链接也具有对应于与对应的视觉标识符相关联的视觉查询的子部分的激活区域。在一些实施例中，当可选择的子部分包含文本时，该方法进一步包括将可选择的子部分的文本发送给基于文本的查询处理系统。在其他实施例中，当视觉查询的子部分对应于包含文本的相应视觉标识符时，与该相应视觉标识符相对应的搜索结果包括来自对文本中的词语的至少一个的词语查询搜索的结果。在一些实施例中，当与相应视觉标识符相对应的视觉查询的子部分包含人的脸时，与该相应视觉标识符相对应的搜索结果包括名字、称呼、联系信息、帐户信息、地址信息、与其脸包含在可选择的子部分中的人相关联的相关移动设备的当前位置、其脸包含在可选择的子部分中的人的其他图像和/或该人的脸的潜在图像匹配。在一些实施例中，当与相应视觉标识符相对应的视觉查询的子部分包含产品时，与该相应视觉标识符相对应的搜索结果包括产品信息、产品评论、发起对产品的购买的选项、发起对产品的出价的选项、类似产品的列表和/或相关产品的列表。在一些实施例中，对一个或多个视觉标识符中的相应视觉标识符进行格式化，以按照在视觉查询的相应子部分中的所识别的实体的类型、以在视觉上不同的方式展示。可以对相应视觉标识符进行格式化，来以在视觉上不同的方式展示，诸如重叠的颜色、重叠的图案、标签背景颜色、标签背景图案、标签字体颜色以及边界颜色。 在一些实施例中，一个或多个视觉标识符中的相应视觉标识符包括由与视觉查询的相应子部分中的图像相关联的至少一个词语组成的标签。对该标签进行格式化以在交互式结果文档中在该相应子部分上或靠近该相应子部分展示。附图说明图I是图示包括视觉查询服务器系统的计算机网络的框图。图2是图示与一些实施例一致的用于对视觉查询作出响应的过程的流程图。图3是图示与一些实施例一致的用于用交互式结果文档对视觉查询作出响应的过程的流程图。图4是图示与一些实施例一致的在客户端和视觉查询服务器系统之间的通信的流程图。图5是图示与一些实施例一致的客户端系统的框图。图6是图示与一些实施例一致的前端视觉查询处理服务器系统的框图。图7是图示与一些实施例一致的利用来处理视觉查询的并行搜索系统中的通用搜索系统的框图。图8是图示与一些实施例一致的利用来处理视觉查询的OCR搜索系统的框图。图9是图示与一些实施例一致的利用来处理视觉查询的面部识别搜索系统的框图。图10是图示与一些实施例一致的利用来处理视觉查询的图像到词语搜索系统的框图。图11图示与一些实施例一致的具有示例性视觉查询的截屏的客户端系统。图12A和12B每一个图示与一些实施例一致的具有带有边界框的交互式结果文档的截屏的客户端系统。图13图示与一些实施例一致的具有按类型编码的交互式结果文档的截屏的客户端系统。图14图示与一些实施例一致的具有带有标签的交互式结果文档的截屏的客户端系统。图15图示与一些实施例一致的交互式结果文档和视觉查询与结果列表同时显示的截屏。、整个附图，相同的参考数字指代对应的部分。具体实施例方式现将详细参考实施例，在附图中图示了所述实施例的示例。在下面的详细描述中，阐述了许多具体细节以提供对本专利技术的全面了解。然而，对本领域普通技术人员将是显而易见的是，在没有这些具体细节的情况下，可以实践本专利技术。在其他情况下，没有详细描述众所周知的方法、程序、组件、电路和网络，以免不必要地使实施例的方面模糊不清。还将理解的是，尽管词语第一、第二等在此可以用于描述各种元素，这些元素不应当由这些词语限制。这些词语仅仅用于区分元素。例如，在不背离本专利技术的范围的情况下，第一联系人可以被称为第二联系人，以及类似地，第二联系人可以被称为第一联系人。第一联系人和第二联系人都是联系人，但是其不是同一联系人。在此对本专利技术的描述中所使用的术语仅用于描述特定实施例的目的，并且并不意在是对本专利技术的限制。除非语境另外明确指示，如在本专利技术的描述和所附权利要求中所使用的，单数形式“一”、“一个”和“所述”还意在包括复数形式。还将理解的是，如在此所使用的词语“和/或”是指并且涵盖相关联的列出的项中的一个或多个的任何和所有可能组合。将进一步理解的是，词语“包括”当在本说明书中使用时指示陈述的特征、完整物、步骤、操作、元素和/或组件的存在，但是并不排除一个或多个其他特征、完整物、步骤、操作、元素、组件和/或其组群的存在或添加。取决于语境，如在此所使用的，词语“如果”可以被解释成意为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测”可以被解释成意为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。图I是图示根据一些实施例的包括视觉查询服务器系统的计算机网络的框图。计算机网络100包括一个或多个客户端系统102和视觉查询服务器系统106。一个或多个通信网络104使这些组件互连。通信网络104可以是多种网络中的任何网络，包括局域网(LAN)、广域网(WAN)、无线网络、有线网络、因特网或这样的网络的组合。客户端系统102包括用于接收视觉查询(例如，图11的视觉查询1102)的客户端应用108，其由客户端系统执行。视觉查询是作为查询提交给搜索引擎或搜索系统本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：戴维·彼得鲁，西奥多·鲍尔，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。