用于视觉查询的可采取动作的搜索结果制造技术

一种服务器系统接收视觉查询并且识别该视觉查询中的实体。该服务器系统进一步识别与所识别实体相对应的客户端侧动作并且创建被配置为启动客户端侧动作的可采取动作的搜索结果元素。可采取动作的搜索结果元素的示例是用于发起电话呼叫、发起电子邮件消息、对地址绘制地图、进行餐厅预订以及提供购买产品的选项的按钮。在视觉查询中所识别的实体可以间接地与在与所识别实体相关联的搜索结果中找到其联系人地址或适当链接的客户端侧动作相关联。客户端系统接收并显示所述可采取动作的搜索结果元素，并且在用户选择所述可采取动作的搜索结果元素时，启动与视觉查询客户端应用不同的应用中的客户端侧动作。

【技术实现步骤摘要】
【国外来华专利技术】
所公开的实施例一般地涉及创建与视觉查询中的实体相对应的一个或多个可采取动作(actionable)的搜索结果元素。
技术介绍
其中用户向搜索引擎中输入词或短语并且接收各种结果的基于文本或基于词语的捜索是ー种用于搜索的有用工具。然而，基于词语的查询需要用户能够输入相关词语。有时用户会希望了解与图像相关的信息。例如，用户可能想要知道照片中人物的名字，或者用户可能想要知道杂志中的图片中的花或鸟的名称。个人可能还会希望与图像中的人联系或者购买图像中的项目。因此，将需要一种能够接收图像，将其转换为视觉查询，并且提供与在视觉查询中所识别的实体相对应的可采取动作的捜索结果元素的系统。
技术实现思路
通过提供以下所描述的方法、系统、计算机可读存储介质和图形用户界面(GUI)来对以上所描述的ー些局限和缺点进行描述。一些实施例提供了提供以下内容的方法、系统、计算机可读存储介质和图形用户界面(GUI)。根据ー些实施例，一种计算机实现的处理视觉查询的方法包括在服务器系统上执行以下操作，所述服务器系统具有一个或多个处理器以及存储供所述ー个或多个处理器执行的一个或多个程序的存储器。由所述服务器系统从客户端系统接收视觉查询。在ー些实施例中，通过将视觉查询发送到实现视觉查询捜索处理的至少ー个捜索系统，并且从搜索系统中的一个或多个接收多个搜索结果，来对所述视觉查询进行处理。无论服务器系统是否将视觉查询发送至捜索系统，所述服务器系统都对所述视觉查询中的实体进行识别。其还识别与所识别实体相对应的一个或多个客户端侧动作。接着，其创建被配置为启动所述客户端侧动作中的一个的可采取动作的搜索结果元素。在一些实施例中，其创建被配置为启动多个客户端侧动作的多个可采取动作的捜索結果。最后，所述服务器系统将(多个)可采取动作的捜索结果元素以及所述多个捜索结果中的至少ー个发送到所述客户端系统。在一些实施例中，所述可采取动作的捜索结果元素不同于所述多个搜索結果。一些实施例提供了创建多个可采取动作的搜索结果按钮并且将它们发送到客户端系统，所述多个可采取动作的搜索结果按钮中的每ー个被配置为启动唯一的客户端动作。在一些实施例中，所述方法还包括识别与所识别实体相对应的多个不同的客户端侧动作。接着，所述服务器系统创建两个或更多可采取动作的捜索结果元素，所述两个或更多可采取动作的搜索结果元素中的每ー个被配置为启动所识别的多个客户端侧动作中的相应客户端侧动作。所述服务器系统接着将所述两个或更多可采取动作的捜索结果元素发送到所述客户端系统。在一些实施例中，识别实体包括使用非OCR图像匹配过程来识别视觉查询中的实体。在一些实施例中，相应客户端侧动作是以下的ー个或多个对电话号码发起呼叫、即时消息发送、传呼、传真、发送电子邮件、社交网络通信，以及通过另ー种通信机制进行通ィ目。在一些实施例中，视觉查询中所识别的实体可以是人、与人相关联的姓名或其它标识符、条形码、标志、企业、组织、建筑物、建筑物或物理结构群组、邮政地址、地标、地理实体、产品或服务。以上所提到的方法可选地还包括向客户端系统发送具有可采取动作的捜索结果元素的视觉查询的表示，所述可采取动作的捜索结果元素覆盖所述视觉查询的表示的至少一部分。在其它实施例中，所述发送包括向客户端系统发送用于视觉呈现覆盖所述视觉查询的至少一部分的可采取动作的捜索结果元素的信息。可选地，当所识别的实体是电话号码时，所述可采取动作的捜索结果元素是用于对所述电话号码发起电话呼叫的按钮(即，可以看上去类似或不类似按钮的独立用户界面 元素)。当所识别的实体是电子邮件地址时，所述可采取动作的捜索结果元素是用于发起到所述电子邮件地址的电子邮件消息的编写的按钮。当所识别的实体是邮政地址时，所述可采取动作的捜索结果元素是用于对该地址绘制地图的按钮。在一些实施例中，绘制地图包括以下至少ー个提供识别邮政地址的位置的地图，提供到邮政地址的行车路线指引，提供始于邮政地址的行车路线指引、提供包括邮政地址的航空照片，以及提供对应于邮政地址的街景图像。可选地，所述可采取动作的捜索结果元素被配置为向联系人列表添加信息。所述信息可以包括以下的ー个或多个姓名、电子邮件地址、电话号码、传真号码、邮政地址、即时消息地址、公司名称、组织名称、URL和社交网络联系人。在一些实施例中，当实体是产品时，所述可采取动作的捜索结果元素被配置为提供以下的ー个或多个产品评论、发起产品购买的选项，以及发起对产品出价的选项，类似广品的列表和相关广品的列表。一些实施例提供了在所识别实体是人或者与人相关联的标识符时，所述多个捜索结果包括与所述人相关联的通信地址，并且所述可采取动作的捜索结果元素被配置为使用所述通信地址启动通信。在一些实施例中，所述可采取动作的捜索结果包括与人相关联的标识符，并且所述标识符是人的姓名、人的面部图像、与人相关联的标识号码、与人相关联的电话号码、与人相关联的传真号码、与人相关联的社交网络标识符和/或与人相关联的电子邮件地址中的ー个。在一些实施例中，除了可采取动作的搜索结果元素之外，还提供被配置为共享或上传视觉查询的至少一部分的可采取动作的元素。一些实施例提供了提供以下内容的方法、系统、计算机可读存储介质和图形用户界面(GUI)。根据ー些实施例，一种计算机实现的处理视觉查询的方法包括在客户端系统上执行以下步骤，所述客户端系统具有一个或多个处理器、显示器以及存储供所述ー个或多个处理器执行的一个或多个程序的存储器。从诸如图像捕捉应用的应用接收视觉查询。所述客户端系统从所述图像创建视觉查询。接着，所述客户端系统将视觉查询发送到视觉查询搜索系统。所述视觉查询搜索系统如以上所讨论的对所述视觉查询进行处理。所述客户端系统从所述视觉查询搜索系统接收可采取动作的捜索结果元素，所述可采取动作的捜索结果元素被配置为启动客户端侧动作。所述可采取动作的捜索结果元素对应于视觉查询中的实体。所述客户端系统使用视觉查询客户端应用在显示器上显示所述可采取动作的捜索结果元素。所述客户端系统接着接收对所述可采取动作的捜索结果元素的用户选择，并且启动与所选择的可采取动作的搜索结果元素相对应的客户端侧动作。所述客户端侧动作在不同于所述视觉查询客户端应用的客户端应用中启动。在一些实施例中，所述不同于视觉查询客户端应用的客户端侧应用是电子邮件应用、浏览器应用、电话应用、即时消息应用、社交网络应用或地图应用。在一些实施例中，提供了一种服务器系统，所述服务器系统包括用于执行程序的ー个或多个中央处理单元以及存储由所述ー个或多个中央处理单元执行的ー个或多个程序的存储器。所述程序包括用于执行以下内容的指令。从客户端系统接收视觉查询。在一些实施例中，通过将视觉查询发送到实现视觉查询搜索过程的至少ー个捜索系统，并且接着服务器从捜索系统中的一个或多个接收多个搜索结果来对所述视觉查询进行处理。无论服务器系统是否将视觉查询发送至捜索系统，所述服务器系统都对所述视觉查询中的实体进行识别。其还识别与所识别实体相对应的一个或多个客户端侧动作。接着，其创建配被 置为启动所述客户端侧动作中的一个的可采取动作的捜索结果元素。在一些实施例中，其创建被配置为启动多个客户端侧动作的多个可采取动作的捜索結果。最后，所述服务器系统将(多个)可采取动作的捜索结本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：戴维·彼得鲁，阿维·弗拉姆霍尔茨，马修·R·凯西，西奥多·鲍尔，
申请(专利权)人：谷歌公司，
类型：
国别省市：