用于包括图像的显示的资源的上下文信息制造技术

用于为包括图像的显示的资源提供上下文信息的系统、方法和软件。用户设备向上下文信息服务器提供与用户设备上的应用环境中显示的资源相关的上下文信息的独立于查询的请求。该请求指定活动资源的内容并且进一步指定在用户设备上显示的活动资源包括图像，但在请求中不包括图像。用户设备从上下文信息服务器接收对图像的请求，向上下文信息服务器提供图像，接收包括关于图像的上下文信息的用户界面元素，以及采用活动资源在用户设备上显示用户界面元素。与提供上下文信息的已知方法和系统相比，该方法和系统减少了处理和带宽要求和/或提供了其他技术优势。

Context information for resources including image display

Systems, methods and software for providing context information for resources including image display. User devices provide context-independent query requests to context information servers that are independent of the resources displayed in the application environment on the user devices. The request specifies the content of the active resource and further specifies that the active resource displayed on the user device includes images, but not images in the request. User devices receive requests for images from context information servers, provide images to context information servers, receive user interface elements including context information about images, and display user interface elements on user devices using active resources. Compared with known methods and systems that provide context information, this method and system reduce processing and bandwidth requirements and/or provide other technical advantages.

【技术实现步骤摘要】
【国外来华专利技术】用于包括图像的显示的资源的上下文信息
技术介绍
本说明书涉及向用户提供上下文信息。设备可以向用户提供用于包括图像的显示的资源的上下文信息。例如，设备可以显示关于特定主题的网页，接收来自用户的关于特定主题的搜索查询并且响应于搜索查询检索搜索结果，以及向用户提供搜索结果。典型的交互模型需要用户向用户设备提供一些形式的用户查询。例如，用户可以从网页保存图像，然后将图像作为查询图像上载。然后，搜索处理使用查询图像执行资源搜索，以识别可满足用户的信息需求的资源。
技术实现思路
如下面更详细讨论地，与提供上下文信息的已知方法和系统相比，本说明书中描述的方法和系统减少了处理和带宽要求和/或提供了其他技术优势。通常，本说明书中描述的主题的一个创新方面可以体现在包括以下动作的方法中：由用户设备向上下文信息服务器提供针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求，其中，该请求指定活动资源的内容并且进一步指定用户设备上显示的活动资源包括图像，但在请求中不包括图像；由用户设备从上下文信息服务器接收针对图像的请求；响应于从上下文信息服务器接收针对图像的请求，由用户设备向上下文信息服务器提供图像；由用户设备接收包括关于图像的上下文信息的用户界面元素；以及由用户设备采用活动资源在用户设备上显示用户界面元素。该方面的其他实施例包括相对应的计算机系统、装置以及记录在一个或多个计算机存储设备上的计算机程序，各自被配置为执行方法的动作。一个或多个计算机的系统可以被配置为通过在系统上安装软件、固件、硬件或它们的组合来执行特定操作或动作，该软件、固件、硬件或它们的组合在操作中使得系统执行动作。一个或多个计算机程序可以被配置为通过包括指令来执行特定操作或动作，该指令在由数据处理装置执行时使得装置执行动作。前述和其他实施例可以各自可选地、以单独或组合的方式包括以下特征中的一个或多个。在一些实现方式中，由用户设备向上下文信息服务器提供针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求，其中，该请求指定活动资源的内容并且进一步指定用户设备上显示的活动资源包括图像，但在请求中不包括图像，包括：提供独立于查询的请求，该请求不包括由用户输入的一个或多个查询词，并且不包括来自图像的任何内容。在某些方面中，由用户设备向上下文信息服务器提供针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求，其中，该请求指定活动资源的内容并且进一步指定用户设备上显示的活动资源包括图像，但在请求中不包括图像，包括：提供独立于查询的请求，该请求包括显示的活动资源的数据表示，并且不包括来自图像的任何内容。在一些方面中，由用户设备从上下文信息服务器接收针对图像的请求包括：由用户设备接收针对当前显示在用户设备上的所有图像的请求；以及由用户设备向上下文信息服务器提供图像包括：由用户设备向上下文信息服务器提供当前正在用户设备上显示的所有图像。在一些实现方式中，响应于从上下文信息服务器接收针对图像的请求，由用户设备向上下文信息服务器提供图像包括：当在用户设备上显示多个图像时，从提供来自用户设备的屏幕截图。在某些方面中，动作包括：确定用户期望与活动资源相关的上下文信息；以及响应于确定用户期望与活动资源相关的上下文信息，确定是否当前正在显示一个或多个图像，其中，由用户设备向上下文信息服务器提供针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求是响应于确定当前正在显示一个或多个图像的。在一些实现方式中，确定是否当前正在显示一个或多个图像包括：获得来自用户设备的屏幕截图；以及识别屏幕截图的包括非文本内容一个或多个矩形部分作为一个或多个图像。在某些方面中，确定是否当前正在显示一个或多个图像是进一步响应于由用户设备确定用户设备正在使用计量网络连接的。通常，本说明书中描述的主题的一个创新方面可以体现在包括以下动作的方法中：由上下文信息服务器从用户设备接收针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求，其中，该请求指定活动资源的内容并且进一步指定用户设备上显示的活动资源包括图像，但在请求中不包括图像；由上下文信息服务器确定由请求指定的内容不足以提供关于活动资源的上下文信息；响应于确定由请求指定的内容不足以提供关于活动资源的上下文信息，由上下文信息服务器向用户设备提供针对活动资源中的图像的请求；由上下文信息服务器从用户设备接收活动资源中的图像；以及由上下文信息服务器向用户设备提供包括关于图像的上下文信息的用户界面元素。该方面的其他实施例包括相对应的计算机系统、装置以及记录在一个或多个计算机存储设备上的计算机程序，各自被配置为执行方法的动作。一个或多个计算机的系统可以被配置为通过在系统上安装软件、固件、硬件或它们的组合来执行特定操作或动作，该软件、固件、硬件或它们的组合在操作中使得系统执行动作。一个或多个计算机程序可以被配置为通过包括指令来执行特定操作或动作，该指令在由数据处理装置执行时使得装置执行动作。前述和其他实施例可以各自可选地、以单独或组合的方式包括以下特征中的一个或多个。在一些实现方式中，由上下文信息服务器确定由请求指定的内容不足以提供关于活动资源的上下文信息包括：确定指定用户设备上显示的活动资源的请求包括图像，但在请求中不包括图像，其中，由上下文信息服务器向用户设备提供针对活动资源中的图像的请求是响应于确定该请求指定在用户设备上显示的活动资源包括图像但在请求中不包括图像的。在某些方面中，由上下文信息服务器确定由请求指定的内容不足以提供关于活动资源的上下文信息包括：从由请求指定的内容识别一个或多个搜索项；以及确定不选择一个或多个搜索项中的任何一个以提供关于搜索项的上下文信息。在一些方面中，由上下文信息服务器从用户设备接收针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求包括：接收独立于查询的请求，该请求不包括用户输入的一个或多个查询词，并且不包括来自图像的任何内容。可以实现本说明书中描述的主题的特定实施例，以便实现以下优点中的一个或多个。在查看包括图像的资源时可能满足用户的信息需求的上下文信息可以由设备提供给用户而无需用户向设备提供查询。这导致用户以便利方式获得针对显示的资源的上下文信息。用户不再需要输入查询词以获得上下文信息，或者不再需要将图像保存在显示的资源中，然后上载保存的图像以获得上下文信息。因此，用户以便于用户的方式接收上下文信息。而且，因为用户不需要提供查询，所以在一些实现方式中，用户可以在用户以另外地方式将无法有效地键入或查询时(例如，当用户仅有一只手空闲时)接收上下文信息。因为可以在没有查询的情况下提供上下文信息，所以这导致更少的输入错误和错误输入的查询。因此，当在总体考虑时，避免了数千个错误且不准确的查询，这反过来提供了对搜索系统资源的更有效使用。换句话说，避免了多个错误的查询处理周期，这减少了所需的处理资源并且降低了整体系统带宽要求(或者，替代地，能够在不相应地增加处理资源的情况下服务更多数量的用户)。因此，搜索处理
的这种改进是通过下面描述的系统和方法实现的另一个明显的优点。另外，用户使用的设备可以首先向服务器提本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，包括：由上下文信息服务器从用户设备接收针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求，其中，所述请求指定活动资源的内容并且进一步指定用户设备上显示的活动资源包括图像，但在所述请求中不包括图像；由所述上下文信息服务器确定由所述请求指定的内容不足以提供关于活动资源的上下文信息；响应于确定由所述请求指定的内容不足以提供关于活动资源的上下文信息，由所述上下文信息服务器向用户设备提供针对活动资源中的图像的请求；由所述上下文信息服务器从用户设备接收活动资源中的图像；由所述上下文信息服务器确定包括关于图像的上下文信息的用户界面元素，以及由所述上下文信息服务器向用户设备提供所述用户界面元素。

【技术特征摘要】
【国外来华专利技术】2016.07.11 US 15/206,5931.一种计算机实现的方法，包括：由上下文信息服务器从用户设备接收针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求，其中，所述请求指定活动资源的内容并且进一步指定用户设备上显示的活动资源包括图像，但在所述请求中不包括图像；由所述上下文信息服务器确定由所述请求指定的内容不足以提供关于活动资源的上下文信息；响应于确定由所述请求指定的内容不足以提供关于活动资源的上下文信息，由所述上下文信息服务器向用户设备提供针对活动资源中的图像的请求；由所述上下文信息服务器从用户设备接收活动资源中的图像；由所述上下文信息服务器确定包括关于图像的上下文信息的用户界面元素，以及由所述上下文信息服务器向用户设备提供所述用户界面元素。2.根据权利要求1所述的方法，其中，由所述上下文信息服务器确定由所述请求指定的内容不足以提供关于活动资源的上下文信息包括：确定所述请求指定用户设备上显示的活动资源包括图像，但在所述请求中不包括图像，其中，由所述上下文信息服务器向用户设备提供针对活动资源中的图像的请求是响应于确定所述请求指定用户设备上显示的活动资源包括图像但在所述请求中不包括图像的。3.根据权利要求1或权利要求2所述的方法，其中，由所述上下文信息服务器确定由所述请求指定的内容不足以提供关于所述活动资源的上下文信息包括：从由所述请求指定的内容识别一个或多个搜索项；以及确定不选择一个或多个搜索项中的任何一个来提供关于搜索项的上下文信息。4.根据前述权利要求中任一项所述的方法，其中，由所述上下文信息服务器从用户设备接收针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求包括：接收独立于查询的请求，所述请求不包括由用户输入的一个或多个查询词并且不包括来自图像的任何内容。5.一种计算机实现的方法，包括：由用户设备向上下文信息服务器提供针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求，其中，所述请求指定活动资源的内容并且进一步指定用户设备上显示的活动资源包括图像，但在所述请求中不包括图像；由用户设备从所述上下文信息服务器接收针对图像的请求；响应于从所述上下文信息服务器接收针对图像的请求，由用户设备向所述上下文信息服务器提供图像；由用户设备接收包括关于图像的上下文信息的用户界面元素；以及由用户设备采用活动资源在用户设备上显示用户界面元素。6.根据权利要求5所述的方法，其中，由用户设备向上下文信息服务器提供针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求，其中，所述请求指定活动资源的内容并且进一步指定用户设备上显示的活动资源包括图像，但在所述请求中不包括图像，包括：提供独立于查询的请求，所述请求不包括由用户输入的一个或多个查询词并且不包括来自图像的任何内容。7.根据权利要求5或权利要求6所述的方法，其中，由用户设备向上下文信息服务器提供针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求，其中，所述请求指定活动资源的内容并且进一步指定用户设备上显示的活动资源包括图像，但在所述请求中不包括图像，包括：提供独立于查询的请求，所述请求包括显示的活动资源的数据表示并且不包括来自图像的任何内容。8.根据权利要求5至权利要求7中任一项所述的方法，其中，由所述用户设备从所述上下文信息服务器接收针对图像的请求包括：由用户设备接收针对当前显示在用户设备上的所有图像的请求；以及由用户设备向上下文信息服务器提供图像包括：由用户设备向上下文信息服务器提供当前正在用户设备上显示的所有图像。9.根据权利要求5至权利要求8中任一项所述的方法，其中，响应于从上下文信息服务器接收针对图像的请求，由用户设备向上下文信息服务器提供图像包括：当正在用户设备上显示多个图像时，从用户设备提供屏幕截图。10.根据权利要求5至权利要求9...

【专利技术属性】
技术研发人员：JP帕加梅达西尔瓦，V阿加瓦尔，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US