为助理应用提供图像快捷方式的系统、方法和装置制造方法及图纸

生成和/或利用响应于确定一个或多个特征存在于来自用户的计算设备的相机的图像中(例如，存在于来自相机的实时图像馈送中)而使得执行一个或多个相应的计算机动作的图像快捷方式。可以响应于用户接口输入诸如语音命令来生成图像快捷方式。例如，用户接口输入可以指示自动化助理响应于在相机的视野中存在具有某些特征的对象来执行一个或多个动作。随后，当用户将他们的相机指向具有这些特征的对象时，助理应用可以使得动作被自动地执行。例如，助理应用可以根据图像快捷方式，使得数据被呈现和/或可以控制远程设备。

System, method and device to provide image shortcut for assistant application

【技术实现步骤摘要】
【国外来华专利技术】为助理应用提供图像快捷方式的系统、方法和装置
技术介绍
人类可以使用在本文中称为“自动化助理”(也称为“数字助理”、“聊天机器人”、“交互式个人助理”、“智能个人助理”、“会话代理”等)的交互式软件应用参与人机对话。例如，人类(当他们与自动化助理互动时，可以被称为“用户”)可以使用在一些情况下可以被转换为文本然后进行处理的语音自然语言输入(即话语)和/或通过通过提供文本(例如，键入的)自然语言输入来提供命令和/或请求。尽管使用自动化助理可以允许更容易访问信息和控制外围设备更方便的方式，但是在某些情况下，提供说出的输入和/或文本命令可能很困难。例如，当家中其他人可能正在睡觉时的早上，用户可能对自动助理应用提供口头命令。这些和其他问题可能是由于助理应用对口头命令的依赖性而引起的。但是，可能存在提供更复杂命令、使用更不费力的输入提供命令、提供保护相应用户的隐私的命令和/或提供具有其他或替代益处的命令的方法。
技术实现思路
本文公开的实施方式涉及生成和利用图像快捷方式，该图像快捷方式响应于确定一个或多个特征存在于来自用户的计算设备的相机的图像中(例如存在于来自相机的实时图像馈送中)而导致执行一个或多个相应的计算机动作。在各种实施方式中，响应于用户提供的语音和/或键入的用户接口输入，生成图像快捷方式并将其与用户相关联地存储。例如，用户可以向自动助理应用提供说出的输入“whenIdirectthecameraatatrainplatform,givemeatrainschedule(当我将相机指向列车站台时，给我列车时刻表)”。响应于该说出的输入，可以生成图像快捷方式，该图像快捷方式使得响应于确定来自计算设备的相机的实时图像馈送捕获具有指示“列车站台”的特征的图像，在用户的计算设备处图形和/或可听地呈现列车时刻表信息。例如，可以(在计算设备本地和/或远程地)处理经由计算设备捕获的未来图像以识别指示“列车站台”的特征，诸如：作为“列车站台”图像的图像的分类；作为将诸如“列车”、“人”、“人群”、“列车轨道”的图像的一部分的分类和/或指示“列车站台”的其他分类等等。可以基于这些特征的存在确定未来图像捕获“列车站台”，并且作为响应呈现列车时刻表信息。列车时刻表信息可以在捕获图像的同一计算设备上可听和/或图形地呈现，和/或在(例如，通过在两个计算设备处使用的用户账户，基于连接到同一网络的两个计算设备)链接到捕获图像的计算设备的另一计算设备处呈现。在一些实施方式中，计算设备的当前位置和/或其他场境(contextual)数据也可以被利用来确定图像捕获了“列车站台”。例如，确定图像捕获列车站台可以基于以下两个方面：确定图像的特征指示“列车站台”；以及确定计算设备的当前位置具有“列车站”分类。可以利用各种图像处理技术来确定图像的分类和/或其他特征。例如，一些技术可以利用深度神经网络模型，该模型接受图像作为输入，并且利用学习的参数来将指示多个相应特征中的哪个特征存在于图像中的度量生成为基于图像的输出。在一些实施方式中，对图像快捷方式执行的计算机动作包括生成查询、发送所生成的查询、响应于发送查询而接收响应数据，和/或呈现响应数据的全部或部分。在那些实施方式的一些实施方式中，图像快捷方式与查询或查询模板相关联，该查询或查询模板指示根据图像快捷方式要提供的数据的类型。例如，继续上面的“列车站台”示例，生成的图像快捷方式可以定义“列车时刻表”查询、“[当前位置]列车时刻表”的查询模板或“从[当前位置]到[目的地位置]的列车时刻表”的查询模板。在查询模板中，可以使用计算设备的当前位置来填充占位符“[当前位置]”。当前位置可以是指示计算设备当前所在的列车站的特定坐标、地理区域或文本或其他信息。占位符“[目的地位置]”可以利用场境相关的目的地来填充，诸如，如果在工作日的早晨为用户的“工作”目的地、如果在周末的晚上为用户的“家”目的地、对于对应于存储在用户的电子日历中的时间上接近的约会的用户为“约会”位置。在那些实施方式中的一些实施方式中，查询或“填充的”查询模板可以被用来确定列车时间表信息，以响应于确定图像捕获列车站台而提供。例如，可以将查询或填充的查询模板发送到搜索引擎、应用和/或其他资源，作为响应接收响应列车时刻表，以及可听或图形地呈现响应列车时刻表。在一些实施方式中，对图像快捷方式要执行的计算机动作附加和/或替选地包括传送使得一个或多个外围设备(例如，物联网(IoT)设备)的状态改变的一个或多个命令。例如，用户可以向自动助理应用提供说出的输入“whenIdirectthecameraatmyalarmclockinthemorning,turnonmybedroomlightsandturnonmycoffeemakerplug(当我早晨将相机指向闹钟时，打开卧室灯并且打开咖啡机插头)”。响应于该说出的输入，可以生成图像快捷方式，该图像快捷方式响应于确定来自用户的计算设备的相机的实时图像馈送捕获具有指示任何“闹钟”(或用户的特定闹钟)的特征的图像，使得打开用户的“卧室灯”和“咖啡机插头”。例如，图像快捷方式可以响应于做出该确定而使得发送使得被标记为“卧室灯”的联网灯被“打开”的命令，并且还使得发送使得被标记为“咖啡机插头”的联网插头被打开的命令。在生成和/或发送导致设备状态改变的命令中，可以利用一个或多个应用编程接口(API)和/或其他通信协议。在一些实施方式中，图像快捷方式使得基于确定图像具有指示闹钟的特征并且在“morning(早上)”捕获该图像(例如，基于包括“inthemorning(在早上)”的说出的输入)和/或在用户的“家”位置捕获图像(例如，基于包括“myalarmclock(我的闹钟)”的说出的输入)，打开“卧室灯”和“咖啡机插头”。此外，在一些实施方式中，自动化助理在生成图像快捷方式时，可以提示用户捕获用户的特定闹钟的图像，此后，仅响应于捕获具有与用户的特定闹钟的特征相匹配的特征(如由响应于该提示捕获的图像得出)的图像的实时图像馈送来触发图像快捷方式。在一些实施方式中，对图像快捷方式执行的计算机动作附加和/或替选地包括将一个或多个电子通信发送给其他用户。例如，用户可以向自动助理应用提供说出的输入“whenIdirectthecameraatmycarkeywhileatwork,givemeatrafficupdateandtextthetrafficupdatetomywife(当我在工作时将相机指向我的车钥匙时，给我交通更新并且将该交通更新发短信给我的妻子)”。响应于该说出的输入，可以生成图像快捷方式，该图像快捷方式响应于确定用户在工作中并且来自用户的计算设备的相机的实时图像馈送捕获具有指示“车钥匙”的特征的图像，使交通更新呈现在计算设备(和/或用户的另一计算设备)上，并且使包括交通更新的文本消息被自动生成并且自动地发送给用户的“妻子”联系人。作为本文公开的实施方式的另一示例，在执行他/她的早上例程时，用户可能希望看到存储在他们的便携式计算设备上的他们的日程安排。尽管用户可以使用说出的命令来调用自动化助理以查看日程安排(例如，“Assist本文档来自技高网...

【技术保护点】
1.一种由一个或多个处理器实现的方法，所述方法包括：/n由助理应用确定来自计算设备的相机的实时图像馈送包括对象的图形表示，所述确定包括：使用一种或多种图像处理技术，处理来自所述相机的图像；/n识别与所述对象相关联的图像快捷方式设置，所述图像快捷方式设置对应于预配置过程，通过所述预配置过程，所述助理应用对所述实时图像馈送中提供的图像内容进行响应；/n生成与所述图像快捷方式设置相关联的查询，所述查询包括所述助理应用根据所述图像快捷方式设置而提供的数据的类型的数据标识符；/n基于所述查询接收数据，所述数据对应于与所述图像快捷方式设置相关联的所述数据的类型；以及/n响应于确定所述实时图像馈送包括所述对象的图形表示，并且基于与所述对象相关联地存储的所述图像快捷方式设置：/n使得所述对象数据与所述实时图像馈送一起在所述计算设备处被渲染。/n

【技术特征摘要】
【国外来华专利技术】20170909 US 15/700,1041.一种由一个或多个处理器实现的方法，所述方法包括：
由助理应用确定来自计算设备的相机的实时图像馈送包括对象的图形表示，所述确定包括：使用一种或多种图像处理技术，处理来自所述相机的图像；
识别与所述对象相关联的图像快捷方式设置，所述图像快捷方式设置对应于预配置过程，通过所述预配置过程，所述助理应用对所述实时图像馈送中提供的图像内容进行响应；
生成与所述图像快捷方式设置相关联的查询，所述查询包括所述助理应用根据所述图像快捷方式设置而提供的数据的类型的数据标识符；
基于所述查询接收数据，所述数据对应于与所述图像快捷方式设置相关联的所述数据的类型；以及
响应于确定所述实时图像馈送包括所述对象的图形表示，并且基于与所述对象相关联地存储的所述图像快捷方式设置：
使得所述对象数据与所述实时图像馈送一起在所述计算设备处被渲染。


2.如权利要求1所述的方法，其中，所述查询进一步包括用于来自所述相机的所述实时图像馈送的场境的场境标识符。


3.如权利要求2所述的方法，其中，所述场境标识符识别所述相机提供所述实时图像馈送的位置。


4.如权利要求1所述的方法，其中，所述图像快捷方式设置由用户通过口头命令被预先配置，所述口头命令至少部分地经由所述助理应用来处理。


5.如权利要求1所述的方法，进一步包括：
将所述查询传送到所述计算设备处的单独的应用，其中，从所述单独的应用接收所述数据。


6.如权利要求1所述的方法，其中，所述数据的类型对应于与所述助理应用无关地改变的动态数据。


7.如权利要求6所述的方法，其中，从响应于来自所述助理应用的查询的远程设备接收所述数据。


8.一种系统，包括：
相机；
显示设备；
扬声器；
与所述相机、所述显示设备和所述扬声器通信的一个或多个处理器；以及
存储器，所述存储器被配置为存储指令，所述指令当由所述一个或多个处理器执行时，使所述一个或多个处理器执行步骤，所述步骤包括：
基于来自由所述相机提供的实时图像馈送的图像来生成对象标识符，其中，生成所述对象标识符包括：使用一种或多种图像处理技术来处理所述图像；
确定所述对象标识符对应于图像快捷方式设置，其中，所述图像快捷方式设置使得响应于出现在所述实时图像馈送中的对象而提供数据；
将查询发送到远程设备，所述远程设备被配置为响应于接收到所述查询来检索数据；
从所述远程设备接收与所述图像快捷方式设置相关联的数据；以及
使得经由下述中的至少一个来呈现所述数据：所述显示设备和所述扬声器。


9.如权利要求8所述的系统，其中，所述数据与在所述显示设备上显示的所述实时图像馈送同时被呈现。


10.如权利要求8所述的系统，其中，所述步骤进一步包括：...

【专利技术属性】
技术研发人员：马尔钦·诺瓦克普日戈兹基，格克汗·巴克尔，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US