识别和控制智能设备制造技术

描述了用于控制智能设备的方法、系统和装置。在一个方面，一种方法包括：接收由用户的移动设备的相机捕获的图像的图像数据，并确定该图像描绘了智能设备或该智能设备的物理控件中的至少一个。响应于确定该图像描绘了智能设备或该智能设备的物理控件，识别用于控制智能设备的一个或多个用户界面控件，并在移动设备的显示器上生成并呈现用于控制智能设备的一个或多个用户界面控件。该方法还可以包括在移动设备的显示器处检测与一个或多个用户界面控件中的至少一个的用户交互，以及基于检测的用户交互来控制智能设备。

【技术实现步骤摘要】
【国外来华专利技术】识别和控制智能设备
技术介绍
许多移动设备(诸如智能手机)都配备了用于捕获画面和数字图像的相机。移动设备还提供对各种信息的访问。可以在在移动设备上运行的Web浏览器或本机应用中查看此信息。用户还可以使用图像来获得与图像中描绘的对象或位置有关的另外信息。虚拟助手是为用户执行任务或服务的应用。虚拟助手可以集成在语音助手设备(例如，智能扬声器或其他语音控制设备)中。一些虚拟助手还充当控制其他智能设备的智能设备，诸如家庭自动化设备。例如，用户可以通过向被配置为控制灯的语音助手设备提供语音命令来控制灯的操作。
技术实现思路
本说明书描述了与识别智能设备以及呈现用于控制所识别的智能设备的一个或多个用户界面控件有关的技术。通常，本说明书中描述的主题的一个创新方面可以体现为以下方法：所述方法包括：接收由用户的移动设备的相机捕获的图像的图像数据；基于图像数据，确定图像描绘了智能设备或智能设备的物理控件中的至少一个；响应于确定图像描绘了智能设备或智能设备的物理控件中的至少一个，识别用于控制智能设备的一个或多个用户界面控件；在移动设备的显示器上生成并呈现用于控制智能设备的一个或多个用户界面控件；在移动设备的显示器上检测与一个或多个用户界面控件中的至少一个的用户交互；以及基于检测的用户交互来控制智能设备。该方面的其他实现方式包括被配置为执行在计算机存储设备上编码的方法的动作的对应装置、方法、系统和计算机程序。这些和其他实现方式可各自可选地包括以下特征中的一个或多个。在一些方面，控制智能设备包括：将数据发送到可操作地连接到智能设备的虚拟助手控制设备，所述数据使虚拟助手控制设备向智能设备发送与检测的用户交互相对应的操作以执行操作。在一些方面，基于图像数据确定图像描绘了智能设备或智能设备的物理控件中的至少一个包括：确定图像描绘了被配置为控制其他智能设备的虚拟助手控制设备。在一些方面，所述方法还可以包括：确定在移动设备呈现图像时移动设备能够控制虚拟助手控制设备。在一些方面，在移动设备呈现图像时确定移动设备能够控制虚拟助手控制设备包括：通过确定在用户设备呈现图像时移动设备在向用户账户注册的特定虚拟助手控制设备的阈值距离内确定虚拟助手控制设备是向用户账户注册的特定虚拟助手控制设备。在一些方面，响应于确定在移动设备呈现图像时确定移动设备能够控制虚拟助手控制设备，确定呈现用于控制智能设备的一个或多个用户界面控件。在一些方面，基于图像数据确定图像描绘了智能设备或智能设备的物理控件中的至少一个包括：确定图像描绘了用户的虚拟辅助控制设备的图像。在一些方面，虚拟助手控制设备包括虚拟助手智能扬声器设备，从用户接收语音命令并且使用虚拟助手智能扬声器设备的扬声器向用户提供信息。在一些方面，识别用于控制智能设备的一个或多个用户界面控件包括：确定虚拟助手智能扬声器设备当前正在执行的任务或服务；以及选择用于控制任务或服务的一个或多个用户界面控件。在一些方面，在移动设备生成并呈现用于控制智能设备的一个或多个用户界面控件包括：将一个或多个用户界面控件以增强现实方式叠加在移动设备的相机的取景器的视场上。在一些方面，响应于确定图像描绘了智能设备或智能设备的物理控件中的至少一个，识别用于控制智能设备的一个或多个用户界面控件包括：获得智能设备的注册文件，其中，注册文件包括指定智能设备的类型的数据，以及用于控制智能设备的可用用户界面控件。本说明书中描述的主题可以在特定实施例中实现，以实现以下优点中的一个或多个。通过促进可以在图像中识别智能设备并为所识别的智能设备呈现虚拟用户界面控件的平台，该平台允许呈现虚拟用户界面控件，这些控件已针对对象、其能力和/或对象当前操作的情境进行了定制或调整。使用常规的用户界面，用户可能需要多次滚动和切换视图以找到正确的数据/功能或向语音助手设备提供多个语音命令。当用户在移动设备上查看智能设备时(例如，使用增强现实技术)，本系统的虚拟助手应用可以为智能设备呈现虚拟用户界面控件，而不必为每个智能设备找到单独的应用。例如，当用户的家、办公室或其他位置处的虚拟助手控制设备(例如，语音助手设备，例如智能扬声器)正在播放音乐时，用户可以将移动设备的相机指向该虚拟助手控制设备。虚拟助手应用(例如，单独使用或在远程系统的帮助下)可以基于从相机接收的图像数据检测虚拟助手控制设备，并呈现使用户能够控制当前正在播放的音频的用户界面控件。通过基于在图像数据中检测的智能设备以及智能设备的当前模式或动作来选择用户界面控件，虚拟助手应用可以提供定制的用户界面，其提供对智能设备的高效且有效控制。例如，尝试使用语音控件调整音量或播放音乐可能需要智能扬声器进行多个语音命令和调整，以获取适当的音量或播放更改。移动设备呈现的用户界面控件可以使用户更快更直观地进行相同的更改。本文描述的系统和技术可以从来自移动设备的相机的图像数据(例如，单帧图像、连续视频，图像流等)识别智能设备。一旦智能设备被识别，移动设备就可以为结果建立索引。这防止了用户必须做出多个请求，进而减少了计算系统处理请求以识别智能设备并确定应该针对特定智能设备应用呈现哪些用户界面控件(例如音乐播放的音频控件、灯的灯开关控件等)的次数。由于在许多用户上汇总，这可以通过减少对计算机设置的处理需求来显着改善选择用户界面控件的虚拟助手管理系统的计算机功能。由于可以通过网络访问虚拟助手管理系统，请求数量的减少还可以减少消耗的带宽量，从而为其他网络业务提供带宽和/或提高网络速度。通过基于智能设备选择适当的用户界面控件，用户没有每次将移动设备的相机指向同一智能设备时都必须选择控件的负担。这允许用户更快的请求以及用户的更大灵活性。例如，通过使用虚拟助手应用，用户可以握住移动设备，使相机指向智能设备，并呈现控制智能设备的某些特征的用户界面控件，而无需与移动设备或智能设备进一步交互。因此，本文描述的系统和技术提供了用于控制智能设备的引导式人机交互处理。下面参照附图描述前述主题的各种特征和优点。根据本文描述的主题和权利要求、其他特征和优点是显而易见的。附图说明图1A是虚拟助手应用识别智能设备并呈现用于控制智能设备的用户界面控件的示例环境的框图。图1B是虚拟助手应用呈现用于所识别的智能设备的用户界面控件的示例处理的示例系统流程图。图2是呈现用于基于接收的图像数据控制所识别的智能设备的一个或多个用户界面控件的移动设备的示例屏幕截图的序列。图3是呈现用于基于接收的图像数据控制所识别的智能设备的一个或多个用户界面控件的移动设备的示例屏幕截图的另一序列。图4是使用虚拟助手应用识别智能设备并呈现用于控制所识别的智能设备的一个或多个用户界面控件的示例处理的流程图。图5是可用于实现本公开中描述的方法、系统和处理的示例计算机系统的框图。在各个附图中，相同的附图标记和标记表示相同的元件。具体实施方式描述了系统、方法和计算机程序产品，用于使用虚拟助手应用基于图像数据(例如，单帧图像、连续视频、图像流等)识别智能设备(或智能设备的物理控件)，以本文档来自技高网...

【技术保护点】
1.一种由一个或多个数据处理装置执行的方法，所述方法包括：/n接收由用户的移动设备的相机捕获的图像的图像数据；/n基于图像数据，确定图像描绘了智能设备或智能设备的物理控件中的至少一个；/n响应于确定图像描绘了智能设备或智能设备的物理控件中的至少一个，识别用于控制智能设备的一个或多个用户界面控件；/n在移动设备的显示器上生成并呈现用于控制智能设备的一个或多个用户界面控件；/n在移动设备的显示器上检测与一个或多个用户界面控件中的至少一个的用户交互；以及/n基于检测的用户交互来控制智能设备。/n

【技术特征摘要】
【国外来华专利技术】20180625 US 16/017,3941.一种由一个或多个数据处理装置执行的方法，所述方法包括：
接收由用户的移动设备的相机捕获的图像的图像数据；
基于图像数据，确定图像描绘了智能设备或智能设备的物理控件中的至少一个；
响应于确定图像描绘了智能设备或智能设备的物理控件中的至少一个，识别用于控制智能设备的一个或多个用户界面控件；
在移动设备的显示器上生成并呈现用于控制智能设备的一个或多个用户界面控件；
在移动设备的显示器上检测与一个或多个用户界面控件中的至少一个的用户交互；以及
基于检测的用户交互来控制智能设备。


2.根据权利要求1所述的方法，其中，控制智能设备包括：将数据发送到可操作地连接到智能设备的虚拟助手控制设备，所述数据使虚拟助手控制设备向智能设备发送与检测的用户交互相对应的操作以执行该操作。


3.根据权利要求1所述的方法，其中，基于图像数据确定图像描绘了智能设备或智能设备的物理控件中的至少一个包括：确定图像描绘了被配置为控制其他智能设备的虚拟助手控制设备。


4.根据权利要求3所述的方法，还包括：
确定在移动设备呈现图像时移动设备能够控制虚拟助手控制设备。


5.根据权利要求4所述的方法，其中，确定在移动设备呈现图像时移动设备能够控制虚拟助手控制设备包括：通过确定在用户设备呈现图像时移动设备在向用户账户注册的特定虚拟助手控制设备的阈值距离内，来确定虚拟助手控制设备是向用户账户注册的特定虚拟助手控制设备。


6.如权利要求4所述的方法，还包括：响应于确定在移动设备呈现图像时确定移动设备能够控制虚拟助手控制设备，确定呈现用于控制智能设备的一个或多个用户界面控件。


7.根据权利要求1所述的方法，其中，基于图像数据确定图像描绘了智能设备或智能设备的物理控件中的至少一个包括：确定图像描绘了用户的虚拟助手控制设备的图像。


8.根据权利要求7所述的方法，其中，虚拟助手控制设备包括虚拟助手智能扬声器设备，其从用户接收语音命令并且使用虚拟助手智能扬声器设备的扬声器向用户提供信息。


9.根据权利要求8所述的方法，其中，识别用于控制智能设备的一个或多个用户界面控件包括：
确定虚拟助手智能扬声器设备当前正在执行的任务或服务；以及
选择用于控制任务或服务的一个或多个用户界面控件。


10.根据权利要求1所述的方法，其中，在移动设备生成并呈现用于控制智能设备的一个或多个用户界面控件包括：将一个或多个用户界面控件以增强现实方式叠加在移动设备的相机的取景器的视场上。


11.根据权利要求1所述的方法，其中，响应于确定图像描绘了智能设备或智能设备的物理控件中的至少一个，识别用于控制智能设备的一个或多个用户界面控件包括：获得智能设备的注册文件，其中，注册文件包括指定智能设备的类型的数据，以及用于控制智能设备的可用用户界面控件。


...

【专利技术属性】
技术研发人员：I巴德尔，GH巴基尔，RP克尔，N格里姆斯莫，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US