由移动机器人来追踪及跟随运动对象制造技术

机器人使用传感器数据追踪对象，并且跟随用户所选择的对象。该对象可以由用户从机器人所识别出的一组对象中指定。机器人和该对象的相对位置和定向被确定。机器人的位置和定向可以被使用以便维持对象和机器人间的期望关系。通过使用机器人的导航系统，在机器人运动期间，障碍可以被避开。如果机器人失去与正被追踪的对象的联系，机器人可以继续导航并搜索环境直到对象被重新获取。

【技术实现步骤摘要】
【国外来华专利技术】由移动机器人来追踪及跟随运动对象背景通常通过引导机器人按照特定方向或沿着指定路径或朝向指定位置运动来控制移动机器人的运动。机器人可包括允许其在按照指定方向或朝向指定位置或沿着指定路径运动时避开障碍的传感器。例如，通常由正在观看常由机器人上的相机提供的实况视频馈送的操作员来远程地控制机器人。在观看视频时，操作员可以引导机器人按照各种方向运动以及执行各种操作。这种控制的一个挑战是时常需要调整机器人上相机和话筒的位置。作为另一个示例，机器人通常被引导绕一个空间或多个空间运动以执行各种任务。此类任务可以包括清洁或拍照或收集其他传感器输入。在此类任务期间，机器人可以自主地运动并避开障碍，并因而较少被操作员控制或不被操作员控制。概述提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的选择的概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。通过把机器人使用传感器数据(诸如音频和视频信息)来标识和追踪对象(诸如人)的能力与测量对象的位置及定向的能力相结合，机器人可以被指令追踪及跟随对象。要被追踪及跟随的对象可以由用户从一组被机器人识别的对象中指定。被追踪的对象可以是人。在许多情况下，通过仅识别或追踪对象的一部分(诸如面部或头部)可以识别并追踪对象。例如，可使用应用到机器人的传感器输入的多种模式识别技术中的任何一种来识别对象。例如，面部识别或形状识别可以被应用到图像数据。语音识别或声源定位可以被应用到由一组话筒采集的音频数据。用户可以是本地的或远程的。本地用户可以基于他或她的语音或其它用户输入来向机器人提供跟随对象(包括他自己或她自己)的指令。通过用户界面使得远程用户能够输入对机器人识别出的一个或多个对象中的一对象的选择。在给定被选择的对象的情况下，可以确定对象和机器人的相对位置及定向，诸如x、y位置及定向。运动控制系统可随后控制机器人的运动以维持相对于被追随对象的指定相对位置及定向。在此运动期间，可以使用常规的避障技术来避开障碍。在某些情况下，障碍将遮掩从其识别被追随对象的传感器信息。在此情况下，机器人可以诸如在对象的最后已知方向上继续导航并搜索环境以尝试重新获取对象。如果对象被重新获取，追踪继续。因此，在一方面，用于追踪及跟随对象的过程涉及从机器人接收传感器数据进存储器。使用传感器数据来追踪机器人环境中的对象。机器人被引导运动以便维持机器人相对于被追踪对象的中的一个或多个的相对位置及定向。使用传感器数据来控制机器人的运动以便避开障碍。在另一方面，用于追踪及跟随对象的计算机器包括对象识别模块，对象识别模块具有从机器人环境接收传感器数据的输入，以及指示在环境中识别出的对象的输出。追踪及跟随模块具有指示要被追踪的被选择对象的输入，以及指示供机器人跟随被选择对象的位置及定向的输出。导航模块具有接收位置及定向的输入，以及引导机器人沿着避开障碍的路径运动到期望位置及定向的、到机器人的运动控制系统的输出。在一个实施例中，使用户能够选择机器人被引导跟随的被追踪的对象中的一个或多个。可向用户提供实况视频馈送，被追踪的对象在该实况视频馈送中被指示。在另一个实施例中，如果对对象的追踪跟丢对象，则过程还包括尝试重新获取对跟丢的对象的追踪。尝试重新获取对跟丢的对象的追踪可包括调整机器人的位置及定向。在一个实施例中，两个机器人可以维持会话，在该会话中每个机器人追踪并跟随在其环境中的人。以此方式，处于不同位置的两个人(每人都有机器人)在他们各自都在其相应的环境中到处运动时可以相互“访问”(例如，相互看到并听到)，如果两个机器人都追踪及跟随相应的参与者并将他们保持在相机框内的话。每个人可指令相应的机器人跟随他自己或她自己。通过维持机器人相对于人的相对位置及定向，相机和话筒可保持对着人。在以下描述中，对附图进行了参考，附图构成了实施方式的一部分且在其中作为示例示出了本专利技术技术的具体示例实现。可以理解，可以使用其它实施例并且可以做出结构上的改变而不背离本专利技术的范围。附图简述图1是示例移动机器人系统的框图。图2是示出追踪及跟随的示例实现的数据流程图。图3是描述图2的系统的操作的流程图。图4是描述用于机器人的远程呈现应用的示例设置的流程图。图5是在其中可以实现这样的系统的示例计算设备的框图。详细描述以下部分提供在其中可以实现由机器人进行追踪及跟随的示例操作环境。参考图1，移动机器人100具有数个组件。传感器102检测有关周围环境及该环境中对象104的信息。传感器102将传感器数据106作为输入提供给机器人的系统的其余部分。示例传感器包括但不限于一个或多个摄像机、一个或多个话筒(诸如话筒阵列)、红外探测器以及邻近度探测器。本专利技术不限于传感器102的特定设置或布置，只要传感器提供的传感器数据106使对象能够被识别并被追踪或者使障碍能被避开。对象识别模块108使用传感器数据106来标识对象，以及它们在空间中相对于机器人100的位置及定向。运动控制模块110控制机器人100的运动方向和速度。导航模块112基于障碍回避以及其他路径跟随过程来确定运动控制模块的方向114。对象识别、运动控制及导航系统可以以本领域普通技术人员已知的多种方式中的任何一种来实现，并且本专利技术并不因此而受限。在定期的时间帧处，对象识别模块提供有关识别出的对象116的信息，包括每个对象的位置及定向以及描述对象的信息，诸如对象的标识符。可以对机器人的传感器输入应用各种模式识别技术以识别对象。例如，对象识别模块108可以使用视频信息和处理图像来标识特定形状或面部。邻近度探测器可提供有关对象到机器人100的距离的信息。通过随着时间处理图像并追踪对象，对象识别模块108可以确定对象是否在运动。可以使用声源定位来标识发出声音的对象(诸如人及他或她的语音)的位置。对象识别模块108向下文将要更加详述的用户界面118和追踪及跟随模块122提供有关识别出的对象116的信肩、O在许多应用中，要被识别及追踪的对象是人。识别及追踪可以识别对象的一部分，诸如面部。一旦对象被识别，就可以通过监视对象的一点或一区域来追踪对象。例如，如果机器人跟随人，它可以首先识别面部随后跟随身体上的一点或一区域。在一个示例实现中，用户界面118允许用户查看有关被识别的对象的信息并提供指示哪个对象要被机器人100追踪及跟随的用户选择120。用户选择120被提供给机器人100中的追踪及跟随模块122，追踪及跟随模块122使用来自对象追踪模块108的信息并引导导航模块112来确定机器人100如何追踪及跟随对象。在另一个实现中，用户界面处理传感器数据以确定操作员的指令。例如，用户可以说“跟随”或作手势以提供用户选择120，指令机器人100跟随在其视野内被识别出的人或对象。给定该上下文的情况下，将结合附图2-4详述追踪及跟随模块122的示例实现。在附图2中，该模块的示例实现的框图包括接收有关识别出的对象202的信息的对象跟随模块200。该信息包括，例如识别出的每个对象的标识符及其位置。当前用户选择204的指不指令对象跟随|旲块有关要被追踪的对象。给定有关识别出的对象202的信息以及用户选择204的情况下，对象跟随模块200在数个模式中执行数个操作。首先，如果没有被选择的对象，本文档来自技高网...

【技术保护点】
一种计算机实现的过程，包括：从机器人接收传感器数据进存储器；使用所述传感器数据来追踪在所述机器人的环境中的一个或多个对象；引导所述机器人运动以便维持所述机器人相对于所述被追踪的对象中的一个或多个的相对位置和定向；以及使用所述传感器数据来控制所述机器人的运动以便避开障碍。

【技术特征摘要】
【国外来华专利技术】2011.06.13 US 13/158,4651.一种计算机实现的过程，包括: 从机器人接收传感器数据进存储器； 使用所述传感器数据来追踪在所述机器人的环境中的一个或多个对象； 引导所述机器人运动以便维持所述机器人相对于所述被追踪的对象中的一个或多个的相对位置和定向；以及 使用所述传感器数据来控制所述机器人的运动以便避开障碍。2.如权利要求1所述的计算机实现的过程，其特征在于，进一步包括: 向用户提供实况视频馈送并在所述实况视频馈送中指示被追踪的对象。3.如权利要求2所述的计算机实现的过程，其特征在于，如果对对象的追踪跟丢对象，则所述过程还包括通过调整所述机器人的位置和定向尝试重新获取对被跟丢对象的追踪。4.如权利要求1所述的计算机实现的过程，其特征在于，被追踪的对象是人，并且所述过程还包括在第二环境中提供第二机器人，以及: 从第二机器人接收传感器数据进存储器； 使用所述传感器数据来追踪在所述第二机器人的第二环境中的人； 引导所述第二机器人运动以便维持所述机器人相对于在所述第二环境中的被追踪人的相对位置和定向；以及 使用所述传感器数据来控制所述机器人的运动以便避开障碍。5.—种制品，包括: 计算机存储介质； 存储在所述计算机存储介质上的计算机程序指令，当所述计算机程序指令被处理设备处理时，指令所述处理设备执行包括以下的过程: 从机器人接收传感器数据进存储器； 使用所述传感器数据来追踪在所述机器人的环境中的对象； 引导所述机器人运动以便维持所...

【专利技术属性】
技术研发人员：C·F·奥利维三世，J·S·弗伊莱德，A·弗隆，J·科尔，N·T·克林顿，R·桑切斯，F·伯安那克，M·M·沙拉比，H·N·基科日，
申请(专利权)人：微软公司，
类型：
国别省市：