一种基于多维感知的机器人控制系统和方法技术方案

一种基于多维感知的机器人控制系统，由人员感应和操作设备、移动机器人和云存储与处理系统组成；人员感应和操作设备用于操作人员感知机器人的周围环境和各种参数，同时实时检测人员的各种动作姿态等作为控制指令，以控制服务移动机器人进行工作和移动；移动机器人用于监测或执行服务现场的各种状态，并且接受人员感应和操作设备的控制指令进行服务工作和移动；云存储与处理系统主要对移动机器人与人员感应和操作设备之间的数据进行存储、处理和传输；人员感应和操作设备直接对移动机器人进行控制和数据传输；通过无线通信方式接入云处理系统，云处理系统再通过无线方式与移动机器人进行控制和数据传输。进行控制和数据传输。进行控制和数据传输。

【技术实现步骤摘要】
一种基于多维感知的机器人控制系统和方法


[0001]本专利技术属于信息
也涉及通过多维感知的虚拟现实进行计算机控制机器人的动作；通过无线信号强弱，选择不同的机器人工作与控制场景的系统和方法

技术介绍

[0002]CN201680084534.4远距离遥控机器人对遥控机器人的基于移动映射的控制，用户空间(105)中的用户(101)的移动被映射成被发送至遥控机器人空间(110)中的遥控机器人(111)的命令动作流(109)的第一部分。遥控机器人(111)向用户(101)提供沉浸式反馈流(113)。在用户(101)移动进入或邻近于用户空间(105)的边缘之际，可挂起命令动作流的第一部分。用户(101)可在用户空间(105)中重新定向，然后可继续移动，且重新从事移动映射并恢复命令动作流的第二部分的传输。
[0003]CN201880037081.9涉及一种地面遥控机器人的漂移控制方法，包括：获取漂移控制参数(步骤101)；根据漂移控制参数控制地面遥控机器人以漂移状态沿漂移弯道移动(步骤102)，其中，漂移状态为地面遥控机器人的机头的朝向与地面遥控机器人的移动方向不平行的状态。通过这种方式，使得地面遥控机器自动地根据漂移控制参数实现以漂移状态来过弯的效果，丰富了地面遥控机器人的控制策略，同时降低对用户的手动操作要求，这样增强地面遥控机器人操控的趣味性。
[0004]CN 202011576458.3公开了一种遥控机器人进行扫图的方法、装置、介质和智能终端，方法包括以下步骤：建立与目标机器人的无线连接；接收用户输入的运动速度信息，并生成第一机器人运动指令发送至目标机器人；响应用户操作，生成第二机器人运动指令并发送至目标机器人；接收并显示目标机器人在移动过程中生成并发送的实时地图图像、实时位置信息和实时角度信息。本专利技术通过智能终端对目标机器人进行远程遥控控制，驱动目标机器人以一定速度和一定角度在目标楼宇和目标楼层内进行扫图，不仅节省了人力且操作简单灵活，同时可以实时接收并显示目标机器人的扫图结果，扫图效率高且方便用户查看。
[0005]在远距离遥控机器人的时候，当无线信号覆盖良好的情况下，机器人可以实时采集现场图像，并且通过无线将图像等信号传输给操作人员进行显示。但是当机器人移动到无线信号覆盖较差的场所，图像等信号无法完全传输，无线遥控也容易失灵，机器人很难正常前进，操作人员也无法精确了解机器人现场的环境。从而会影响到控制机器人的精确动作；本专利技术提供一种基于多源感知的机器人控制系统和方法，可以对无线信号进行全程监测，并且将信号检测值发送给操作人员；同时将无线接收信号强度和机器人位置进行映射，形成机器人信号热力图。当机器人移动位置处信号强度较大时，可以实时进行精确图像传输，操作人员可以实时监测机器人工作现场的图像；当机器人移动位置处信号强度较弱或无线信号缺失而导致无法进行图像传输时，通过在操作人员可穿戴式人员感应和操作设备上构建实际环境中的三维模型，操作人员可以通过三维模型图观察工作场所，实现对机器人工作场所的全程精确监测。
[0006]当操作者控制现实世界中的遥控机器人或数字空间中的化身时，来自遥控机器人或化身的反馈典型地可用于或被提供至操作者。反馈可以是通过操作者的直接观察(如具有无线电控制的飞行器的情形)或通过将来自遥感机器人的传感器数据传送至操作者来进行。传感器数据的示例包括视频(图像和音频)、姿态(滚动、俯仰和偏航)、速度等。传感器数据可被解码或以其他方式转换成操作者可感知的输出。例如，经解码的(或模拟的)视频以及经解码的姿态数据可被输出成操作者可观看的屏幕上的视频，姿态数据可被解码并输出成视频屏幕上的姿态指示符的图形表示或者作为触觉反馈被输出至由人类操着者握持的操纵杆。在化身的情形中，能以类似方式提供反馈，但是具有生成传感器数据的第一步，诸如从计算机生成的三维空间内的视点生成视频。提供至操作者的反馈可以是“沉浸式的”，因为其替代了操作者的某些或全部的感官体验，诸如利用显示图像(包括视频)、提供立体声音频和/或触觉反馈的虚拟现实耳机，这些图像、立体声音频和/或触觉反馈来源于由可用于或邻近于遥控机器人的传感器获得的数据；这在本文中称为“沉浸式反馈”。
[0007]关于遥控机器人和化身两者，可从操作者的现实世界移动或者甚至从检测操作者的神经系统的活动来解释操作者的控制命令。在无线电控制的飞行器的简单情形中，人类操作者可控制控制器中的一个或两个操纵杆、轮子、踏板、按钮等。人类操作者对控制器中的这些组件的移动产生(典型地被处理并且)随后被传送至远程飞行器的电信号。操作者的移动还可被观察——例如，通过视频相机、通过传感器轴承“棒”的移动等——被解释为控制命令、被编码、然后被传送至远程遥控机器人或化身。
[0008]当在操作者与遥控机器人或化身之间提供基于移动映射的控制时，并且当遥控机器人或化身向操作者提供沉浸式听觉、视觉或触觉反馈(“沉浸式反馈”)时，问题会在操作者占据的现实空间与遥控机器人或化身占据的现实或虚拟空间之间存在差异时出现。例如，如果操作者佩戴显示沉浸式反馈(诸如，由遥控机器人记录的视频)的虚拟现实耳机，并且如果使用基于移动映射的控制来控制遥控机器人，则沉浸式反馈可能导致操作者经历混乱，或者如果由操作者导航的现实空间与遥控机器人不对齐，则操作者可能无法正确地控制遥控机器人。
[0009]远程人类控制可涉及人类操作者的命令动作与遥控机器人的动作之间的直接对应，例如无线电控制的模型飞行器，其中引擎、襟翼和方向舵由人类操作者实时直接控制。远程人类控制也可以是间接的，诸如当遥控机器人包括用于控制引擎、襟翼和方向舵的逻辑时，人类控制器的输入被解释为速度和/或方向的改变以及遥控机器人将实现速度和/或方向的改变的速率。人类操作者的命令动作可被基本上实时地(也就是说，具有小于四分之一秒的等待时间)传达，或者不是实时的(具有大于四分之一秒的等待时间)。本专利技术实施例可克服某些或所有上述问题。

技术实现思路

[0010]本专利技术目的是，提出了一种多场景下的机器人控制系统和方法，该专利技术可以提供通信信号强度、触觉、声音、图像等多种环境感知方法，使操作者可以实时快速感知现场环境，当机器人移动位置处信号强度较弱或无线信号缺失而导致无法进行图像传输时，通过在操作人员可穿戴式人员感应和操作设备上构建实际环境中的三维模型，操作人员可以对机器人工作场所的全程监测。同时通过感知身体姿态、触觉、语音等多种参数，直观、高效地
控制机器人完成各种任务。
[0011]本专利技术的技术方案是，一种基于多维感知的机器人控制系统，控制系统由人员感应和操作设备、移动机器人和云存储与处理系统组成；人员感应和操作设备用于操作人员感知机器人的周围环境和各种参数，同时实时检测人员的各种动作姿态等作为控制指令，以控制服务移动机器人进行工作和移动；移动机器人用于监测或(执行)服务现场的各种状态，并且接受人员感应和操作设备的控制指令进行服务工作和移动；云存储与处理系统主要对移动机器人与人员感应和操作设备之间的数据进行存储、处理和传输，<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多维感知的机器人控制系统，其特征是，控制系统由人员感应和操作设备、移动机器人和云存储与处理系统组成；人员感应和操作设备用于操作人员感知机器人的周围环境和各种参数，同时实时检测人员的各种动作姿态等作为控制指令，以控制服务移动机器人进行工作和移动；移动机器人用于监测或执行服务现场的各种状态，并且接受人员感应和操作设备的控制指令进行服务工作和移动；云存储与处理系统主要对移动机器人与人员感应和操作设备之间的数据进行存储、处理和传输，同时将三维建模和模型贴图等格式文件进行场景搭建和渲染后产生各种环境下的三维场景数据；人员感应和操作设备直接对移动机器人进行控制和数据传输；当移动机器人工作的虚拟场景比较复杂和多样化时，通过无线通信方式接入云处理系统，云处理系统再通过无线方式与移动机器人进行控制和数据传输。2.根据权利要求1所述的基于多维感知的机器人控制系统，其特征是，所述人员感应和操作设备由感知单元、显示单元、通信单元、主控单元和电源模块组成，感知单元主要用于人体感知机器人现场的环境，同时监测人体的姿态动作等；显示单元用于显示机器人工作现场或操作人员现场的图像和各种环境参数；通信单元用于实现人员感应和操作设备和外部通信网络之间的数据传输；主控单元用于控制感知单元、显示单元和通信单元等，实现操作人员在真实/虚拟多场景下对环境的感知和对移动机器人的控制；电源模块分别对感知单元、显示单元、通信单元和主控单元供电；主控单元用于控制感知单元、显示单元和通信单元，对感知单元发送过来的信息进行融合处理，并且发送给显示单元；主控单元将操作人员的语音、手势、姿态转换成控制指令，发送给通信单元，用于远程控制机器人移动；主控单元将移动机器人工作现场的音频信号转发给感知模块，同时将音频识别信息发送给显示单元进行显示；主控单元可以将三维建模和模型贴图等发布的格式文件导入Unity 3D中，进行场景搭建和渲染后产生现场三维图像信息，并且发送给显示模块进行显示；感知单元通过图像采集模块监测操作人员的姿态动作，将操作人员的手势动作实时传输并控制移动机器人；感知单元还包括图像处理模块、触觉感知模块和声音感知模块；感知单元同时能够接收移动机器人现场的声音信号并播放出来，还提供触觉感知模块使得操作人员能够实时感知机器人工作现场的机械力参数，主控单元CPU控制图像处理模块、触觉感知模块和声音感知模块工作。3.根据权利要求2所述的基于多维感知的机器人控制系统，其特征是，所述其中感知单元图像处理模块采用双目或单目摄像头，用于感知人体各部位的姿态动作等，采用深度神经网络ResNet50网络先对输入图像进行特征提取，然后将这些特征值送到二维姿态估计网络，得到各关键点的热图H和亲和场等信息，随后将这部分信息与基础网络得到的特征信息一起送入三维姿态估计模型中，利用人体扫描与建模获得的模型先验信息，采用期望最大化算法，迭代优化获得最符合人体模型的关节点在空间的位置分布，最后得到三维姿态估计结果。4.根据权利要求2所述的基于多维感知的机器人控制系统，其特征是，触觉感知模块中通过控制电路将操作现场的机器人的身体各部位的压力参数等进行转换，然后控制与人体接触的气囊，将气囊气体压力分布到操作人员的身体各部位，模拟移动机器人现场的接触；声音感知模块先接收主控单元解析出的机器人现场的音频信号，再在声音感知模块中将语
音放大后输出音频信号AUDIO_OUT，同时对操作人员现场的音频信号接收后进行放大，再通过数字信号处理芯片转换成数字音频信号，再发送给主控单元；通信单元通过接口电路的SDIO、SPI等接口接收主控单元传输过来的数据，然后通过WIFI、4G/5G等通信方式传输出去，实现人员感应与操作设备与移动机器人之间的通信。5.根据权利要求1所述的基于多维感知的机器人控制系统，其特征是，所述移动机器人采集工作现场的无线信号、图像、声音等信息，并且通过无线通信方式传输给后台的操作人员，同时也接收后台操作...

【专利技术属性】
技术研发人员：俞春华，江新炼，胥锐，
申请(专利权)人：浙江华麦机器人技术有限公司，
类型：发明
国别省市：