移动机器人控制方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供一种移动机器人控制方法、装置、电子设备及存储介质。在本申请实施例中，将指示抓取目标物体的操作指令的文本信息、目标物体所在环境的RGB图像信息和深度图像信息输入到机器学习模型中，获取机器学习模型输出的控制指令，基于控制指令中的底盘控制参数、腰部控制参数、关节控制参数控制移动机器人的底盘、腰部或机械臂上各关节执行对应操作，以使机械臂上抓取部靠近所需抓取物体并根据控制指令中的开合角度控制所述抓取部张开以抓取物体。由此，有效地提高了物体抓取成功率和抓取效率。率和抓取效率。率和抓取效率。

【技术实现步骤摘要】
移动机器人控制方法、装置、电子设备及存储介质


[0001]本申请涉及移动机器人
，尤其涉及一种移动机器人控制方法、装置、电子设备及存储介质。

技术介绍

[0002]随着计算机技术、传感器技术和仿生学技术的不断发展，移动机器人的应用越来越广泛，例如，应用在迎宾接待、引导讲解、群舞演绎、业务办理、养老陪伴、教学科研等多种应用场景。通常，移动机器人的底部会设置底盘，底盘通常承载移动机器人定位、导航及避障等基本功能，可帮助移动机器人实现智能行走，底盘例如包括但不限于：三轮全向轮底盘，四轮全向轮底盘。另外，移动机器人上会设置模仿人类肢体的机械臂，机械臂上设置模仿人类手部的抓取部(也可称作为夹爪、机械爪或机械手)，机械臂通常承载物体抓取和物体移动任务。
[0003]在物体抓取场景中，用户向移动机器人下发物体抓取指令，例如，物体抓取指令为“拿起一瓶牛奶”。移动机器人响应于物体抓取指令，利用RGB图像传感器采集待抓取物体周边环境的RGB图像信息；根据RGB图像信息分析抓取部靠近所需抓取的物体时位姿信息和抓取部的开合角度；根据抓取部靠近所需抓取的物体时位姿信息推算移动机器人的底盘控制参数、腰部控制参数和机械臂的关节控制参数；根据底盘控制参数、腰部控制参数和机械臂的关节控制参数控制底盘移动、腰部旋转和机械臂的各关节进行角度调整，以使抓取部靠近所需抓取物体；在抓取部靠近所需抓取的物体后，移动机器人根据抓取部的开合角度控制抓取部张开以抓取物体。然而，移动机器人采用上述方式执行物体抓取任务时的抓取成功率较低。
专利技术内容
[0004]本申请的多个方面提供一种移动机器人控制方法、装置、电子设备及存储介质，用以提高物体抓取成功率和抓取效率。
[0005]本申请实施例提供一种移动机器人控制方法，包括：响应于指示抓取目标物体的操作指令被触发，采集目标物体所在环境的RGB图像信息和深度图像信息；将操作指令的文本信息、RGB图像信息和深度图像信息输入至机器学习模型中，以得到机器学习模型输出的控制指令，控制指令包括底盘控制参数、腰部控制参数、关节控制参数和开合角度；将控制指令发送给移动机器人，以触发移动机器人执行对应的操作进而使得抓取部与目标物体之间的距离满足要求并根据开合角度控制抓取部张开以抓取目标物体。
[0006]本申请实施例还提供一种移动机器人控制装置，包括：采集模块，用于响应于指示抓取目标物体的操作指令被触发，采集目标物体所在环境的RGB图像信息和深度图像信息；处理模块，用于将操作指令的文本信息、RGB图像信息和深度图像信息输入至机器学习模型中，以得到机器学习模型输出的控制指令，控制指令包括底盘控制参数、腰部控制参数、关节控制参数和开合角度；发送模块，用于将控制指令发送给移动机器人，以触发移动机器人
执行对应的操作进而使得抓取部与目标物体之间的距离满足要求并根据开合角度控制抓取部张开以抓取目标物体。
[0007]本申请实施例还提供一种电子设备，包括：存储器和处理器；存储器，用于存储计算机程序；处理器耦合至存储器，用于执行计算机程序以用于执行移动机器人控制方法中的步骤。
[0008]本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器能够实现移动机器人控制方法中的步骤。
附图说明
[0009]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0010]图1为本申请实施例提供的一种应用场景图；
[0011]图2为本申请实施例提供的一种移动机器人控制方法的流程图；
[0012]图3为前融合示意图；
[0013]图4为后融合示意图；
[0014]图5为中融合示意图；
[0015]图6为本申请实施例提供的一种移动机器人控制装置的结构示意图；
[0016]图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0017]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0018]在本申请的实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的访问关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A，B可以是单数或者复数。在本申请的文字描述中，字符“/”一般表示前后关联对象是一种“或”的关系。此外，在本申请实施例中，“第一”、“第二”、“第三”、等只是为了区分不同对象的内容而已，并无其它特殊含义。
[0019]随着计算机技术、传感器技术和仿生学技术的不断发展，移动机器人的应用越来越广泛，例如，应用在迎宾接待、引导讲解、群舞演绎、业务办理、养老陪伴、教学科研等多种应用场景。通常，移动机器人的底部会设置底盘，底盘通常承载移动机器人定位、导航及避障等基本功能，可帮助移动机器人实现智能行走，底盘例如包括但不限于：三轮全向轮底盘，四轮全向轮底盘。另外，移动机器人上会设置模仿人类肢体的机械臂，机械臂上设置模仿人类手部的抓取部(也可称作为夹爪、机械爪或机械手)，机械臂通常承载物体抓取和物体移动任务。
[0020]在物体抓取场景中，用户向移动机器人下发物体抓取指令，例如，物体抓取指令为“拿起一瓶牛奶”。移动机器人响应于物体抓取指令，利用RGB图像传感器采集待抓取物体周边环境的RGB图像信息；根据RGB图像信息分析抓取部靠近所需抓取的物体时位姿信息和抓
取部的开合角度；根据抓取部靠近所需抓取的物体时位姿信息推算移动机器人的底盘控制参数、腰部控制参数和机械臂的关节控制参数；根据底盘控制参数、腰部控制参数和机械臂的关节控制参数控制底盘移动、腰部旋转和机械臂的各关节进行角度调整，以使抓取部靠近所需抓取物体；在抓取部靠近所需抓取的物体后，移动机器人根据抓取部的开合角度控制抓取部张开以抓取物体。然而，移动机器人采用上述方式执行物体抓取任务时的抓取成功率较低。
[0021]为此，本申请实施例提供一种移动机器人控制方法、装置、电子设备及存储介质。在本申请实施例中，将指示抓取目标物体的操作指令的文本信息、目标物体所在环境的RGB图像信息和深度图像信息输入到机器学习模型中，获取机器学习模型输出的控制指令，基于控制指令中的底盘控制参数、腰部控制参数、关节控制参数控制移动机器人的底盘、腰部或机械臂上各关节执行对应操作，以使机械臂上抓取部靠近所需抓取物体并根据控制指令中的开合角度控制抓取部张开以抓取物体。由此，有效地提高了物体抓取成功率和抓取效率。
[0022]图1为本申请实施例提供的一种应用场景图。在图1所示的物体抓取场景中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种移动机器人控制方法，其特征在于，包括：响应于指示抓取目标物体的操作指令被触发，采集目标物体所在环境的RGB图像信息和深度图像信息；将所述操作指令的文本信息、所述RGB图像信息和所述深度图像信息输入至机器学习模型中，以得到所述机器学习模型输出的控制指令，所述控制指令包括底盘控制参数、腰部控制参数、关节控制参数和开合角度；将所述控制指令发送给所述移动机器人，以触发所述移动机器人执行对应的操作进而使得所述抓取部与所述目标物体之间的距离满足要求并根据所述开合角度控制所述抓取部张开以抓取所述目标物体。2.根据权利要求1所述的方法，其特征在于，所述机器学习模型包括依次连接的融合网络、Token序列生成网络、降维网络和解码网络；相应地，将所述操作指令中的文本信息、所述RGB图像信息和所述深度图像信息输入至机器学习模型中，以得到所述机器学习模型输出的控制指令，包括：通过所述融合网络对所述操作指令中的文本信息、所述RGB图像信息和所述深度图像信息进行融合处理，得到融合特征图；将所述融合特征图输入所述Token序列生成网络，以得到Token序列；通过所述降维网络对所述Token序列进行降维处理，以得到降维后的Token序列；通过所述解码网络对所述降维后的Token序列进行解码处理，以得到所述控制指令。3.根据权利要求2所述的方法，其特征在于，所述融合网络包括第一编码器、第一特征提取模块和第一融合模块；相应地，通过所述融合网络对所述操作指令中的文本信息、所述RGB图像信息和所述深度图像信息进行融合处理，得到融合特征图，包括：利用所述第一编码器对所述文本信息进行编码处理，得到第一特征图；利用所述第一特征提取模块对所述RGB图像信息和所述深度图像信息进行特征提取，得到第二特征图；利用所述第一融合模块对所述第一特征图和所述第二特征图进行融合处理，得到所述融合特征图。4.根据权利要求2所述的方法，其特征在于，所述融合网络包括第二编码器、第二特征提取模块、第三特征提取模块和第二融合模块；相应地，通过所述融合网络对所述操作指令中的文本信息、所述RGB图像信息和所述深度图像信息进行融合处理，得到融合特征图，包括：利用所述第二编码器对所述文本信息进行编码处理，得到第三特征图；利用所述第二特征提取模块对所述RGB图像信息进行特征提取，得到第四特征图；利用所述第三特征提取模块对所述深度图像信息进行特征提取，得到第五特征图；利用所述第二融合模块对所述第三特征图、所述第四特征图和经过零卷积层处理后的所述第五特征图进行融合处理，得到所述融合特征图。5.根据权利要求2所述的方法，其特征在于，所述融合网络包括第三编码器、第四特征提取模块、第五特征提取模块和第三融合模块；相应地，通过所述融合网络对所述操作指令中的文本信息、所述RGB图像信息和所述深
度图像信息进行融合处理，得到融合特征图，包括：利用所述第三编码器对所述文本信息进行编码...

【专利技术属性】
技术研发人员：周明才，张伟，马世奎，
申请(专利权)人：达闼机器人股份有限公司，
类型：发明
国别省市：