机器人控制方法、装置和机器人制造方法及图纸

本申请公开了一种机器人控制方法、装置和机器人，属于机器人领域。所述机器人控制方法，包括：获取机器人所处环境的目标环境图像；对目标环境图像进行特征分割，得到目标环境图像中目标对象对应的完整对象点云图和目标部件对应的完整部件点云图，其中，目标部件为目标对象中的部件；基于完整对象点云图和完整部件点云图，获取机器人对所处环境的目标环境理解信息；基于目标环境理解信息和机器人待执行的任务，控制机器人。本申请的机器人控制方法，能够加深机器人对环境的理解程度，显著提高了控制精度，实现了机器人在复杂环境下的任务执行，以及对于复杂任务的执行，具有较高的通用性。性。性。

【技术实现步骤摘要】
机器人控制方法、装置和机器人


[0001]本申请属于机器人领域，尤其涉及一种机器人控制方法、装置和机器人。

技术介绍

[0002]随着工业技术的发展，机器人被越来越广泛的应用于人们的日常生活工作中，如工业厂房中的上下料机器人、自动锁螺栓机器人、自动上菜机器人以及家用智能机器人等。相关技术中，主要通过在机器人上设置传感器以感知环境信息从而实现对机器人的控制，但在传统的传感器感知下，机器人对环境的认知和理解能力有限，使得机器人只能重复执行简单的任务，无法对机器人进行精细化控制，也无法应用于复杂的环境。

技术实现思路

[0003]本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种机器人控制方法、装置和机器人，显著提高了控制精度，实现了机器人在复杂环境下的任务执行，以及对于复杂任务的执行，具有较高的通用性。
[0004]第一方面，本申请提供了一种机器人控制方法，该方法包括：
[0005]获取机器人所处环境的目标环境图像；
[0006]对所述目标环境图像进行特征分割，得到所述目标环境图像中目标对象对应的完整对象点云图和目标部件对应的完整部件点云图，其中，所述目标部件为所述目标对象中的部件；
[0007]基于所述完整对象点云图和所述完整部件点云图，获取所述机器人对所处环境的目标环境理解信息，所述目标环境理解信息包括所处环境中各对象的第一信息和所述各对象中各部件的第二信息；
[0008]基于所述目标环境理解信息和所述机器人待执行的任务，控制所述机器人。/>[0009]根据本申请的机器人控制方法，通过对目标环境图像进行图像分割以直接获取对象级点云图和部件级点云图，在有效区分环境中对象与对象的同时，也能够进一步区分同一对象中不同的部件，有效表达单个对象的具体结构信息，以基于部件与部件之间的连接关系建立机器人对环境的目标环境理解信息，加深机器人对环境的理解程度；在此基础上，基于目标环境理解信息和任务控制机器人执行相应动作，能够实现机器人对特定对象以及特定对象中特定部件的精准控制，显著提高了控制精度，实现了机器人在复杂环境下的任务执行，以及对于复杂任务的执行，具有较高的通用性。
[0010]根据本申请的一个实施例，所述对所述目标环境图像进行特征分割，得到所述目标环境图像中目标对象对应的完整对象点云图和目标部件对应的完整部件点云图，包括：
[0011]将所述目标环境图像输入至目标模型的图像分割网络，获取所述图像分割网络输出的所述目标对象对应的对象级图像块和所述目标部件对应的部件级图像块；
[0012]分别将所述对象级图像块和所述部件级图像块输入至所述目标模型的点云补全网络，获取所述点云补全网络输出的所述对象级图像块对应的完整对象点云图和所述部件
级图像块对应的完整部件点云图。
[0013]根据本申请的一个实施例，所述将所述目标环境图像输入至目标模型的图像分割网络，获取所述图像分割网络输出的所述目标对象对应的对象级图像块和所述目标部件对应的部件级图像块，包括：
[0014]将所述目标环境图像输入至所述图像分割网络的对象分割模块，获取所述部件分割模块输出的所述对象级图像块；
[0015]将所述目标环境图像或所述对象级图像块输入至所述图像分割网络的部件分割模块，获取所述部件分割模块输出的所述部件级图像块。
[0016]根据本申请的一个实施例，所述目标环境图像包括彩色图像和深度图像。
[0017]根据本申请的一个实施例，所述分别将所述对象级图像块和所述部件级图像块输入至所述目标模型的点云补全网络，获取所述点云补全网络输出的所述对象级图像块对应的完整对象点云图和所述部件级图像块对应的完整部件点云图，包括：
[0018]从所述对象级图像块中提取所述目标对象对应的第一点云信息，从所述部件级图像块中提取所述目标部件对应的第二点云信息；
[0019]基于所述第一点云信息预测得到第一偏差，基于所述第二点云信息预测得到第二偏差；
[0020]基于所述第一偏差补全所述第一点云信息，获取所述完整对象点云图；基于所述第二偏差补全所述第二点云信息，获取所述完整部件点云图。
[0021]根据本申请的一个实施例，所述基于所述完整对象点云图和所述完整部件点云图，获取所述机器人对所处环境的目标环境理解信息，包括：
[0022]以所述目标对象的质心为坐标系原点建立所述目标对象对应的第一坐标系，并基于所述完整对象点云图和所述第一坐标系，获取所述目标对象的第一位置坐标；
[0023]以所述目标部件的质心为坐标系原点建立所述目标部件对应的第二坐标系，并基于所述完整部件点云图和所述第二坐标系，获取所述目标物体的第二位置坐标；
[0024]基于所述第一坐标系和所述第二坐标系，建立所述目标部件与所述目标对象之间的相对位置关系；
[0025]基于所述第一位置坐标、所述第二位置坐标和所述相对位置关系，获取所述目标环境理解信息。
[0026]根据本申请的一个实施例，所述基于所述目标环境理解信息和所述机器人待执行的任务，控制所述机器人，包括：
[0027]基于所述目标环境理解信息，从所述目标对象所包括的多个部件中提取可交互部位；
[0028]基于所述任务和所述可交互部位，确定目标位姿信息；
[0029]基于所述目标位姿信息，控制所述机器人。
[0030]根据本申请的一个实施例，所述获取机器人所处环境的目标环境图像，包括：
[0031]获取多个采集角度下所述环境对应的多个环境图像；所述多个采集角度与所述多个环境图像一一对应，且所述多个采集角各不相同；所述目标环境图像为所述多个环境图像中任意图像；
[0032]所述基于所述完整对象点云图和所述完整部件点云图，获取所述机器人对所处环
境的目标环境理解信息，包括：
[0033]基于所述多个环境图像中所述目标环境图像对应的完整对象点云图和完整部件点云图，确定所述目标环境图像对应的采集角度下所述机器人对所处环境的第一环境理解信息；
[0034]融合所述多个采集角度下所述机器人对所处环境的第一环境理解信息，获取所述目标环境理解信息。
[0035]第二方面，本申请提供了一种机器人控制装置，该装置包括：
[0036]第一处理模块，用于获取机器人所处环境的目标环境图像；
[0037]第二处理模块，用于对所述目标环境图像进行特征分割，得到所述目标环境图像中目标对象对应的完整对象点云图和目标部件对应的完整部件点云图，其中，所述目标部件为所述目标对象中的部件；
[0038]第三处理模块，用于基于所述完整对象点云图和所述完整部件点云图，获取所述机器人对所处环境的目标环境理解信息，所述目标环境理解信息包括所处环境中各对象的第一信息和所述各对象中各部件的第二信息；
[0039]第四处理模块，用于基于所述目标环境理解信息和所述机器人待执行的任务，控制所述机器人。
[0040]根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器人控制方法，其特征在于，包括：获取机器人所处环境的目标环境图像；对所述目标环境图像进行特征分割，得到所述目标环境图像中目标对象对应的完整对象点云图和目标部件对应的完整部件点云图，其中，所述目标部件为所述目标对象中的部件；基于所述完整对象点云图和所述完整部件点云图，获取所述机器人对所处环境的目标环境理解信息，所述目标环境理解信息包括所处环境中各对象的第一信息和所述各对象中各部件的第二信息；基于所述目标环境理解信息和所述机器人待执行的任务，控制所述机器人。2.根据权利要求1所述的机器人控制方法，其特征在于，所述对所述目标环境图像进行特征分割，得到所述目标环境图像中目标对象对应的完整对象点云图和目标部件对应的完整部件点云图，包括：将所述目标环境图像输入至目标模型的图像分割网络，获取所述图像分割网络输出的所述目标对象对应的对象级图像块和所述目标部件对应的部件级图像块；分别将所述对象级图像块和所述部件级图像块输入至所述目标模型的点云补全网络，获取所述点云补全网络输出的所述对象级图像块对应的完整对象点云图和所述部件级图像块对应的完整部件点云图。3.根据权利要求2所述的机器人控制方法，其特征在于，所述将所述目标环境图像输入至目标模型的图像分割网络，获取所述图像分割网络输出的所述目标对象对应的对象级图像块和所述目标部件对应的部件级图像块，包括：将所述目标环境图像输入至所述图像分割网络的对象分割模块，获取所述部件分割模块输出的所述对象级图像块；将所述目标环境图像或所述对象级图像块输入至所述图像分割网络的部件分割模块，获取所述部件分割模块输出的所述部件级图像块。4.根据权利要求2所述的机器人控制方法，其特征在于，所述目标环境图像包括彩色图像和深度图像。5.根据权利要求2所述的机器人控制方法，其特征在于，所述分别将所述对象级图像块和所述部件级图像块输入至所述目标模型的点云补全网络，获取所述点云补全网络输出的所述对象级图像块对应的完整对象点云图和所述部件级图像块对应的完整部件点云图，包括：从所述对象级图像块中提取所述目标对象对应的第一点云信息，从所述部件级图像块中提取所述目标部件对应的第二点云信息；基于所述第一点云信息预测得到第一偏差，基于所述第二点云信息预测得到第二偏差；基于所述第一偏差补全所述第一点云信息，获取所述完整对象点云图；基于所述第二偏差补全所述第二点云信息，获取所述完整部件点云图。6.根据权利要求1
‑
5任一项所述的机器人控制方法，其特征在于，所述基于所述完整对象点云图和所述完整部件点云图，获取所述机器人对所处环境的目标环境理解信息，包括：以所述目标对象的质心为坐标系原点建立所述目标对象对应的第一坐标系，并基于所
述完整对象点云图和所述第一坐标系，获取所述目标对象的第一位置坐标...

【专利技术属性】
技术研发人员：王在进，张泽宇，刘航欣，
申请(专利权)人：北京通用人工智能研究院，
类型：发明
国别省市：