【技术实现步骤摘要】
本申请涉及机器人，尤其涉及一种机器人的运动规划方法、装置、机器人及存储介质。
技术介绍
1、随着现代工业的发展和科学技术的进步，机器人技术已经渗透到了各个领域中。通常机器人通过部署的传感器获取周围环境的信息，并将获取到的信息转化为计算机可以理解的环境数据，基于环境数据构建地形图，再通过计算机视觉或其他识别技术识别出环境中物体的位姿，从而基于物体的位姿进行路径和/或运动规划，进而实现机器人对物体的抓取、装配等操作作业。
2、由于机器人是通过部署的传感器来感知环境，因此，机器人感知环境的准确程度与传感器的精度强相关，而传感器的精度与距离物体的远近、物体是否存在遮挡等情况有关，例如，在部分场景中，会因为距离物体较远，导致无法准确估计出物体的位置；又例如，在另一些场景中，会因为物体被遮挡等原因，无法获得物体的位置。不管由于上述哪种原因导致无法准确估计出物体的位置，均会导致无法准确进行机器人的操作位姿估计，从而直接影响操作作业执行的成功率。
技术实现思路
1、本申请实施例提供一种机器人的运动规划方法、装置、设备及介质，用以实现机械臂和末端执行器的细致动作规划，提高了机器人的操作位姿的精准度，从而提高了机器人的操作作业执行的成功率。
2、本申请实施例提供的具体技术方案如下：
3、第一方面，本申请实施例提供一种机器人的运动规划方法，包括：
4、基于第一物体的位置和机器人的当前位置，对所述机器人针对所述第一物体执行操作作业进行运动规划，得到第一规划结
5、在移动过程中，持续由部署在所述机器人的末端执行器上的第二视觉传感器获取第二图像，针对每个第二图像分别执行如下操作：基于所述位置和当前获取到的第二图像，确定是否通过所述第二视觉传感器感知到所述第一物体；
6、若是，则基于所述当前获取到的第二图像，以及通过所述第二视觉传感器获取的后续第二图像，对所述机器人的执行装置针对所述第一物体的操作作业进行局部运动规划，得到第二规划结果，并基于所述第二规划结果控制所述执行装置进行动作，所述执行装置包括所述末端执行器及关联的机械臂。
7、本申请实施例提供的一种机器人的运动规划方法，可以通过部署在机器人头部的第一视觉传感器获取的第一图像，确定第一物体的位置，然后，基于位置和机器人的当前位置，对机器人针对第一物体执行操作作业进行运动规划，实现机器人的整体运动规划，从而基于得到的第一规划结果向第一物体进行移动，并在移动过程中，通过部署在机器人的末端执行器上的第二视觉传感器持续获取第二图像，并基于位置和当前获取的第二图像，确定是否通过第二视觉传感器感知到第一物体，若是，则说明通过第二视觉传感器确已感知到第一物体，则基于当前获取到的第二图像，以及通过第二视觉传感器获取的后续第二图像，对执行装置针对第一物体的操作作业进行局部运动规划，即切换到通过第二视觉传感器获取的图像对机械臂和末端执行器的细致动作规划，提高了机器人的操作位姿的精准度，也提高了操作作业的高效、精准性，进而提高了操作作业执行的成功率。
8、在一种可能的实现方式中，通过如下方式确定所述第一物体的位置：
9、基于接收到的任务指令，由所述第一视觉传感器获取所述第一图像；
10、对所述第一图像内的各物体进行目标识别，确定所述第一图像中是否存在所述第一物体；
11、若是，则基于所述第一物体在所述第一图像中的图像位置，确定所述位置；
12、若否，且识别到所述第一图像中存在包含所述第一物体的第二物体，则基于所述第二物体在所述第一图像中的图像位置，以及所述第二物体的三维结构数据，估计得到所述位置。
13、上述方法，通过先验知识，即包含第一物体的第二物体的三维结构数据，实现了对机器人无法直接感知的第一物体的位置的准确识别，相比于相关技术中此类场景无法由机器人进行操作作业，更重要的是，本方案提供了一种针对智能制造场景中类似产线的智能化改造方向，因此，本方案存在重要指导意义。
14、在一种可能的实现方式中，所述基于第一物体的位置和所述机器人的当前位置，对所述机器人针对所述第一物体执行操作作业进行运动规划，得到第一规划结果，包括：
15、基于所述位置和所述机器人的机械臂的长度，以及所述机器人所在环境的环境信息，确定所述机器人的站立点位；
16、基于所述站立点位和所述当前位置进行路径规划，得到移动路径；
17、基于所述移动路径和所述位置，对所述执行装置进行运动规划，得到所述第一规划结果。
18、在一种可能的实现方式中，所述第二规划结果包括多个子结果，每个子结果对应于一个目标图像，所述目标图像是所述当前获取到的第二图像或任一后续第二图像，则通过如下方式得到任一子结果：
19、从当前获取到的目标图像中提取出所述第一物体的抽象特征，所述抽象特征包括颜色特征、纹理特征、形状特征、空间关系特征，以及，
20、从所述目标图像的获取时刻对应的所述末端执行器的当前位姿数据中，提取出所述末端执行器的第一位姿特征，以及，
21、从所述目标图像的获取时刻对应的所述机械臂的当前关节参数中提取出所述机械臂的第二位姿特征；
22、根据所述抽象特征、所述第一位姿特征和所述第二位姿特征，分别对所述末端执行器的下一个位姿数据和所述机械臂的下一个关节参数进行预测，得到所述任一子结果。
23、上述方法，基于部署在末端执行器上的第二视觉传感器获取的第二图像，对机器人的操作位姿进行规划，即基于当前获取到的目标图像，以及目标图像的获取时刻对应的末端执行器的位姿数据和机械臂的关节参数，采用端到端模仿学习，对下一个位姿数据和下一个关节参数进行预测，提高了机器人的机械臂和末端执行器执行操作作业的适应能力和操作精度。
24、在一种可能的实现方式中，所述基于所述位置和当前获取到的第二图像，确定是否通过所述第二视觉传感器感知到所述第一物体，包括：
25、基于所述位置和所述末端执行器的实时位置，确定所述末端执行器与所述第一物体之间的距离；
26、基于所述距离和所述当前获取到的第二图像，确定是否通过所述第二视觉传感器感知到所述第一物体。
27、上述方法，通过位置和末端执行器的实时位置，确定两者之间的距离，保证了机器人的操作空间，避免因不同操作空间中有与第一物体相似的物体而出现操作错误目标的可能。然后，通过末端执行器与第一物体之间的距离，以及当前获取到的第二图像，共同评估通过第二视觉传感器是否感知到第一物体，即评估第一物体和末端执行器间的距离是否符合操作空间要求，且通过第二视觉传感器获取到的第二图像中是否包含第一物体，从而提高了后续基于第二视觉传感器获取的图像进行局部运动规划，确定的机器人的操作位姿的准确性、精准性，进而提高了操作作业执本文档来自技高网...
【技术保护点】
1.一种机器人的运动规划方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，通过如下方式确定所述第一物体的位置：
3.如权利要求1所述的方法，其特征在于，所述基于第一物体的位置和所述机器人的当前位置，对所述机器人针对所述第一物体执行操作作业进行运动规划，得到第一规划结果，包括：
4.如权利要求1所述的方法，其特征在于，所述第二规划结果包括多个子结果，每个子结果对应于一个目标图像，所述目标图像是所述当前获取到的第二图像或任一后续第二图像，则通过如下方式得到任一子结果：
5.如权利要求1-4任一所述的方法，其特征在于，所述基于所述位置和当前获取到的第二图像，确定是否通过所述第二视觉传感器感知到所述第一物体，包括：
6.如权利要求5所述的方法，其特征在于，通过如下方式得到所述末端执行器的实时位置：
7.如权利要求5所述的方法，其特征在于，所述基于所述距离和所述当前获取到的第二图像，确定是否通过所述第二视觉传感器感知到所述第一物体，包括：
8.一种机器人的运动规划装置，其特征在于，包括：p>
9.一种机器人，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行如权利要求1-7任一所述的方法。
...【技术特征摘要】
1.一种机器人的运动规划方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，通过如下方式确定所述第一物体的位置：
3.如权利要求1所述的方法，其特征在于，所述基于第一物体的位置和所述机器人的当前位置，对所述机器人针对所述第一物体执行操作作业进行运动规划，得到第一规划结果，包括：
4.如权利要求1所述的方法，其特征在于，所述第二规划结果包括多个子结果，每个子结果对应于一个目标图像，所述目标图像是所述当前获取到的第二图像或任一后续第二图像，则通过如下方式得到任一子结果：
5.如权利要求1-4任一所述的方法，其特征在于，所述基于所述...
【专利技术属性】
技术研发人员：张玉，陈维强，刘微，孙萁浩，刘帅帅，田友强，翟世平，姜悦樱，栾赫，
申请(专利权)人：海信集团控股股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。