【技术实现步骤摘要】
本申请涉及机器人学习，尤其涉及一种基于双摄像头融合的机器人学习方法、装置、设备及存储介质。
技术介绍
1、模仿学习作为机器人学习领域的前沿技术，通常依赖于高质量的专家演示数据，然而，如何高效、准确地收集这些演示数据仍然是一个挑战。
2、在传统的数据收集方法中，遥操作是常用手段之一。然而，遥操作存在一些固有的限制，例如反应时间和控制能力的不足。此外，由于人类操作风格的多样性和遥操作过程中可能引入的人为误差，收集的数据往往轨迹不平滑、缺乏一致性，从而增加了后处理和分析数据的难度，导致模仿学习算法难以从中提取出通用且稳定的策略。
3、仿真环境数据收集虽然快速，但“sim2real”转移问题成为一大障碍。仿真环境中的技能难以直接应用于现实世界中，这是由于现实世界的光照条件、表面材质和物理特性在仿真环境中往往被简化或忽略，导致仿真训练出的模型在真实环境中表现不佳。
4、随着slam（英文全称：simultaneous localization and mapping）技术的发展，环境感知能力得到了显著提升。orb_slam3作为视觉slam算法中的佼佼者，在实时定位与地图构建方面表现出色。然而，orb_slam3在初始化、快速移动和近距离操作中易丢失追踪，限制了其在复杂动态环境下的应用潜力。
技术实现思路
1、本申请提供一种基于双摄像头融合的机器人学习方法、装置、设备及存储介质。以解决上述
技术介绍
提出的问题。
2、第一方面，本申请提供一种基于双
3、在任务执行主体执行目标任务的过程中，通过预设的位姿获取算法，实时获取所述任务执行主体的位姿信息，并通过所述任务执行主体上搭载的第一摄像头实时获取第一图像帧，及判断所述图像帧中是否包括预设图像信息；
4、若不包括，基于预设的迭代最近点全局优化算法获取所述任务执行主体当前的姿态信息；
5、通过预设的第二摄像头获取所述任务执行主体在第二坐标系中的初始位置信息，并基于第一坐标系与所述第二坐标系的转换关系将所述初始位置信息由所述第二坐标系转换至所述第一坐标系，得到所述任务执行主体当前的位置信息；其中，所述第二摄像头固定设置，所述第一摄像头对应所述第一坐标系，所述第二摄像头对应所述第二坐标系；
6、确定所述姿态信息与所述位置信息为所述任务执行主体当前的位姿信息；
7、在所述任务执行主体结束执行所述目标任务之后，将获取的各个位姿信息进行时序排列，得到位姿数据信息，将各个所述第一图像帧进行时序排列，得到视觉数据信息；
8、控制机器人基于所述位姿数据信息和所述视觉数据信息学习所述任务执行主体执行所述目标任务的过程。
9、在一种可能得实现方式中，所述预设图像信息的获取方法，包括：
10、在所述目标任务的执行区域内设置多个标记；各个标记互不相同；
11、在所述任务执行主体以预设执行速度从起始位置执行所述目标任务时，通过所述第一摄像头实时获取第二图像帧；
12、判断各个所述第二图像帧中是否存在共有标记；
13、若存在，确定所述共有标记对应的图像信息为所述预设图像信息。
14、在一种可能得实现方式中，在所述判断各个所述第二图像帧中是否存在共有标记之后，所述方法还包括：
15、若不存在，分别统计各个所述标记对应的所述第二图像帧的数量，并基于各个所述标记对应的第二图像帧的数量将各个所述标记依序排列，得到标记序列；其中，所述标记序列中的各个标记对应的数量依序减小；
16、在所有所述第二图像帧中删除出现所述标记序列中的第一个标记的各个第二图像帧，并确定所述第一个标记为第一目标标记；
17、在剩余的所有所述第二图像帧中删除出现所述标记序列中的第二个标记的各个第二图像帧，并确定所述第二个标记为第二目标标记；
18、迭代在所有所述第二图像帧中删除出现所述标记序列中的第一个标记的各个第二图像帧，并确定所述第一个标记为第一目标标记之后的步骤，直至删除所有所述第二图像帧；
19、分别确定各个目标标记对应的图像信息为所述预设图像信息。
20、在一种可能得实现方式中，所述通过预设的第二摄像头获取所述任务执行主体在第二坐标系中的初始位置信息，包括：
21、将所述第二坐标系映射至所述目标任务的执行区域内；所述第二坐标系的坐标原点为所述第二摄像头上的指定点；
22、确定所述任务执行主体上的指定点在所述第二坐标系中的坐标点为所述初始位置信息。
23、在一种可能得实现方式中，所述第一坐标系与所述第二坐标系的转换关系的获取方法，包括：
24、在所述任务执行主体执行所述目标任务之前，以所述任务执行主体的指定点所在的位置为坐标原点构建第一坐标系；
25、以所述第二摄像头的指定点所在的位置为坐标原点构建第二直角坐标系；
26、在所述目标任务的执行区域内设置标记；所述标记出现在所述第一摄像头和所述第二摄像头的视野中；
27、将所述第一坐标系映射至所述目标任务的执行区域内，获取所述标记的外接圆的圆心在所述第一坐标系中的第一坐标点；
28、将所述第二坐标系映射至所述目标任务的执行区域内，获取所述标记的外接圆的圆心在所述第二坐标系中的第二坐标点；
29、基于所述第一坐标点和所述第二坐标点生成所述转换关系。
30、第二方面，本申请提供一种基于双摄像头融合的机器人学习装置，包括：
31、第一获取模块，用于在任务执行主体执行目标任务的过程中，通过预设的位姿获取算法，实时获取所述任务执行主体的位姿信息，并通过所述任务执行主体上搭载的第一摄像头实时获取第一图像帧，及判断所述图像帧中是否包括预设图像信息；
32、第二获取模块，用于若不包括，基于预设的迭代最近点全局优化算法获取所述任务执行主体当前的姿态信息；
33、转换模块，用于通过预设的第二摄像头获取所述任务执行主体在第二坐标系中的初始位置信息，并基于第一坐标系与所述第二坐标系的转换关系将所述初始位置信息由所述第二坐标系转换至所述第一坐标系，得到所述任务执行主体当前的位置信息；其中，所述第二摄像头固定设置，所述第一摄像头对应所述第一坐标系，所述第二摄像头对应所述第二坐标系；
34、确定模块，用于确定所述姿态信息与所述位置信息为所述任务执行主体当前的位姿信息；
35、时序排列模块，用于在所述任务执行主体结束执行所述目标任务之后，将获取的各个位姿信息进行时序排列，得到位姿数据信息，将各个所述第一图像帧进行时序排列，得到视觉数据信息；
36、控制模块，用于控制机器人基于所述位姿数据信息和所述视觉数据信息学习所述任务执行主体执行所述目标任务的过程。
37、第三方面，本申请提供一种终端设备，所述终端设备包括处理器、存储器以及存本文档来自技高网...
【技术保护点】
1.一种基于双摄像头融合的机器人学习方法，其特征在于，包括：
2.根据权利要求1所述的基于双摄像头融合的机器人学习方法，其特征在于，所述预设图像信息的获取方法，包括：
3.根据权利要求2所述的基于双摄像头融合的机器人学习方法，其特征在于，在所述判断各个所述第二图像帧中是否存在共有标记之后，所述方法还包括：
4.根据权利要求1所述的基于双摄像头融合的机器人学习方法，其特征在于，所述通过预设的第二摄像头获取所述任务执行主体在第二坐标系中的初始位置信息，包括：
5.根据权利要求1所述的基于双摄像头融合的机器人学习方法，其特征在于，所述第一坐标系与所述第二坐标系的转换关系的获取方法，包括：
6.一种基于双摄像头融合的机器人学习装置，其特征在于，包括：
7.一种终端设备，其特征在于，所述终端设备包括处理器、存储器以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中，所述计算机程序被所述处理器执行时，实现如权利要求1至5中任一项所述的基于双摄像头融合的机器人学习方法。
8.一种计算机可读存储介质，其特
...【技术特征摘要】
1.一种基于双摄像头融合的机器人学习方法，其特征在于，包括：
2.根据权利要求1所述的基于双摄像头融合的机器人学习方法，其特征在于，所述预设图像信息的获取方法，包括：
3.根据权利要求2所述的基于双摄像头融合的机器人学习方法，其特征在于，在所述判断各个所述第二图像帧中是否存在共有标记之后，所述方法还包括：
4.根据权利要求1所述的基于双摄像头融合的机器人学习方法，其特征在于，所述通过预设的第二摄像头获取所述任务执行主体在第二坐标系中的初始位置信息，包括：
5.根据权利要求1所述的基于双摄像头融合的机器人学习方法，其特征在...
【专利技术属性】
技术研发人员：赵子毅，唐诗，邓学鹏，崔伊然，孙腾，
申请(专利权)人：深圳若愚科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。