【技术实现步骤摘要】
本专利技术属于机器人控制，涉及一种用于将单臂代理的动作扩展到双臂操作的方法及系统。
技术介绍
1、近年来，双臂机器人在众多领域中的应用取得了显著成就，不仅在家庭环境中扮演着智能助手的角色，如执行日常家务、照顾老人和儿童，还在工业装配线上展现出无与伦比的精准度和协作能力，极大地提升了生产效率与产品质量。同时，在农业领域，双臂机器人也凭借其强大的作业能力和适应性，为农作物的种植、收割及后续处理提供了强有力的支持，助力农业现代化的推进。这些成功的背后，是双臂机器人技术不断进步与创新的结果，尤其是其在灵活性、协调性以及高效执行复杂任务方面的突出表现。
2、然而，随着各领域对双臂机器人需求的持续增长，一个显著的问题逐渐浮出水面：如何获取高质量的双臂数据集以有效训练双臂操作策略？这一挑战主要源于双臂交互的复杂性和多样性。在实际应用中，双臂机器人需要处理的目标协调、物体属性差异以及现实世界中的各种不确定性因素，如环境光照变化、物体位置偏移等，都极大地增加了数据收集的难度和成本。传统的数据收集方法往往耗时耗力，且难以全面覆盖所有可能的交互场景，导致训练出的模型泛化能力有限。
3、此外，当前的双臂操作策略大多基于预定义的刚性规则，缺乏足够的灵活性和自适应性来应对实时变化的情况。例如，在执行任务过程中，如果某一臂部发生故障或遇到未预期的任务不规则性，现有的策略往往难以做出及时调整，从而影响了整体任务的顺利完成。因此，开发一种更加动态、响应式的双臂操作策略显得尤为重要。
4、在此背景下，将现有的单臂智能体算法扩展到
5、因此，要真正实现双臂智能体的高效训练与操作，必须在算法层面进行深度创新，开发出能够有效管理双目标动作生成与分配、实现臂间高效协调同步的新算法。通过这样的扩展与优化，不仅可以充分利用现有的单臂数据集资源，还能显著提升双臂机器人在各种复杂任务中的执行效率和适应性，为双臂机器人技术的广泛应用奠定坚实的基础。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种用于将单臂代理的动作扩展到双臂操作的方法及系统，该方法和系统提供了一种名为exs2d(将单臂代理的动作扩展到双臂)的框架，该框架包含两大组件：1)目标生成网络；2)目标分配网络。目标生成网络通过引入注意力扩展机制将语义信息嵌入像素级数据，深入挖掘并充分利用了语义数据以及视觉数据的特征，实现动态生成动作对。目标分配网络则根据当前所处环境的状态，将目标生成网络动态生成的动作对分别分配给两个机械臂，评估可行性并选择最优解，以实现高效的双臂操作。特别的是，当检测到某只机械臂陷入异常时，原本由该机械臂执行的动作对会被自动转移给另一只机械臂，以确保任务执行不间断。
2、为达到上述目的，本专利技术提供如下技术方案：
3、一种用于将单臂代理的动作扩展到双臂操作的方法，该方法具体包括以下步骤：
4、s1：构建一个注意力扩展模块，其利用全局的视觉信息o和自然语言指令l，得到第一个拾取点；
5、s2：构建一个物体分割模块，在获取第一个拾取点的基础上，为第一个物体生成掩码；
6、s3：在获取第一个物体掩码的基础上，再次利用注意力扩展模块生成第二个拾取点；
7、s4：构建transport模块，其利用全局的视觉信息、自然语言指令以及第一个拾取点坐标，得到第一个放置点的坐标；
8、s5：在获取第一个放置点的坐标的基础上，再次利用物体分割模块为第一个放置区域生成掩码；
9、s6：在获取第一个放置区掩码的基础上，再次利用transport模块生成第二个放置点；
10、s7：构建一个状态编码器，其利用目标状态图，得到目标状态图的编码特征；
11、s8：构建一个成本编码器，其利用成本矩阵，得到成本矩阵的编码特征；
12、s9：构建一个目标分配模块，其利用状态编码器输出的编码特征和成本编码器输出的编码特征，并结合运动规划库实现有效协调，从而将目标动作分配给对应的机械臂。
13、进一步，在步骤s1中，构建一个注意力扩展模块，其通过将自然语言指令与视觉数据融合，从而得到一个关于第一个物体最佳拾取点的概率图，概率图上拥有最高概率值的那个像素点即为该物体的最佳拾取点，第一个拾取点的坐标由以下公式得到：
14、
15、其中，qpick是针对拾取操作的动作价值函数，(u,v)则是图像上的像素点坐标。
16、进一步，在步骤s2中，构建物体分割模块，在生成的关于第一个拾取点坐标的基础上，以该点为中心裁剪出一个64×64像素大小的裁剪块；该裁剪块可以完全包含第一个物体，紧接着利用sam获取第一个物体的掩码，将含有第一个物体掩码的全局图像om1作为新的视觉信息用于后续流程的使用。
17、进一步，在步骤s3中，使用自然语言指令l以及步骤s2中得到的全局图像om1，再次利用注意力扩展模块获取关于第二个物体最佳拾取点的概率图，由于第一个物体已经被sam处理过，所以，注意力扩展模块能够将注意力集中在第二个物体上，从而更准确的获取第二个拾取点；与求解第一个拾取点的坐标类似，概率图中拥有最高概率的那个像素点即为最佳拾取点，第二个拾取点的坐标由以下公式得到：
18、
19、在步骤s4中，构建一个transport模块，输入的视觉信息和自然语言指令与步骤s1中输入的保持一致，transport模块利用这些数据并结合第一个拾取点的坐标生成关于第一个放置点的概率图，概率图中拥有最大概率值的那个像素点即为第一个物体的最佳放置点，第一个放置点的坐标由以下公式得到：
20、
21、其中，qplace是针对放置操作的动作价值函数，δτ为图像上的像素点坐标。
22、进一步，在步骤s5中，构建一个sam模块，以第一个放置点为中心裁剪出一个8×8像素大小的裁剪块，利用sam为该区域生成掩码，以确保transport模块把注意力集中在生成第二个物体的可能放置区域上；将含有第一个放置点区域掩码的全局图像om2作为新的视觉信息用于后续求解第二个放置点时使用。
23、进一步，在步骤s6中，结合自然语言指令l、步骤s5中得到的全局图像om2以及步骤s3中得到的第二个拾取点的坐标，再次利用transport模块获取关于第二个放置点的概率图，概率图中拥有最大概率值的那个像素点即为第二个物体的最佳放置点；第二个放置点的坐标由以下公式得到：
【技术保护点】
1.一种用于将单臂代理的动作扩展到双臂操作的方法，其特征在于：该方法具体包括以下步骤：
2.根据权利要求1所述的一种用于将单臂代理的动作扩展到双臂操作的方法，其特征在于：在步骤S1中，构建一个注意力扩展模块，其通过将自然语言指令与视觉数据融合，从而得到一个关于第一个物体最佳拾取点的概率图，概率图上拥有最高概率值的那个像素点即为该物体的最佳拾取点，第一个拾取点的坐标由以下公式得到：
3.根据权利要求2所述的一种用于将单臂代理的动作扩展到双臂操作的方法，其特征在于：在步骤S2中，构建物体分割模块，在生成的关于第一个拾取点坐标的基础上，以该点为中心裁剪出一个64×64像素大小的裁剪块；该裁剪块可以完全包含第一个物体，紧接着利用SAM获取第一个物体的掩码，将含有第一个物体掩码的全局图像om1作为新的视觉信息用于后续流程的使用。
4.根据权利要求3所述的一种用于将单臂代理的动作扩展到双臂操作的方法，其特征在于：在步骤S3中，使用自然语言指令l以及步骤S2中得到的全局图像om1，再次利用注意力扩展模块获取关于第二个物体最佳拾取点的概率图，由于第一个物体已经
5.根据权利要求4所述的一种用于将单臂代理的动作扩展到双臂操作的方法，其特征在于：在步骤S5中，构建一个SAM模块，以第一个放置点为中心裁剪出一个8×8像素大小的裁剪块，利用SAM为该区域生成掩码，以确保transport模块把注意力集中在生成第二个物体的可能放置区域上；将含有第一个放置点区域掩码的全局图像om2作为新的视觉信息用于后续求解第二个放置点时使用。
6.根据权利要求5所述的一种用于将单臂代理的动作扩展到双臂操作的方法，其特征在于：在步骤S6中，结合自然语言指令l、步骤S5中得到的全局图像om2以及步骤S3中得到的第二个拾取点的坐标，再次利用transport模块获取关于第二个放置点的概率图，概率图中拥有最大概率值的那个像素点即为第二个物体的最佳放置点；第二个放置点的坐标由以下公式得到：
7.根据权利要求6所述的一种用于将单臂代理的动作扩展到双臂操作的方法，其特征在于：在步骤S7中，构建一个状态编码器，其通过处理目标状态图中的观察结果来捕捉目标和双臂之间的空间关系，使用MLP和MHSA将任务和机械臂的位置数据嵌入到特征向量中；目标状态图中的目标节点包含了对应物体在笛卡尔坐标系下的动作姿态，即该物体的拾取、放置坐标，用以下公式来表示：
8.根据权利要求7所述的一种用于将单臂代理的动作扩展到双臂操作的方法，其特征在于：在步骤S8中，构建一个成本编码器，其从成本矩阵中收集执行成本，随着机械臂执行拾取和放置动作，成本矩阵会随着不断变化的工作状态而动态变化；成本矩阵由一个2×2的网格组成，每个网格单元包含了两种成本：移动成本cmv和转移成本ctf，其中，移动成本表示机械臂从当前位置移动到目标物体处的距离；转移成本表示把目标物体从拾取位置转移到放置位置移动的距离；两种成本的求解用以下公式表示：
9.根据权利要求8所述的一种用于将单臂代理的动作扩展到双臂操作的方法，其特征在于：在步骤S9中，构建一个任务分配模块，其使用MHSA层来融合目标节点和成本矩阵的协作信息，接着应用MLP层和概率最大化操作来输出双臂的最佳任务分配策略；整个学习过程通过最小化交叉熵损失函数来优化动作的分配；
10.一种用于将单臂代理的动作扩展到双臂操作的系统，其特征在于：该系统采用如权利要求1至9中任一项所述方法。
...【技术特征摘要】
1.一种用于将单臂代理的动作扩展到双臂操作的方法，其特征在于：该方法具体包括以下步骤：
2.根据权利要求1所述的一种用于将单臂代理的动作扩展到双臂操作的方法，其特征在于：在步骤s1中，构建一个注意力扩展模块，其通过将自然语言指令与视觉数据融合，从而得到一个关于第一个物体最佳拾取点的概率图，概率图上拥有最高概率值的那个像素点即为该物体的最佳拾取点，第一个拾取点的坐标由以下公式得到：
3.根据权利要求2所述的一种用于将单臂代理的动作扩展到双臂操作的方法，其特征在于：在步骤s2中，构建物体分割模块，在生成的关于第一个拾取点坐标的基础上，以该点为中心裁剪出一个64×64像素大小的裁剪块；该裁剪块可以完全包含第一个物体，紧接着利用sam获取第一个物体的掩码，将含有第一个物体掩码的全局图像om1作为新的视觉信息用于后续流程的使用。
4.根据权利要求3所述的一种用于将单臂代理的动作扩展到双臂操作的方法，其特征在于：在步骤s3中，使用自然语言指令l以及步骤s2中得到的全局图像om1，再次利用注意力扩展模块获取关于第二个物体最佳拾取点的概率图，由于第一个物体已经被sam处理过，所以，注意力扩展模块能够将注意力集中在第二个物体上，从而更准确的获取第二个拾取点；与求解第一个拾取点的坐标类似，概率图中拥有最高概率的那个像素点即为最佳拾取点，第二个拾取点的坐标由以下公式得到：
5.根据权利要求4所述的一种用于将单臂代理的动作扩展到双臂操作的方法，其特征在于：在步骤s5中，构建一个sam模块，以第一个放置点为中心裁剪出一个8×8像素大小的裁剪块，利用sam为该区域生成掩码，以确保transport模块把注意力集中在生成第二个物体的可能放置区域上；将含有第一个放置点区域掩码的全局图像om2作为新的视觉信息用于后续求解第二个放置点时使用。
6...
【专利技术属性】
技术研发人员：陈超，任航宇，姚尤斌，古富强，张婉漪，李明妍，龙宪磊，吴全旺，郭松涛，蒲华燕，罗均，
申请(专利权)人：重庆大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。