【技术实现步骤摘要】
本专利技术属于人工智能中的工业智能装配领域，是一种基于虚实融合环境的软排线扣合策略生成方法，用于智能体基于多模态感知进行软排线扣合策略的生成。
技术介绍
1、当今社会，机器人已经广泛应用于工业界的各种装配任务，机器人已经可以帮助人类完成装配汽车([zachares p a,lee m a,lian w,et al.interpreting contactinteractions to overcome failure in robot assembly tasks[a].in:2021 ieeeinternational conference on robotics and automation(icra)[c].ieee,2021.3410-3417.])，组装家具([lee y,hu e s,lim j j.ikea furniture assembly environmentfor long-horizon complex manipulation tasks[a].in:2021 ieee internationalconference on robotics and automation(icra)[c].ieee,2021.6343-6349.])，机器装配([kimble k,van wyk k,falco j,et al.benchmarking protocols for evaluatingsmall parts robotic assembly systems[j].ieee robotics and au
2、在装配手机软排线的过程中，目前在机器人操作场景感知过程中存在误差，在触觉、视觉、听觉多模态数据的获取和处理仍存在较大误差。例如机械臂在扣合像手机软排线一样的微小零件时，由于机械臂的遮挡，导致零件的某些部分不可见，难以进行测量，造成装配失败，而且多次失败后还可能造成零件的损坏。
3、但是如果在虚拟环境中也可以进行机器人技能学习，通过现实和虚拟世界的融合学习，在现实环境中难以测量的数据可以在虚拟环境中测量，可以大幅度提高机器人操作技能学习的效率和准确性。所以采用虚实融合的方法进行机器人操作技能学习也是当前热门的研究方向。在虚实融合进行操作技能学习的过程中，利用多模态交互的方法获取数据具有实时性强、交互性强的特点，所以近年来多模态交互广泛应用于机器人操作技能学习的过程中。
4、仿真在机器人研究中也起着重要作用。现实世界中的实验既昂贵又耗时，同时会给机器人带来磨损和事故的潜在风险，但仿真可以提供数据作为初步实验，而不会出现此类风险。此外，神经网络和深度学习等数据驱动方法在机器人技术中用于传感和控制。需要大量数据，而仿真提供了一种收集数据的有效方法，并有可能将训练有素的机器人代理转移到现实世界中。
5、在过去的几年中，已经提出了用于对象模拟的各种模拟方法，例如有限元法(fem)和关键点法。已经有一些常用的机器人模拟器，例如gazebo、pybullet和mujoco。尽管他们能够模拟机器人手臂和抓手等机器人组件，但触觉传感器模拟仍然是一项具有挑战性的任务，这阻碍了具有触觉感知的物理机器人模拟。
6、触觉传感对于机器人接触控制是必不可少的，近年来已经开发了许多触觉传感器。由于能够生成高分辨率触觉图像，光学触觉传感器、一些工作使用相机捕捉软弹性体的变形，因此受到机器人研究的青睐。由于其低成本和高分辨率，光学触觉传感器已广泛用于实际实验，但模拟其软弹性体层变形的挑战阻碍了它们的模拟。
7、自适应控制在当前机器人执行工业装配任务过程中有着广泛的应用，自适应机器人可以实时进行自我调整，适应环境变化，通过虚实触觉图像的梯度变化，使用自适应方法可以有效得到软排线一步扣合策略。
技术实现思路
1、针对上述问题，本专利技术提出一种基于虚实融合的自适应梯度软排线一步扣合预测方法，通过在虚拟环境中进行触觉模拟，减小了感知误差，有效提高了软排线扣合的成功率。
2、本专利技术基于虚实融合的自适应梯度软排线一步扣合预测方法，包括一个软排线扣合的数字孪生环境、一个基于自适应梯度的一步预测模型以及一个虚实触觉图像比较模型。
3、所述软排线扣合的数字孪生环境用于生成虚实触觉图像，具体方法为：
4、a)真实操作环境中机械臂开始进行软排线扣合。
5、b)机械臂末端执行器上的触觉传感器感知到真实触觉图像。
6、c)通过物质点法对真实触觉图像进行分析。
7、d)在虚拟环境中实现虚拟触觉变形模拟。
8、e)在虚拟环境中生成虚拟触觉图像。
9、f)真实触觉图像和虚拟触觉图像共同构成软排线扣合的数字孪生环境。
10、所述基于自适应梯度的一步预测模型的建立方法具体如下：
11、首先，建立虚实触觉预测模型，通过将当前实验中的真实触觉图像和虚拟触觉图像分别与理想成功扣合情况下的真实触觉图像和虚拟触觉图像进行对比，得到本次虚实扣合情况预测结果。
12、其次，建立自适应梯度模型，在虚实触觉预测模型得到预测结果后，若预测结果为成功扣合，则无需进行调整。若预测结果为扣合失败，则需根据自适应梯度方法得到软排线位姿调整的步长和方向，调整过程需要与理想触觉图像进行对比。
13、最后，建立虚实触觉图像比较模型，根据基于自适应梯度的一步预测模型得到的虚实调整步长和方向，通过在数字孪生环境中的训练迭代，得到最优虚实触觉图像调整策略使用权重，得到最终调整策略，使得软排线通过一步位姿调整到达扣合成功前位置。
14、本专利技术的优点在于：
15、1、本专利技术基于虚实融合环境的自适应梯度软排线一步扣合预测方法，减小了真实环境下软排线扣合场景的感知误差，目前在机器人操作场景感知过程中存在误差，在触觉、视觉、听觉多模态数据的获取和处理仍存在较大误差，本专利技术通过在虚拟环境中进行触觉模拟，减小了感知误差；
16、2、本专利技术基于虚实融合环境的自适应梯度软排线一步扣合预测方法，减小了由于软排线这类微小零件的装配公差，机械臂在扣合像手机软排线一样的微小零件时，由于机械臂的遮挡，导致零件的某些部分不可见，难以进行测量，造成装配失败，而且多次失败后还可能造成零件的损坏，本专利技术通过自适应梯度方法得到预测策略，减小了扣合失败情况的发生；
17、3、本专利技术基于虚实融合环境的自适应梯度软排线一步扣合预测方法，提高了软排线扣合成功率，通过增加虚拟环境中的触觉模拟，并对虚实触觉数据得到的扣合策略进行融合，本专利技术有效提高了软排线扣合的成功率。
本文档来自技高网...【技术保护点】
1.基于虚实融合的自适应梯度软排线一步扣合预测方法，其特征在于：包括一个软排线扣合的数字孪生环境、一个基于自适应梯度的一步预测模型以及一个虚实触觉图像比较模型；
2.如权利要求1所述基于虚实融合的自适应梯度软排线一步扣合预测方法，其特征在于：虚实触觉图像生成过程中，从两个角度对真实触觉数据进行分析拟合，分别为：
3.如权利要求1所述基于虚实融合的自适应梯度软排线一步扣合预测方法，其特征在于：虚实触觉图像生成过程中，采用物质点法对真实触觉图像进行分析，并生成虚拟触觉图像的具体方法为：
4.如权利要求1所述一种基于虚实融合的自适应梯度软排线一步扣合预测方法，其特征在于：虚实触觉预测模型由CNN+LSTM网络构成；在进行图像对比时通过对图像编码解码，利用CNN+LSTM网络提取图像特征；CNN通过使用卷积核从样本数据中提取出其潜在的特征，而长短期记忆网络LSTM处理和预测样本序列中时间间隔较长的重要事件。
5.如权利要求1所述基于虚实融合的自适应梯度软排线一步扣合预测方法，其特征在于：通过自适应梯度模型从两个方面与理想触觉图像进行对比，一
6.如权利要求1所述基于虚实融合的自适应梯度软排线一步扣合预测方法，其特征在于：虚实触觉图像比较模型具体步骤为：
...【技术特征摘要】
1.基于虚实融合的自适应梯度软排线一步扣合预测方法，其特征在于：包括一个软排线扣合的数字孪生环境、一个基于自适应梯度的一步预测模型以及一个虚实触觉图像比较模型；
2.如权利要求1所述基于虚实融合的自适应梯度软排线一步扣合预测方法，其特征在于：虚实触觉图像生成过程中，从两个角度对真实触觉数据进行分析拟合，分别为：
3.如权利要求1所述基于虚实融合的自适应梯度软排线一步扣合预测方法，其特征在于：虚实触觉图像生成过程中，采用物质点法对真实触觉图像进行分析，并生成虚拟触觉图像的具体方法为：
4.如权利要求1所述一种基于虚实融合的自适应梯度软排线一步扣合预测方法，其特征在于：虚实触觉预测模型由cnn+lstm网络构成；在进行图像对比时通过对图像编码解...
【专利技术属性】
技术研发人员：赵永嘉，张子轩，张宁，李卫琪，雷小永，戴树岭，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。