【技术实现步骤摘要】
本专利技术属于机器人人机协作，尤其涉及一种面向人机协作的机器人智能物品传递方法和系统。
技术介绍
1、随着协作机器人技术的发展，越来越多的机器人将参与到我们日常的生活、生产中。在人机协作任务中，机器人和人的物品传递是人机协作过程中的重要环节。如何开发设计合理的末端执行器，选择合适的感知通道，开发鲁棒的抓取状态、人的意图感知算法，对保障机器人和人在协作过程中的物品传递的效率，提升机器人的用户体验具有重要意义。人和人之间的物品传递可以分为接近，抵达，以及传递三个过程。然而，当前对机器人向人的物品传递多集中于传递过程，通常使用基于视觉或者力觉的方法评估机器人是否已经完成了传递过程。且通常采用预设的固定的时间，或者接收到人的力觉和语音提示后才被动的触发机器人打开夹爪，这种被动的传递方式与人和人之间基于多模态的推断主动传递方式极不相符，且会大大降低了用户体验。
2、因此，有必要建立一个面向人机协作的机器人智能物品传递算法，且该系统因该包含多模态的人手接近感知、包含基于人手、物品数字孪生的抵达状态评估、包含不同物品人和人传递时间的数据集，以及基于强化学习的机器人自主传递控制算法。从而通过设计具备智能接近感知能力的机器人末端执行器，借助基于数字孪生与空间关系学的抵达状态评估，以及基于强化学习的传递时机动态预测，使机器人具备类人的接近、抵达，以及传递的自主控制，最终实现提升协作机器人交互体验的目的。
3、现已有采用从机器人结构上着手提升其传递物品能力的尝试，如申请公布号为
4、cn111301838a的专利申
5、为了估计人手接近，申请公布号为cn113681565a公开的一种实现机器人与人之间物品传递的人机协作方法及装置，通过视觉识别人手位姿的方式，控制机械臂运动到人手位置，实现物品传递。该方法更关注传递过程中的接近过程，且人在传递过程中属于被动等待角色。而物品传递过程涉及到人手接近的感知，达到传递位置的评估，以及传递时机的主动选择等方面，为提升用户体验，需要设计更加全面的物品传递的算法及系统使机器人具备主动选择传递时机的能力。
技术实现思路
1、鉴于上述，本专利技术的目的是提供了一种面向人机协作的机器人智能物品传递方法和系统，能够实现对人手接近的快速感知，人手到达传递点的准确估计，以及传递时机的主动选取，保障机器人传递过程鲁棒性，从而提升机器人的交互体验。
2、为实现上述专利技术目的，按照本专利技术的一个方面，提供一种面向人机协作的机器人智能物品传递方法，所述方法包括以下步骤：
3、s1，构建具备接近传感和压力传感的机械手，并融合视觉进行多模态感知，实时感知人手的接近；
4、s2，基于物体、人手和机器人的虚拟包围盒构建物体传递过程中的人和机器人数字孪生系统，该数字孪生系统可基于视觉更新的人手位置和基于机器人运动学更新的被抓取物品位置，以及两者之间的空间几何关系，实时评估人手的到达状态；
5、s3，根据人-人不同物品传递过程中，接收者到传递点的位姿，以及传递者完成传递时机即松开物体的时机为核心指标收集数据，上述核心指标数据包含三个核心指标，即基于视觉计算的人手位置、基于电容变感知的人手接近状态，以及人手在该位置停留的时间，并以此构建数据集，基于深度确定性策略梯度ddpg开发出改进的ddpg算法，使用所构建的数据集训练类人的传递时机选取模型，该模型能够使机器人具备主动选取传递时机的能力。
6、进一步，所述s1包括：选取合适的接近电容极板材料和压电材料，并设计机械手实现接近电容极板材料对夹手手指的包覆，压电材料贴附于电容极板材料表面作为压力传感器，借助人手接近会改变接近电容，并结合视觉传感器实现人手的接近状态的实时、多模态感知。
7、进一步，所述s1具体包括：以金属材料作为接近电容传感极板材料包覆的机械手结构，并设置视觉传感器，通过电容变化和机器视觉算法融合的多模态人手接近感知算法；
8、在所述多模态人手接近感知算法中，以如下公式求解人手与机器人夹手之间的距离，其中d指求解出的人手与机器人夹手之间的距离，d1指基于视觉算法计算的人手距离，d2指基于接近电容测试的人手距离；
9、
10、视觉算法中，按照公式d1＝inf{‖x-y‖2:x∈traa(t),y∈trab(t)}，其中traa(t)和trab(t)分别是时间段t[t0，t1]内人手a和物体或夹手b的轨迹，求解人手与机械手的实时距离；基于接近电容c的变化，参考等式关系其中∈为介电常数，k为静电力常数，s为包覆极板面积，求解d2。
11、进一步，所述s2包括：将人手、被抓物体、包含机械手的机械臂构建虚拟包围盒，并按照机械臂的正运动学建立被抓物体和机械臂各关节的空间关系，以此构建人手、被抓物体以及机械臂的数字孪生系统，计算公式与步骤s1中d1的计算公式相同，求解人手包围盒和被抓物体的距离关系，按照数字空间内被抓物体与人手的距离关系评估人手到达状态。
12、进一步，在步骤s3中，利用人手位姿识别模块、ddpg模块和机器人控制模块实现物品智能传递算法；
13、利用人手位姿识别模块识别接收者达到抓取点位置停止时的位姿，并以接收者手部停止运动的时刻开始计时，记录传递者释放物体的时间，计算接收者人手在该位置停留的时间，构建数据集；
14、ddpg模块包含改进的ddpg算法和奖励值函数；其中，改进的ddpg算法包括如下步骤：
15、首先将人机智能物品传递问题描述为马尔可夫决策问题，设每个时间步长智能体所执行的动作为at，所对应的状态为：
16、st＝[θ,d,dmin,ki,p,q]
17、式中：θ为机械人当前关节角；d为人手和机器人各关节间包围盒最小距离；dmin为当前状态下人手和机器人各关节最小距离d中的最小值；ki为dmin所对应的关节编号；p为机械臂末端位置，包含x，y，z的坐标值；q为机械人末端姿态，以四元数方式x，y，z，w表示；
18、接着，构建奖励值函数，动作为at＝[δθ,δp,δq]奖励值rk可通过如下公式求解：
19、rk＝rk+γrk-1+…+γn-krn
20、式中：γ∈[0,1]为衰减因子；第k步长的回报为：
21、
22、其中，s为当前时刻状态；p0为机械臂到达传递状态时的末端位姿；表示当前状态下人手的末端位姿；t0表示机器人达到传递位置的时刻，表示当前时刻，me和mk分别代表人手末端位置和传递时机在奖励函数中所占比重，在奖励值函数为构建数据集的过程中，接收者按照给定的李克特评分量表对传递时人手的末端位姿以及机器人传递时机进行评分，该评分量化后即为me和mk的值；
23、改进的ddpg算法对接收者姿态和传递时机进行强化，由于奖励值函数为人类对不同传本文档来自技高网...
【技术保护点】
1.一种面向人机协作的机器人智能物品传递方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述S1包括：选取合适的接近电容极板材料和压电材料，并设计机械手实现接近电容极板材料对夹手手指的包覆，压电材料贴附于电容极板材料表面作为压力传感器，借助人手接近会改变接近电容，并结合视觉传感器实现人手的接近状态的实时、多模态感知。
3.根据权利要求2所述的方法，其特征在于，所述S1包括：以金属材料作为接近电容传感极板材料包覆的机械手结构，并设置视觉传感器，通过电容变化和机器视觉算法融合的多模态人手接近感知算法；
4.根据权利要求3所述的方法，其特征在于，所述S2包括：将人手、被抓物体、包含机械手的机械臂构建虚拟包围盒，并按照机械臂的正运动学建立被抓物体和机械臂各关节的空间关系，以此构建人手、被抓物体以及机械臂的数字孪生系统，计算公式与步骤S1中d1的计算公式相同，求解人手包围盒和被抓物体的距离关系，按照数字空间内被抓物体与人手的距离关系评估人手到达状态。
5.根据权利要求4所述的方法，其特征在于，在步骤S3中，
6.一种根据权利要求1-5中任一项所述的面向人机协作的机器人智能物品传递方法的传递系统，其特征在于，所述系统包括层级人手接近感知模块、系统数字孪生模块、主动传递指令模块、机器人控制模块以及数据采集模块；其中，
...【技术特征摘要】
1.一种面向人机协作的机器人智能物品传递方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述s1包括：选取合适的接近电容极板材料和压电材料，并设计机械手实现接近电容极板材料对夹手手指的包覆，压电材料贴附于电容极板材料表面作为压力传感器，借助人手接近会改变接近电容，并结合视觉传感器实现人手的接近状态的实时、多模态感知。
3.根据权利要求2所述的方法，其特征在于，所述s1包括：以金属材料作为接近电容传感极板材料包覆的机械手结构，并设置视觉传感器，通过电容变化和机器视觉算法融合的多模态人手接近感知算法；
4.根据权利要求3所述的方法，其特征在于，所述s2包括：将人手、被抓...
【专利技术属性】
技术研发人员：张帅，陶飞，左颖，张贺，周尧明，
申请(专利权)人：天目山实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。