基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法技术

本发明专利技术涉及一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法，包括以下步骤：采集目标物体图像，构建卷积神经网络，输出目标物体的位置；选取部分目标物体的位置对机械臂进行抓取示教任务，收集机械臂末端轨迹以及人手部肌电信号；将肌电信号转化为刚度信息，并利用DMP建模，确定阻抗DMP模型参数；构建全连接神经网络并进行DMP参数训练；针对特定任务，利用全连接神经网络输出的阻抗DMP模型参数对轨迹与刚度进行建模，基于阻抗控制的方法控制机械臂依照轨迹和刚度进行任务的执行。与现有技术相比，本发明专利技术能够很好地将少量示教泛化到机械臂自主执行的特定抓取任务中。泛化到机械臂自主执行的特定抓取任务中。泛化到机械臂自主执行的特定抓取任务中。

【技术实现步骤摘要】
基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法


[0001]本专利技术涉及模仿学习
，尤其是涉及一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法。

技术介绍

[0002]模仿学习是现在备受关注的一种技术，是机器学习中的一种技术，通过让学习者观察和模仿人类专家的行为和决策来实现自主学习的过程。它是一种监督式学习的变体，它利用人类专家提供的示范数据和反馈来训练模型，并且可以应用于各种各样的任务，而将模仿学习用与机器人控制领域，让机器人通过观察人类或其他机器人的行为来学习执行特定的任务，可以大大减少编程人员的工作量。
[0003]应用于机器人领域的模仿学习方法由很多种，其中较为著名的是在2002年由Ijspeert等人提出的动态运动基元(DMP)模型。DMP利用了机器学习中的回归方法，通过学习一组基本的运动模式，即动态运动基元，来生成复杂的运动。动态运动基元是一组由非线性微分方程表示的基本的运动模式，能够模拟出各种连续的运动模式，例如握取、抓取、走路等。已经广泛应用于机器人学、控制工程和运动控制等领域，并已经在许多实际应用中得到了验证，例如机器人操作、航空航天、生物力学和康复医疗等。
[0004]在通过DMP方法完成机械臂抓取任务的过程中，并不能够将任务很好地泛化到不同抓取物体以及不同抓取位置的情况。

技术实现思路

[0005]本专利技术的目的是为了提供一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法，将少量示教泛化到机械臂自主执行的特定抓取任务中，实现高精度、高效率、广适用性的抓取。
[0006]本专利技术的目的可以通过以下技术方案来实现：
[0007]一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法，包括以下步骤：
[0008]步骤1)采集目标物体图像，构建训练数据集，构建卷积神经网络并利用训练数据集进行训练，输出目标物体的位置；
[0009]步骤2)选取部分目标物体的位置对机械臂进行抓取示教任务，收集机械臂末端轨迹以及人手部肌电信号；
[0010]步骤3)将肌电信号转化为手臂末端的刚度信息，同时将刚度信息与机械臂末端轨迹分别用DMP建模，确定阻抗DMP模型参数，构建全连接神经网络的训练数据集；
[0011]步骤4)构建全连接神经网络并进行训练，所述全连接神经网络的输入为目标物体的位置以及时钟信号，输出为末端轨迹和阻抗DMP模型参数；
[0012]步骤5)针对特定任务，利用全连接神经网络输出的阻抗DMP模型参数对轨迹与刚度进行建模，基于阻抗控制的方法控制机械臂依照轨迹和刚度进行任务的执行。
[0013]进一步的，所述采集目标物体图像，构建数据集具体为：在机械臂的工作空间内随
机放置目标物品，利用摄像头捕获多组样本图片，并记录每张图片对应目标物品的基坐标系坐标，构建卷积神经网络的训练数据集。
[0014]进一步的，所述步骤2)包括以下步骤：
[0015]步骤2
‑
1)将机械臂置于拖动示教模式，示教者佩戴肌电信号收集装置拖动机械臂末端完成对工作空间内目标物体的抓取任务，记录任务过程中机械臂末端位置轨迹以及人体肌电信号；
[0016]步骤2
‑
2)将目标物品放置在工作空间内的不同位置，重复步骤2
‑
1)，获取多组数据。
[0017]进一步的，所述步骤3)中，将肌电信号转化为手臂末端的刚度信息具体为：
[0018][0019]其中，K
en
∈R6×6,K
j
∈R7×7分别表示人体上肢端点刚度和关节刚度；分别表示人体上肢端点刚度和关节刚度；表示人体手臂雅可比矩阵的伪逆，表示手臂姿态；q
h
∈R7表示手臂关节角；F
ex
∈R6表示施加在人体上肢端点的外力；K
j
基于肌电信号确定。
[0020]进一步的，用p表示刚度，所述人体上肢关节刚度K
j
表示为一个肌肉收缩指数α(p)和一个固有不变刚度的乘积：
[0021][0022]其中，肌肉收缩指数为：
[0023][0024]变量α(p)是基于肌电信号确定的肌肉激活指标，λ1、λ2为常数系数。
[0025]进一步的，所述步骤3)中，将刚度信息与机械臂末端轨迹分别用DMP建模的建模过程包括以下步骤：
[0026]步骤3
‑2‑
1)构建单模态DMP模型：
[0027][0028][0029][0030]其中，是轨迹的初始位置，是轨迹的终止位置，是轨迹的终止位置，是一个对角矩阵，其中向量g
‑
y0是对角线上的分量，是非线性强迫项，是按比例的运动速度，表示相位；
[0031]单模态DMP模型中的强迫项由径向基函数表示：
[0032][0033]Ψ
k
(s)＝exp(
‑
h
k
(s
‑
c
k
)2)
[0034]其中，c
k
为沿轨迹相位分布的高斯函数的中心，h
k
为高斯函数的宽度，h
k
和c
k
的值是固定的，且c
k
沿相位均匀分布，w
k
是未知参数，通过回归方法习得；
[0035]步骤3
‑2‑
2)为了保证基于同一任务参数的末端轨迹和阻抗同步，将单模态DMP模型修改为轨迹与阻抗同步的多模态DMP模型：
[0036][0037][0038][0039]其中第一个式子为正则系统，后两个式子表示两个转换系统，一个用于编码位置轨迹，另一个用于刚度轮廓，p代表末端刚度；
[0040]步骤3
‑2‑
3)对于采集到的示教轨迹，用3)对于采集到的示教轨迹，用形式表示，其中θ
k,n
、分别为k时刻关节n对应的位置，速度和加速度；参考运动轨迹的建模过程，将输入的n替换为p，得到刚度轨迹DMP模型：
[0041][0042][0043]其中，是刚度轨迹的初始位置，是刚度轨迹的终止位置，是一个对角矩阵，其中向量g
p
‑
y
0p
是对角线上的分量，是非线性强迫项；由于正则系统一致，参数τ，x，z一致；
[0044]步骤3
‑2‑
4)根据示教轨迹，获得期望的强迫项：
[0045][0046]F
tar
(s)为示教轨迹对应期望强迫项函数值；
[0047]步骤3
‑2‑
5)利用线性回归算法，定义损失函数，计算径向基函数的参数ω
k
，得到基于特定任务的期望DMP模型的参数。
[0048]进一步的，所述损失函数为：
[0049][0050]其中是示教轨迹对应期望强迫项函数值，是网络输出的强迫项函数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法，其特征在于，包括以下步骤：步骤1)采集目标物体图像，构建训练数据集，构建卷积神经网络并利用训练数据集进行训练，输出目标物体的位置；步骤2)选取部分目标物体的位置对机械臂进行抓取示教任务，收集机械臂末端轨迹以及人手部肌电信号；步骤3)将肌电信号转化为手臂末端的刚度信息，同时将刚度信息与机械臂末端轨迹分别用DMP建模，确定阻抗DMP模型参数，构建全连接神经网络的训练数据集；步骤4)构建全连接神经网络并进行训练，所述全连接神经网络的输入为目标物体的位置以及时钟信号，输出为末端轨迹和阻抗DMP模型参数；步骤5)针对特定任务，利用全连接神经网络输出的阻抗DMP模型参数对轨迹与刚度进行建模，基于阻抗控制的方法控制机械臂依照轨迹和刚度进行任务的执行。2.根据权利要求1所述的一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法，其特征在于，所述采集目标物体图像，构建数据集具体为：在机械臂的工作空间内随机放置目标物品，利用摄像头捕获多组样本图片，并记录每张图片对应目标物品的基坐标系坐标，构建卷积神经网络的训练数据集。3.根据权利要求1所述的一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法，其特征在于，所述步骤2)包括以下步骤：步骤2
‑
1)将机械臂置于拖动示教模式，示教者佩戴肌电信号收集装置拖动机械臂末端完成对工作空间内目标物体的抓取任务，记录任务过程中机械臂末端位置轨迹以及人体肌电信号；步骤2
‑
2)将目标物品放置在工作空间内的不同位置，重复步骤2
‑
1)，获取多组数据。4.根据权利要求1所述的一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法，其特征在于，所述步骤3)中，将肌电信号转化为手臂末端的刚度信息具体为：其中，K
en
∈R6×6，K
j
∈R7×7分别表示人体上肢端点刚度和关节刚度；分别表示人体上肢端点刚度和关节刚度；表示人体手臂雅可比矩阵的伪逆，表示手臂姿态；q
h
∈R7表示手臂关节角；F
ex
∈R6表示施加在人体上肢端点的外力；K
j
基于肌电信号确定。5.根据权利要求4所述的一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法，其特征在于，用p表示刚度，所述人体上肢关节刚度K
j
表示为一个肌肉收缩指数α(p)和一个固有不变刚度的乘积：其中，肌肉收缩指数为：变量α(p)是基于肌电信号确定的肌肉激活指标，λ1、λ2为常数系数。6.根据权利要求1所述的一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现
方法，其特征在于，所述步骤3)中，将刚度信息与机械臂末端轨迹分别用DMP建模的建模过程包括以下步骤：步骤3
‑2‑
1)构建单模态DMP模型：1)构建单模态DMP模型：1)构建单模态DMP模型：其中，是轨迹的初始位置，是轨迹的终止位置，是轨迹的终止位置，是一个对角矩阵，其中向量g
‑
y0是对角线上的分量，是非线性强迫项，是按比例的运动速度，表示相位；单模态DMP模型中的强迫项由径向基函数表示：Ψ
k
(s)＝exp(
‑
h
k
(s
‑
c
k
)2)其中，c
k
为沿轨迹相位分布的高斯函数的中心，g
k

【专利技术属性】
技术研发人员：王志鹏，徐海鑫，马家骏，何斌，周艳敏，
申请(专利权)人：同济大学，
类型：发明
国别省市：