一种结合强化学习的混合特征视觉伺服方法技术

本发明专利技术涉及一种结合强化学习的混合特征视觉伺服方法，属于伺服控制技术领域。利用标定板获取系统的内外参数，然后通过图像滤波等操作获取图像的特征信息，利用KLT算法跟踪点光流，然后通过图像的全局信息得到图像的矩信息，之后完成机械臂的驱动调试，准备整个系统的运行。本发明专利技术结合了点特征和图像矩特征视觉伺服的各自优化，使得两者的方法互补。采用KTL进行点特征的跟踪，使得方法不依赖专项的目标图像。加入强化学习，通过强化学习的决策效果对系统的控制输出进行干涉，使得控制效果得到了优化。了优化。了优化。

【技术实现步骤摘要】
一种结合强化学习的混合特征视觉伺服方法


[0001]本专利技术涉及的是一种机器人视觉伺服的技术，更具体的是一种结合强化学习的混合特征视觉伺服方法。

技术介绍

[0002]视觉伺服是利用视觉信息反馈进行机器人运动控制的技术，它对相机参数标定误差具有良好的鲁棒性。图像特征的选取是当前视觉伺服领域的热点问题之一。点特征是视觉伺服领域应用最广的图像特征，其他还有线、矩、熵、互信息等特征。其中图像矩作为图像的全局特征，能够反映图像的整体信息，但图像矩对于机械臂绕x，绕y的运动不敏感。
[0003]“强化学习”术语最早由Minsky提出，并将其应用到下棋的程序当中。论文利用强化学习的训练机制来学习每个状态下棋子的最优策略。其后，Sutton提出强化学习中的时序差分算法，解决了强化学习根据时间序列预测的问题。在1992年，Watkins等人提出了Q学习，并对Q学习的收敛性进行证明。近年来，人工智能技术蓬勃发展，为强化学习的发展提供了新的思路。这也就是深度强化学习。DRL是近几年人工智能迅速发展的一个重要分支，它结合了深度学习强大的表征能力和强化学习优化决策的特点。Mnih等人将卷积神经网络与强化学习中基于值函数的Q学习算法结合，提出了深度Q网络，开创了深度强化学习领域的新局面。

技术实现思路

[0004]要解决的技术问题
[0005]本专利技术针对现有技术存在的上述不足，提出一种结合强化学习的混合特征视觉伺服方法，以解决单纯点特征的对Z轴运动的敏感问题，并通过强化学习优化整个系统的效果。
[0006]技术方案
[0007]一种结合强化学习的混合特征视觉伺服方法，其特征在于步骤如下：
[0008]步骤1：搭建UR3机械臂以及ZED相机的驱动，利用ROS搭建实验环境；
[0009]步骤2：在步骤1搭建的环境下，进行ZED相机的内参标定以及相机和机械臂之间位置关系的标定，标定完成后进行目标图像的预处理，得到目标图像的点信息以及图像矩信息两个目标图像特征；
[0010]步骤3：通过XY/Z分离的手段使Z轴的运动由图像矩信息特征来进行映射，其余由点信息特征进行控制，在UR3机械臂上进行控制律的设计，输出关节控制指令完成控制；
[0011]步骤4：根据实验模型进行强化学习的建模设计，将强化学习接入视觉伺服系统中，并完成整个系统的联调，达到最终的实验效果。
[0012]步骤2预处理包括滤波和边缘提取。
[0013]有益效果
[0014]本专利技术提出的一种结合强化学习的混合特征视觉伺服方法，具有以下有益效果：
[0015]1.本专利技术结合了点特征和图像矩特征视觉伺服的各自优化，使得两者的方法互补。
[0016]2.采用KTL进行点特征的跟踪，使得方法不依赖专项的目标图像。
[0017]3.加入强化学习，通过强化学习的决策效果对系统的控制输出进行干涉，使得控制效果得到了优化。
附图说明
[0018]附图仅用于示出具体实施例的目的，而并不认为是对本专利技术的限制，在整个附图中，相同的参考符号表示相同的部件。
[0019]图1小孔成像示意图；
[0020]图2强化学习
‑
混合特征视觉伺服系统框架；
[0021]图3相机内外参校正实验：(a)相机内参标定；(b)相机外参标定；
[0022]图4图像特征提取实验；
[0023]图5机械臂视觉伺服实验过程；
[0024]图6混合特征IBVS仿真：(a)伺服收敛情况；(b)机械臂关节角；(c)机械臂关节速度；(d)克服相机退化；
[0025]图7强化学习混合视觉伺服仿真：(a)一组参数RL下e1和e2的优化；(b)RL条件下e1和e2的优化；(c)RL条件下e3和e4的优化；
[0026]图8机械臂强化学习混合视觉伺服实验：(a)平移自由度的收敛误差比较；(b)转动自由度的收敛误差比较。
具体实施方式
[0027]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。此外，下面描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0028]如附图1所示，本实施例提供的一种结合强化学习的机械臂混合特征视觉伺服方法包括：相机的内外参数标定，图像特征的获取，强化学习建模和总体实验四个步骤。
[0029]根据小孔模型的形式，设一点在世界坐标系下为(x
w
,y
w
,z
w
)，成像平面上的像点(x2,y2)转换成为图像点(u,v)。将光轴中心线在成像平面的交点记做(u0,v0)，可以得到世界坐标系下目标点与像点之间的映射关系：
[0030][0031]摄像机空间速度由线速度与角速度组成。线速度表示为[υ
x
,υ
y
,υ
z
]T
，角速度表示为[ω
x
,ω
y
,ω
z
]T
。则点P2相对于相机坐标系的运动速度为：
[0032][0033]写成标量形式为：
[0034][0035]最后结合上述公式，可以得到：
[0036][0037]再结合公式后半等式，得到：
[0038][0039]式中：
[0040][0041][0042]其中，
[0043]该组合矩可以表示图像绕水平方向逆时针的旋转角度，因此该组合图像矩可以反映绕z轴运动变化。
[0044]在IBVS系统中，在控制律要让点特征在图像平面中沿直线运动，但对于一个旋转的相机，KTL追踪的点会自然的沿着圆弧运动。因此点特征对于Z轴的运动很灵敏。而在图像矩视觉伺服的研究中，图像矩与绕x轴、y轴旋转的映射难以设计，因此本专利技术的思路是：利用点特征控制一些自由度，而其他剩余的自由度由图像矩来进行控制。
[0045]采用XY/Z分割策略分割特征，得到：
[0046][0047]其中υ
xy
＝(υ
x υ
y ω
x ω
y
)，υ
z
＝(υ
z ω
z
)。
[0048]上述方程可写成：
[0049][0050]即
[0051]其中是图像特征的变化率，是的伪逆矩阵，其中
是X，Y方向运动的交互矩阵。是Z方向运动的交互矩阵。
[0052]结合上述的图像矩，设本专利技术选用θ和σ两个图像矩作为关于Z轴运动的控制器，因此期待的相机沿z轴平移速度和转动速度通过控制器：
[0053][0054][0055]本实施例具体包括以下步骤：
[0056]1.1)对ZED相机、机械臂系统进行参数标定。利用标定板获取系统的内外参数，然后通过图像滤波等操作获本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合强化学习的混合特征视觉伺服方法，其特征在于步骤如下：步骤1：搭建UR3机械臂以及ZED相机的驱动，利用ROS搭建实验环境；步骤2：在步骤1搭建的环境下，进行ZED相机的内参标定以及相机和机械臂之间位置关系的标定，标定完成后进行目标图像的预处理，得到目标图像的点信息以及图像矩信息两个目标图像特征；步骤3：通过XY/Z分离的手段使Z轴的运...

【专利技术属性】
技术研发人员：高剑，何耀祯，陈依民，张福斌，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：