一种基于眼在手上结构的视觉伺服系统的PD‑SMC控制方法技术方案

本发明专利技术涉及视觉伺服系统领域，具体涉及一种基于眼在手上结构的视觉伺服系统的PD‑SMC控制方法。本发明专利技术针对现有视觉伺服系统控制方法中存在的不确定性和计算量大等问题。本发明专利技术首先设置期望图像，将期望图像的特征点集合作为期望视觉特征集；系统初始化后，以摄像机和目标体的相对位姿的当前状态为基准对目标期望图像作投影变换，得到摄像机当前成像图像；在视觉伺服控制器部分采用所提PD‑SMC方法，关节控制器部分使用比例控制方法；再从当前成像图像中提取视觉特征集，计算图像雅克比矩阵，进而计算摄像机在笛卡尔空间中的控制量u；计算摄像机坐标系中目标体的位姿，将其作为当前位姿，重复以上操作，直至误差为0。本发明专利技术可应用于目标抓取设备。

An eye in hand visual servo system structure PD SMC control method based on

The invention relates to the field of visual servo system, in particular relates to a visual servo system of eye in hand structure PD SMC control method based on. The invention aims at the problems of the existing visual servo system control methods, such as the uncertainty and the large amount of calculation. The invention first set the desired image, the desired image feature point set as the desired visual feature set; the system is initialized, the current state of the relative pose of the camera and the target as a benchmark for the projection transformation on the desired target image, get the camera's current image; in the visual servo controller part of the proposed PD SMC method part, joint controller using the proportional control method; and then from the current visual feature extraction image set, calculating the Jacobian matrix, then calculate the amount of u camera control in Cartesian space; the calculation of the pose of the camera coordinates of the target, as the current position, repeat the above operation, until the error is 0. The invention can be applied to the target grabbing equipment.

【技术实现步骤摘要】
一种基于眼在手上结构的视觉伺服系统的PD-SMC控制方法
本专利技术涉及视觉伺服系统领域，具体涉及一种基于眼在手上结构的视觉伺服系统的PD-SMC控制方法。
技术介绍
随着制造业领域对机械加工设备的灵活性、有效性的需求越来越高，视觉反馈被引入控制环路中来处理执行机构与环境间的动态相互作用以此满足多种自动化加工任务。摄像机作为视觉传感器应用于反馈系统中使其形成一个视觉伺服系统，视觉伺服按其反馈信息的不同可分为基于位置的视觉伺服(PBVS)和基于图像的视觉伺服(IBVS)。PBVS系统使用由图像信息转换成的目标相对于执行机构末端的位姿信息作为反馈信息，给出机构在直角坐标空间中的运动指令并传给其关节控制器完成控制任务。该方式属于在笛卡尔空间中描述任务，符合机器人学习习惯，然而该方式需要对摄像机进行标定并对目标体建模，控制精度依赖于从图像到位姿的估计精度、摄像机的成像几何模型及标定精度，保证这一过程的准确性很难，同时需求解机器人逆运动学方程，增大了计算量。IBVS系统直接使用图像特征作为反馈信息，由图像特征误差信号计算得到控制量，驱动执行机构完成伺服任务。该方式减少了位姿估计环节，缩减了计算量，同时也对摄像机模型误差和运动学标定误差相对不敏感。然而该方式需要实时对执行机构末端的变化量与图像特征变化量之间的图像雅可比矩阵进行估计，可能受到内参数及外参数不确定而带来的影响，摄像机内参包括焦距、主点、比例系数，外参指图像雅可比矩阵中的估计深度，深度估计属于计算机视觉中的难点。因此，需提出一种便捷有效的方式来克服以上不足，使IBVS系统得到更广泛的应用。比例积分微分控制(PID)、预测控制、滑模控制及自适应控制均已被提出用来处理以上问题，这些控制方法的主要思想是产生速度或加速度向量作为控制输入来引导执行机构末端到达目标点。P控制或PD控制收敛效果良好，但面对由图像噪声或运动抖动引起的突发变化时，此种控制方式难以满足要求。预测控制及自适应控制计算量很大，滑模控制因其对系统模型及系数不确定性的强鲁棒性长久以来有着广泛的应用。基于此，一种组合的PD-SMC控制方法被提出用来克服传统IBVS系统中参数不确定带来的影响，同时保证系统全局的快速准确收敛性能。大多数IBVS系统因其结构的简单，控制方案在2自由度或3自由度执行机构上完成。6自由度执行机构因其构架的灵活性和拥有更大的工作空间更适用于实际应用，但其实时控制相对于低自由度也更困难。
技术实现思路
针对上述问题，本专利技术将PD控制和SMC控制二者组合形成混合的控制方法运用在基于眼在手上结构的视觉伺服系统完成控制任务。本专利技术为解决上述问题采取的技术方案是：一种基于眼在手上结构的视觉伺服系统上实现的PD-SMC控制方法，所应用的基于眼在手上结构的视觉伺服系统，包括视觉伺服控制部分和关节控制部分；所述视觉伺服控制部分包括摄像机，第一计算机和第二计算机；所述关节控制部分包括控制器和六自由度机械臂(Denso机器人)，摄像机安装在六自由度机械臂末端；第一计算机通过控制器连接六自由度机械臂，并通过通信网将命令传递给第二计算机，第二计算机连接六自由度机械臂并获得图像数据，再将图像数据传递回第一计算机，形成运动-反馈-运动循环，具体步骤包括：步骤a、捕捉目标图像，首先确定摄像机和目标体的相对位姿，采集此时的图像作为目标期望图像，将期望图像的特征点集合作为期望视觉特征集；步骤b、初始化操作，令六自由度机械臂处于初始位置，重新设定摄像机和目标体的相对位姿作为当前状态，以当前状态作为基准对目标期望图像作仿射变换，得到所述摄像机当前成像图像，同时计算出所述摄像机在坐标系中的控制量；步骤c、从当前成像图像中提取视觉特征集，计算出图像雅克比矩阵，进而计算出摄像机在笛卡尔空间中的控制量u，再将u转化为驱动摄像机运动到下一位姿的机械臂的各关节控制量，并控制机械臂运动；步骤d、计算此时摄像机坐标系中目标体的位姿，将其作为当前位姿，判断图像特征误差是否为0，如果：是，则结束；否，则返回步骤2。进一步地，步骤c中从当前成像图像中提取视觉特征集，计算出雅克比矩阵的具体运算步骤是：e＝Lv4u(1)空间存在一点P＝(X,Y,Z)，Z表示深度，视觉伺服系统的深度范围设定为Zmin≤Z≤Zmax，p＝(x,y)为其在图像平面内的投影，图像特征误差e表示为f为摄像机焦距，摄像机在空间中的速度u表示为u＝(vc,ωc)，vc＝(vcx,vcy,vcz)和ωc＝(ωcx,ωcy,ωcz)分别表示摄像机的线速度和角速度，雅克比矩阵Lv4表示为：则：进一步地，所述步骤c中计算出摄像机在笛卡尔空间中的控制量u的公式为：其中，Kd表示微分控制部分正系数矩阵，Kp表示比例控制部分正系数矩阵，Ks表示滑模控制部分正系数矩阵,表示图像特征点的速度，s为滑模面，当e达到所设定的滑模面s上时，便在其上运动，此时，s表示为：s＝e＝∈-∈d(5)∈表示实时图像平面特征，∈d表示目标图像平面特征。有益效果：第一，本专利技术的视觉伺服系统的深度设定在一定范围内，可以处理深度引起的不确定性，保证估计雅克比矩阵的可用性；第二，本专利技术的控制方法应用在6自由度执行机构的IBVS系统上时，同预测、自适应控制方法相比具有更少计算量的，且能保证系统整体稳定性；第三，本专利技术的控制方法根据移动过程中特征误差变化情况进行比对，相比于传统IBVS方法，应用组合PD-SMC方法系统能够获得更快的收敛速度；第四，本专利技术的控制方法根据移动过程中图像平面内的特征点轨迹进行比对，相比于传统IBVS，在移动过程中可缓解由参数不确定引起的系统不确定性问题，特别是在接近目标位置时变动较大处，能够获得更平滑、优化的运动轨迹；第五，本专利技术采用组合PD-SMC方法完成了视觉伺服控制器的设计，无需添加额外传感器，基于原有系统对视觉伺服部分进行算法调整即可，节约了成本。附图说明图1本专利技术的基于图像的视觉伺服系统整体结构示意图；图中：1-第一计算机，2-控制器，3-六自由度机械臂，4-摄像机，5-第二计算机；图2本专利技术的控制方法的流程图；图3本专利技术的控制原理图；图4本专利技术的控制方法移动过程中图像特征点的位置变化图；图5本专利技术的控制方法与传统IBVS方法移动过程中特征误差变化对比图；图6本专利技术的控制方法与传统IBVS方法移动过程中图像平面内的特征点轨迹对比图；图7本专利技术的控制方法与传统IBVS方法移动过程中笛卡尔空间的摄像机轨迹对比图。具体实施方式具体实施方式1：结合图1～图7说明实施方式，一种基于眼在手上结构的视觉伺服系统上实现的PD-SMC控制方法，所应用的基于眼在手上结构的视觉伺服系统结构如图1所示，包括视觉伺服控制部分和关节控制部分；所述视觉伺服控制部分包括摄像机，第一计算机和第二计算机；所述关节控制部分包括控制器和六自由度机械臂(Denso机器人)，摄像机安装在六自由度机械臂末端；第一计算机通过控制器连接六自由度机械臂，并通过通信网将命令传递给第二计算机，第二计算机连接六自由度机械臂并获得图像数据，再将图像数据传递回第一计算机，形成运动-反馈-运动循环，本实施方式的方法流程图如图2所示，具体步骤包括：步骤a、捕捉目标图像，首先确定摄像机和目标体的相对位姿，采集此时的图像作为目标期望图像，将本文档来自技高网...

【技术保护点】
一种基于眼在手上结构的视觉伺服系统上实现的PD‑SMC控制方法，所应用的基于眼在手上结构的视觉伺服系统，包括视觉伺服控制部分和关节控制部分；所述视觉伺服控制部分包括摄像机，第一计算机和第二计算机；所述关节控制部分包括控制器和六自由度机械臂(Denso机器人)，摄像机安装在六自由度机械臂末端；第一计算机通过控制器连接六自由度机械臂，并通过通信网将命令传递给第二计算机，第二计算机连接六自由度机械臂并获得图像数据，再将图像数据传递回第一计算机，形成运动‑反馈‑运动循环，其特征在于，具体步骤包括：步骤a、捕捉目标图像，首先确定摄像机和目标体的相对位姿，采集此时的图像作为目标期望图像，将期望图像的特征点集合作为期望视觉特征集；步骤b、初始化操作，令六自由度机械臂处于初始位置，重新设定摄像机和目标体的相对位姿作为当前状态，以当前状态作为基准对目标期望图像作仿射变换，得到所述摄像机当前成像图像，同时计算出所述摄像机在坐标系中的控制量；步骤c、从当前成像图像中提取视觉特征集，计算出图像雅克比矩阵，进而计算出摄像机在笛卡尔空间中的控制量u，再将u转化为驱动摄像机运动到下一位姿的机械臂的各关节控制量，并控制机械臂运动；步骤d、计算此时摄像机坐标系中目标体的位姿，将其作为当前位姿，判断图像特征误差是否为0，如果：是，则结束；否，则返回步骤2。...

【技术特征摘要】
1.一种基于眼在手上结构的视觉伺服系统上实现的PD-SMC控制方法，所应用的基于眼在手上结构的视觉伺服系统，包括视觉伺服控制部分和关节控制部分；所述视觉伺服控制部分包括摄像机，第一计算机和第二计算机；所述关节控制部分包括控制器和六自由度机械臂(Denso机器人)，摄像机安装在六自由度机械臂末端；第一计算机通过控制器连接六自由度机械臂，并通过通信网将命令传递给第二计算机，第二计算机连接六自由度机械臂并获得图像数据，再将图像数据传递回第一计算机，形成运动-反馈-运动循环，其特征在于，具体步骤包括：步骤a、捕捉目标图像，首先确定摄像机和目标体的相对位姿，采集此时的图像作为目标期望图像，将期望图像的特征点集合作为期望视觉特征集；步骤b、初始化操作，令六自由度机械臂处于初始位置，重新设定摄像机和目标体的相对位姿作为当前状态，以当前状态作为基准对目标期望图像作仿射变换，得到所述摄像机当前成像图像，同时计算出所述摄像机在坐标系中的控制量；步骤c、从当前成像图像中提取视觉特征集，计算出图像雅克比矩阵，进而计算出摄像机在笛卡尔空间中的控制量u，再将u转化为驱动摄像机运动到下一位姿的机械臂的各关节控制量，并控制机械臂运动；步骤d、计算此时摄像机坐标系中目标体的位姿，将其作为当前位姿，判断图像特征误差是否为0，如果：是，则结束；否，则返回步骤2。2.根据权利要求1所述的PD-SMC控制方法，其特征在于，步骤c中从当前成像图像中提取视觉...

【专利技术属性】
技术研发人员：李抒桐，高延滨，谢文芳，管练武，王刚，
申请(专利权)人：哈尔滨工程大学，哈尔滨航士科技发展有限公司，上海航士海洋科技有限公司，
类型：发明
国别省市：黑龙江,23