一种基于关键帧策略的移动机器人视觉伺服控制方法技术

本发明专利技术公开了一种基于关键帧策略的移动机器人视觉伺服控制方法，包含以下步骤：1）根据给定条件规划机器人移动路径；2）将视觉导航任务中的物理轨迹跟踪和目标可见下的姿态调整转化到图像特征空间中的轨迹；3）基于当前图像帧与关键帧之间的单应性关系定义图像特征，以图像特征隐式表达了机器人的运动情况；4）基于机器人运动学模型和相机模型建立视觉控制系统的相互关系模型，设计预测控制器跟踪轨迹。本发明专利技术不要求预先对机器人在给定轨迹上进行训练，也不要求在运动过程中目标持续可见，同时在一定程度上保证了机器人的导航精度。

【技术实现步骤摘要】
一种基于关键帧策略的移动机器人视觉伺服控制方法
本专利技术涉及一种机器人领域的视觉导航方法，特别是涉及一种基于关键帧策略的移动机器人视觉伺服控制方法。
技术介绍
移动机器人视觉导航技术是以视觉系统作为反馈信息控制移动机器人运动的方法，是移动机器人研究的重要部分。视觉导航是目前移动机器人研究中的热点和难点，在机器人执行大环境或复杂环境下任务时起到重要的作用。移动机器人视觉导航技术可以分为基于位置的方法和基于图像的方法。其中，基于位置的方法将视觉系统作为位置传感器使用，使用路标或视觉里程计等方式对机器人进行定位，并依此控制机器人运动，这种方法控制器设计简单，适用于大范围的运动，但是导航精度差，具有误差累积效应。基于图像的方法使用视觉系统反馈的图像作为反馈信息，控制机器人运动到拍摄到与目标图像一致的场景处，这种方法导航精度高，但是需要对系统在给定轨迹上预先进行训练，而且要求目标图像在整个运动过程中都可见。
技术实现思路
本专利技术为了克服现有技术的不足，提供了一种基于关键帧策略的移动机器人视觉伺服控制方法，该方法在保证导航精度的同时，不要求预先对机器人在给定轨迹上进行训练，同时也不要求在运动过程中目标持续可见，只需要目标位置和参考轨迹，实现成本较低。本专利技术的目的是通过以下技术方案来实现的：一种基于关键帧策略的移动机器人视觉伺服控制方法，用于移动机器人在局部已知环境下的导航，所述的移动机器人为履带式机器人，自带单目摄像头可实时采集图像信息。该方法将导航任务转化到基于图像单应性定义的图像特征空间中，设计预测控制器在图像特征空间中进行轨迹跟踪控制，包括以下步骤：(1)将机器人放置在初始位置上，给定期望位置坐标，利用已知的机器人起始、终止位置结合机器人自身的非完整约束规划出机器人在二维平面下的移动路径；(2)根据步骤(1)得到的机器人移动路径，通过利用单应性关系定义图像特征，并从单应性矩阵中选取合适的元素作为系统状态量，进而将该路径转化到图像特征空间里，生成一组图像空间特征即系统状态；(3)机器人开始移动后，由摄像头获取图像信息，首先把第一帧作为关键帧，之后基于当前图像帧与关键帧之间的单应性关系定义图像特征，以图像特征隐式表达机器人的运动情况。其中关键帧在机器人移动过程中需要进行切换，而切换需满足一定的条件：a.目标物体对于当前帧不可见，但是对于下一帧可见；b.切换的关键帧与上一可见帧之间应存在一定的时间间隔；c.当系统状态有接近奇异的趋势；d.关键帧切换的时间间隔不应太长。且在每一次关键帧切换之后，需要重新对路径进行规划，然后通过步骤(2)转化为图像空间轨迹；(4)将步骤(2)得到的图像空间轨迹的系统状态作为设定值，步骤(3)中实时得到的当前系统状态作为测量值，共同作为控制器的输入信号，再由控制器输出信号驱动机器人运动，控制器采用模型预测控制，其中相互关系模型通过如下方式建立：基于机器人运动学模型和相机模型，经过系统状态对时间的微分最终得出系统状态关于速度的图像雅可比矩阵即作为相互关系模型；(5)机器人接收驱动信号进行移动，同时利用摄像头获取实时图像，进而得到系统状态，结合规划的图像空间特征，判断是否达到目标位置，若没有则继续上述步骤(4)，需要切换关键帧则进行步骤(3)；若达到目标，则方法结束。步骤(1)中所述在二维平面下机器人移动轨迹满足的约束根据公式(1)和(2)进行，公式(1)和(2)分别为：ρ(y,z)＝0式中(y,z)表示机器人在二维坐标系(坐标轴为y轴和z轴)下的坐标，ρ表示移动轨迹，表示机器人的偏转角度。步骤(1)中在控制过程中的机器人几何中心的起始、终止坐标分别表示为公式(5)，公式(5)为：其中表示机器人几何中心的初始坐标，表示机器人几何中心的终止位置坐标，表示相机中心的终止位置坐标，为待辨识参数，zICR分别表示机器人三个旋转瞬心的坐标。步骤(2)中所述的单应性图像特征由公式(6)定义，公式(6)为：其中，H即为单应性矩阵，(R,t)表示了机器人的运动状态，n为相机坐标系下地面的法向量，d为相机坐标系原点与地面之间的距离,K为相机内部参数矩阵步骤(2)中单应性图像特征的获取以及系统状态变量的定义分别由公式(10)和(11)决定，公式(10)和(11)分别为：其中fu、fv分别表示焦距在像素坐标轴上对应的像素点数目,β是相机光轴与地面的夹角，是机器人期望位姿下的偏转角度。步骤(4)中所述的机器人运动学模型根据公式(12)确定，公式(12)为：其中vy、vz、ω分别表示相机的侧向、前向线速度和角速度，vl、vr分别为左右两条履带的速度，zICR分别表示三个旋转瞬心的坐标。步骤(4)中新定义了一种位姿参数，根据公式(13)进行，公式(13)为：其中，s为系统状态变量，为相机中心的期望位置坐标，其余参数定义参照上文。步骤(4)中所述的相互关系模型由公式(14)和(15)确定，公式(14)和(15)分别为：其中作为被控变量，为待辨识参数。步骤(4)中所述的根据线性化相互关系模型得出的代价函数由公式(17)定义，公式(17)为：其中Q,R分别是加权矩阵，se＝s-sr为当前系统状态变量与过去生成的参考轨迹状态变量的偏差，N是预测时域。本专利技术的有益效果是，本专利技术基于关键帧策略的改进图像视觉导航方法，在传统的基于图像视觉伺服控制方式的基础上予以改进，本文档来自技高网...

【技术保护点】
一种基于关键帧策略的移动机器人视觉伺服控制方法，用于移动机器人在局部已知环境下的导航，所述的移动机器人为履带式机器人，自带单目摄像头可实时采集图像信息。其特征在于，该方法将导航任务转化到基于图像单应性定义的图像特征空间中，设计预测控制器在图像特征空间中进行轨迹跟踪控制，包括以下步骤：(1)将机器人放置在初始位置上，给定期望位置坐标，利用已知的机器人起始、终止位置结合机器人自身的非完整约束规划出机器人在二维平面下的移动路径；(2)根据步骤(1)得到的机器人移动路径，通过利用单应性关系定义图像特征，并从单应性矩阵中选取合适的元素作为系统状态量，进而将该路径转化到图像特征空间里，生成一组图像空间特征即系统状态；(3)机器人开始移动后，由摄像头获取图像信息，首先把第一帧作为关键帧，之后基于当前图像帧与关键帧之间的单应性关系定义图像特征，以图像特征隐式表达机器人的运动情况。其中关键帧在机器人移动过程中需要进行切换，而切换需满足一定的条件：a.目标物体对于当前帧不可见，但是对于下一帧可见；b.切换的关键帧与上一可见帧之间应存在一定的时间间隔；c.当系统状态有接近奇异的趋势；d.关键帧切换的时间间隔不应太长。且在每一次关键帧切换之后，需要重新对路径进行规划，然后通过步骤(2)转化为图像空间轨迹；(4)将步骤(2)得到的图像空间轨迹的系统状态作为设定值，步骤(3)中实时得到的当前系统状态作为测量值，共同作为控制器的输入信号，再由控制器输出信号驱动机器人运动，控制器采用模型预测控制，其中相互关系模型通过如下方式建立：基于机器人运动学模型和相机模型，经过系统状态对时间的微分最终得出系统状态关于速度的图像雅可比矩阵即作为相互关系模型；(5)机器人接收驱动信号进行移动，同时利用摄像头获取实时图像，进而得到系统状态，结合规划的图像空间特征，判断是否达到目标位置，若没有则继续上述步骤(4)，需要切换关键帧则进行步骤(3)；若达到目标，则方法结束。...

【技术特征摘要】
1.一种基于关键帧策略的移动机器人视觉伺服控制方法，用于移动机器人在局部已知环境下的导航，所述的移动机器人为履带式机器人，自带单目摄像头可实时采集图像信息；其特征在于，该方法将导航任务转化到基于图像单应性定义的图像特征空间中，设计预测控制器在图像特征空间中进行轨迹跟踪控制，包括以下步骤：(1)将机器人放置在初始位置上，给定期望位置坐标，利用已知的机器人起始、终止位置结合机器人自身的非完整约束规划出机器人在二维平面下的移动路径；(2)根据步骤(1)得到的机器人移动路径，通过利用单应性关系定义图像特征，并从单应性矩阵中选取合适的元素作为系统状态量，进而将该路径转化到图像特征空间里，生成一组图像空间特征即系统状态；(3)机器人开始移动后，由摄像头获取图像信息，首先把第一帧作为关键帧，之后基于当前图像帧与关键帧之间的单应性关系定义图像特征，以图像特征隐式表达机器人的运动情况；其中关键帧在机器人移动过程中需要进行切换，而切换需满足一定的条件：a.目标物体对于当前帧不可见，但是对于下一帧可见；b.切换的关键帧与上一可见帧之间应存在一定的时间间隔；c.当系统状态有接近奇异的趋势；d.关键帧切换的时间间隔不应太长；且在每一次关键帧切换之后，需要重新对路径进行规划，然后通过步骤(2)转化为图像空间轨迹；(4)将步骤(2)得到的图像空间轨迹的系统状态作为设定值，步骤(3)中实时得到的当前系统状态作为测量值，共同作为控制器的输入信号，再由控制器输出信号驱动机器人运动，控制器采用模型预测控制，其中相互关系模型通过如下方式建立：基于机器人运动学模型和相机模型，经过系统状态对时间的微分最终得出系统状态关于速度的图像雅可比矩阵即作为相互关系模型；(5)机器人接收驱动信号进行移动，同时利用摄像头获取实时图像，进而得到系统状态，结合规划的图像空间特征，判断是否达到目标位置，若没有则继续上述步骤(4)，需要切换关键帧则进行步骤(3)；若达到目标，则方法结束。2.根据权利要求1所述的方法，其特征在于：步骤(1)中所述在二维平面下机器人移动轨迹满足的约束根据公式(1)和(2)进行，公式(1)和(2)分别为：ρ(y,z)＝0式中(y,z)表示机器人在二维坐标系(坐标轴为y轴和z轴)下的坐标，ρ表示移动轨迹，表示机器人的偏转角度。3.根据权利要求1所述的方法，其特征在于：步骤(1)中在控制过程中的机器人几何中心的起始、终止坐标分别表示为公式(5)，公式(5)为：其中表示机器人几何中心的初始坐标，表示机器人几何中心的终止位置坐标，表示相机中心的终止位置坐标，ki为待辨识参数，i为1、2、3。4.根据权利要求1所述的方法，其特征在于：步骤(2)中所述的单应性图像特征由公式(6)定义，公式(6)为：其中，H即为单应性矩阵，(R,t)表示了机器人的运动状态，n为相机坐标系下地面的法向量，d为相机坐标系原点与地面之间的距离,K为相机...

【专利技术属性】
技术研发人员：刘山，曹雨，贾丙西，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33