一种基于模拟双目视觉测量的空间机器人在轨捕获方法技术

技术编号:36398373 阅读:61 留言:0更新日期:2023-01-18 10:04
本发明专利技术公开了一种基于模拟双目视觉测量的空间机器人在轨捕获方法,本发明专利技术中,在仿真环境中模拟双目视觉相机,对立方体目标模块的特征点进行识别,基于拟合平面方法对目标模块位姿进行估计,提高观测精度;然后根据多帧图像下观测到的目标模块位姿,基于扩展卡尔曼滤波方法校正目标模块的运动状态,进而拟合目标模块的运动轨迹,实现对目标的运动预测;最后设计基于强化学习的空间机器人轨迹规划方法,以精确的空间机器人模型为训练环境,提高训练结果的真实性,设计能够引导机器人末端点到达期望抓捕点的奖励函数,加快训练过程,最终实现对目标模块的捕获。现对目标模块的捕获。现对目标模块的捕获。

【技术实现步骤摘要】
一种基于模拟双目视觉测量的空间机器人在轨捕获方法


[0001]本专利技术涉及空间机器人在轨捕获
,尤其涉及一种基于模拟双目视觉测量的空间机器人在轨捕获方法。

技术介绍

[0002]随着航天技术的发展,建造大口径空间望远镜、大型空间电站等空间任务也逐渐获得国内外研究者的重视,但受限于当前运载火箭的运载能力,尚无法完成单一大型结构体的发射。为解决这一问题,大型空间结构朝着模块化的方向发展,将具备各种独立功能的空间模块发射入轨后,再利用空间机器人在轨组装这些模块,进而形成具有特定功能的大型结构,这种模块组装的形式也具有其它方面的优势,如当某些模块出现故障时,可直接对模块进行更换,提高了大型空间结构对故障的包容性和系统的可靠性。
[0003]目前现有的空间机器人在轨捕获过程中在轨捕获目标模块的能力存在较大的误差,不能达到目标位姿信息测量的效果,且对外界环境进行感知欠佳,不能对操作目标的运动状态进行校正,估计目标真实的运动状态,进而预测目标在未来某一时刻的运动情况,并且不能基于强化学习的空间机器人轨迹规划方法,以精确的空间机器人模型为训练环境,提高训练结果的真实性。

技术实现思路

[0004]本专利技术的目的在于:为了解决上述问题,而提出的一种基于模拟双目视觉测量的空间机器人在轨捕获方法。
[0005]为了实现上述目的,本专利技术采用了如下技术方案:
[0006]一种基于模拟双目视觉测量的空间机器人在轨捕获方法,包括以下步骤:
[0007]S1.基于模拟双目视觉相机获取目标模块的特征点信息,通过特征点匹配算法获取特征点的三维位置标记,进而按照拟合平面法解算目标模块的位置和姿态信息;
[0008]S2.根据步骤S1的目标识别过程,对目标模块进行持续观测和跟踪,基于EKF方法对目标的运动状态进行求解,得到目标运动的滤波估计结果,进而拟合目标模块的运动轨迹,实现对目标的运动预测;
[0009]S3.基于强化学习方法训练得到空间机器人的轨迹规划系统,将预测的目标位姿信息输入空间机器人的轨迹规划系统,实现对目标模块的快速捕获。
[0010]优选地,所述步骤S1中基于模拟双目视觉相机获取目标模块的特征点信息的方法包括以下步骤:
[0011]S11.在仿真环境下确定立方体目标模块的尺寸、颜色、指外法向量参数信息,作为后续模拟双目视觉相机的观测对象;
[0012]S12.将步骤S11中的立方体目标模块载入,由于目标在相机中的投影并非平行投影,而是汇聚于相机光心,因此在对目标进行拍摄图像模拟时,需要将惯性空间中,目标各顶点坐标转换为图像中的像素位置,还需要对图像中可以看到的平面进行判断和筛选,最
终在图像中保留真正可以看到的平面。
[0013]S13.采用最小特征值算法检测图像的角点,在图像中能够检测到边缘、拐角特征位置的像素点;
[0014]S14.采用金字塔光流法进行左右相机视图特征点的匹配,求解所有匹配后的特征点对的三维空间坐标;
[0015]S15.对每一对匹配成功的点对,在各自的图像中进行颜色标记,以特征点为中心,选取一定像素范围,通过像素的RGB值进行判断,标记特征点附近像素点的颜色,将特征点附近出现过的颜色标记为该特征点的颜色,根据立方体目标的几何特征,一个特征点具有至少一个,至多三个颜色标记,
[0016]S16.依据带有颜色标签的特征点,寻找目标表面所在的平面,继而进行立方体目标的三维状态还原。
[0017]优选地,所述步骤S12的具体实现方法包括以下步骤:
[0018]S121.求解相机坐标系和像素坐标系下立方体目标上全部顶点的坐标,记为X
fc
和X
fuv

[0019]S122.进行第一次图像可视筛选,计算目标每个表面的指外法向量,指外法向量朝向相机一侧,即指外法向量和相机坐标系的Z轴的夹角大于90
°
,该平面在相机图像中才有可能可以看到,在平行投影的情况下,所有n
out
·
z
c
>0的平面都能够显示在相机图像中,其中n
out
为平面的指外法向量,z
c
为相机坐标系的Z轴方向,但由于相机采用透视成像,物体在投影时视野盲区变大,这使得相机图像中可以看到的平面的约束增强了,因此需要对进行第二次筛选;
[0020]S123.进行第二次图像可视筛选,确定在相机图像中真正可以看到的平面,将每个面的顶点按一定的顺序编号,使得顶点螺旋指向目标的外部,在像素平面上将这些顶点顺次连线,螺旋朝内则该平面能够在相机图像中看见,螺旋朝外则看到的是该平面的背面,对于实体目标,该平面在物体内部是看不见的。
[0021]优选地,所述步骤S16的实现方法具体包括以下步骤:
[0022]S161.定义某一个颜色平面的方程为:
[0023]ax+by+cz+d=0(1);
[0024]提取具有相同颜色标签,对这些特征点所在平面进行线性拟合,拟合得到的平面函数为:
[0025]f(z)=p
00
+p
10x
+p
01y
(2);
[0026]其中三个系数与平面方程的四个参数的关系为:
[0027][abcd]=[p
10
p
01

1p
00
](3);
[0028]S162.选取图像中检测到的不属于该平面的一个特征点,再从属于拟合平面的特征点中任选一个,建立从平面指向目标其他面上特征点的矢量n1,令所拟合平面的指外法向量为n0,两矢量之间的夹角为a0,当平面的法向量指向平面外,则a0必然为一钝角,当求解的平面法向量与特征点矢量之间夹角为钝角时,该平面参数是拟合平面的指外法向量,对不成钝角的情况则将平面方程前三个参数取负值;
[0029]S163.当得到多个平面的指外法向量后,将目标模块的质心位置和姿态角作为变量,设计指标函数并采用优化方法进行求解。指标函数写为如下形式:
[0030][0031]其中r
center
代表惯性空间立方体质心位置矢量,代表第i个特征点惯性空间坐标,n代表特征点的总数,L表示目标模块边长,表示拟合的平面依据立方体边长平移后的过质心平面的法向量,表示第k个拟合平面的指外法向量,m表示拟合的平面个数,A
Θ
表示从姿态角Θ时惯性系与本体系的3
‑1‑
2坐标转换矩阵,则表示零姿态下对应颜色平面的指外法向量。
[0032]S164.对目标函数进行优化求解,得到目标模块质心位置和三轴姿态。
[0033]优选地,所述步骤S2中实现对目标的运动预测的方法包括以下步骤:
[0034]S21.扩展卡尔曼滤波将非线性系统中的非线性函数f(*)和h(*)围绕展开为泰勒级数,保留第一项,略去其他项,得到一个近似的一阶线性化模型,然后按照标本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于模拟双目视觉测量的空间机器人在轨捕获方法,其特征在于,包括以下步骤:S1.基于模拟双目视觉相机获取目标模块的特征点信息,通过特征点匹配算法获取特征点的三维位置标记,进而按照拟合平面法解算目标模块的位置和姿态信息;S2.根据步骤S1的目标识别过程,对目标模块进行持续观测和跟踪,基于EKF方法对目标的运动状态进行求解,得到目标运动的滤波估计结果,进而拟合目标模块的运动轨迹,实现对目标的运动预测;S3.基于强化学习方法训练得到空间机器人的轨迹规划系统,将预测的目标位姿信息输入空间机器人的轨迹规划系统,实现对目标模块的快速捕获。2.根据权利要求1所述的一种基于模拟双目视觉测量的空间机器人在轨捕获方法,其特征在于,所述步骤S1中基于模拟双目视觉相机获取目标模块的特征点信息的方法包括以下步骤:S11.在仿真环境下确定立方体目标模块的尺寸、颜色、指外法向量参数信息,作为后续模拟双目视觉相机的观测对象;S12.将步骤S11中的立方体目标模块载入,由于目标在相机中的投影并非平行投影,而是汇聚于相机光心,因此在对目标进行拍摄图像模拟时,需要将惯性空间中,目标各顶点坐标转换为图像中的像素位置,还需要对图像中可以看到的平面进行判断和筛选,最终在图像中保留真正可以看到的平面。S13.采用最小特征值算法检测图像的角点,在图像中能够检测到边缘、拐角特征位置的像素点;S14.采用金字塔光流法进行左右相机视图特征点的匹配,求解所有匹配后的特征点对的三维空间坐标;S15.对每一对匹配成功的点对,在各自的图像中进行颜色标记,以特征点为中心,选取一定像素范围,通过像素的RGB值进行判断,标记特征点附近像素点的颜色,将特征点附近出现过的颜色标记为该特征点的颜色,根据立方体目标的几何特征,一个特征点具有至少一个,至多三个颜色标记;S16.依据带有颜色标签的特征点,寻找目标表面所在的平面,继而进行立方体目标的三维状态还原。3.根据权利要求2所述的一种基于模拟双目视觉测量的空间机器人在轨捕获方法,其特征在于,所述步骤S12的具体实现方法包括以下步骤:S121.求解相机坐标系和像素坐标系下立方体目标上全部顶点的坐标,记为X
fc
和X
fuv
;S122.进行第一次图像可视筛选,计算目标每个表面的指外法向量,指外法向量朝向相机一侧,即指外法向量和相机坐标系的Z轴的夹角大于90
°
,该平面在相机图像中才有可能可以看到,在平行投影的情况下,所有n
out
·
z
c
>0的平面都能够显示在相机图像中,其中n
out
为平面的指外法向量,z
c
为相机坐标系的Z轴方向,但由于相机采用透视成像,物体在投影时视野盲区变大,这使得相机图像中可以看到的平面的约束增强了,因此需要对进行第二次筛选;S123.进行第二次图像可视筛选,确定在相机图像中真正可以看到的平面,将每个面的顶点按一定的顺序编号,使得顶点螺旋指向目标的外部,在像素平面上将这些顶点顺次连
线,螺旋朝内则该平面能够在相机图像中看见,螺旋朝外则看到的是该平面的背面,对于实体目标,该平面在物体内部是看不见的。4.根据权利要求2所述的一种基于模拟双目视觉测量的空间机器人在轨捕获方法,其特征在于,所述步骤S16的实现方法具体包括以下步骤:S161.定义某一个颜色平面的方程为:ax+by+cz+d=0(1);提取具有相同颜色标签,对这些特征点所在平面进行线性拟合,拟合得到的平面函数为:f(z)=p
00
+p
10x
+p
01y
(2);其中三个系数与平面方程的四个参数的关系为:[abcd]=[p
10
p
01

1p
00
](3);S162.选取图像中检测到的不属于该平面的一个特征点,再从属于拟合平面的特征点中任选一个,建立从平面指向目标其他面上特征点的矢量n1,令所拟合平面的指外法向量为n0,两矢量之间的夹角为a0,当平面的法向量指向平面外,则a0必然为一钝角,当求解的平面法向量与特征点矢量之间夹角为钝角时,该平面参数是拟合平面的指外法向量,对不成钝角的情况则将平面方程前三个参数取负值;S163.当得到多个平面的指外法向量后,将目标模块的质心位置和姿态角作为变量,设计指标函数并采用优化方法进行求解。指标函数写为如下形式:其中r
center
代表惯性空间立方体质心位置矢量,代表第i个特征点惯性空间坐标,n代表特征点的总数,L表示目标模块边长,表示拟合的平面依据立方体边长平移后的过质心平面的法向量,表示第k个拟合平面的指外法向量,m表示拟合的平面个数,A
Θ
表示从姿态角Θ时惯性系与本体系的3
‑1‑
2坐标转换矩阵,则表示零姿态下对应颜色平面的指外法向量;S164.对目标函数进行优化求解,得到目标模块质心位置和三轴姿态。5.根据权利要求1所述的一种基于模拟双目视觉测量的空间机器人在轨捕获方法,其特征在于,所述步骤S2中实现对目标的运动预测的方法包括以下步骤:S21.扩展卡尔曼滤波将非线性系统中的非线性函数f(*)和h(*)围绕展开为泰勒级数,保留第一项,略去其他项,得到一个近似的一阶线性化模型,然后按照标准卡尔曼滤波的流程进行滤波估计,一般的非线性系统可以由以下方程描述;Z(t)=h[X(t),t]+v(t);(5);式中W(t)和v(t)均是彼此不相关的零均值白噪声序列,他们与初始状态X(0)或X0也不相关,即对于t>t0有其统计学特性如下:
E[w(t)]=0,E[w(t)
·
w
T
(τ)]=q(t)δ(t

τ)E[v(t)]=0,E[v(t)
·
v
T
(τ)]=r(t)δ(t

τ)E[w(t)
·
v
T
(τ)]=0,E[X(0)
·
w
T
(τ)]=0E[X(0)
·
v
T
(τ)]=0(6);对非线性系统先进行线性化后,得到:δZ(t)=H(t)δX(t)+v(t)(7);再对其进行离散,得到:δZ
k
=H
k
δX
k
+V
k
(8);当T为小量时,有:有:至此,得到离散型非线性广义卡尔曼滤波方程如下:
对于观测量Z,在滤波系统中的计算如下:基于上述过程对目标模块的位置和姿态运动进行观测。目标的位置运动满足牛顿第二定律,以位置、速度和加速度为状态量,组成状态矩阵:X
R
=[RVa]
T
(11);假设在观测过程中,目标为常值机动目标,即加速度不发生变化,则对应的状态模型可以写为:其中03代表三阶全零矩阵,E3代表三阶单位矩阵,状态矩阵为:通过视觉测量仅能观测到目标的位置信息,观测矩阵为:H
R
=[E
30303
](14);目标的姿态运动中,以姿态角、角速度和角加速度为状态量:X
A
=[Θωα]
T
(15);与位置运动不同的是,在刚体的姿态描述中,姿态角的一阶时间导数并不等于角速度ω,他们之间存在的运动学关系通过基于3
‑1‑
2旋转方式定义的欧拉角定义,则可以描述为:将其改写为:假设在观测过程中目标角加速度不发生变化,则对应的状态模型可以写为:姿态运动的状态矩阵为:
...

【专利技术属性】
技术研发人员:陈余军安泉藏悦张尧盛超王兴龙乐浪刘正山
申请(专利权)人:中国空间技术研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1