基于边缘匹配的空间非合作目标三维跟踪方法技术

本发明专利技术公开了一种基于边缘匹配的空间非合作目标三维跟踪方法，提出利用unity3D导入空间目标模型，根据不同需求搭建不同仿真绕飞场景，用于验证所提算法的可行性，整套系统具有通用性、便捷性。本申请在基于边缘匹配算法的基础上提出一种全局优化的思想，减少当背景杂乱、光照不均时，易出现局部极小值导致的误匹配问题，同时通过运动补偿来评估像素点观测概率，补偿由于前景层和背景层建模不当导致引起的误差。有利于提高匹配准确率，从而提高位姿解算精度和跟踪准确率。姿解算精度和跟踪准确率。姿解算精度和跟踪准确率。

【技术实现步骤摘要】
基于边缘匹配的空间非合作目标三维跟踪方法


[0001]本专利技术属于计算机视觉领域，具体地涉及一种基于边缘匹配的空间非合作目标三维跟踪方法。

技术介绍

[0002]根据是否能够提供有效合作信息，将空间的被测目标分为合作目标(Cooperative Targets)与非合作目标(Non
‑
Cooperative Targets)两大类。空间合作目标通常安装有合作标志，如标志灯、光学反射器(反射标志)、特殊形状的标记等。空间非合作目标没有安装合作标志，也不能主动提供姿态信息。按照外形信息是否已知，分为模型已知的非合作目标(简称已知目标)和模型未知的非合作目标(简称未知目标)两类。
[0003]失效航天器的在轨捕获与维护、空间垃圾清除、攻防对抗等重大航天任务针对的目标大多为非合作目标。因此在空间任务中，对非合作目标的相对位姿估计与跟踪算法展开研究颇具挑战性，应用前景也非常广阔。
[0004]航天器缺乏足够的纹理信息，边缘或轮廓是大多数情况下可以检测到的重要视觉线索。因此，非合作目标位姿估计与跟踪一般采用基于模型的算法，将给定的三维对象模型投影到输入视频帧上，然后将投影轮廓与二维场景边缘相匹配，通过严格的特征关联方程求解得到目标的姿态值，此类方法可取得较高的估计精度，关键难点在于建立精确的3D
‑
2D关联。
[0005]Rapid[4]是第一个基于模型的跟踪算法，通过沿模型投影边缘搜索梯度最大值来提取3D
‑
2D对应点，该方法能够实现快速跟踪，但会因为边缘之间的模糊性而出现误匹配问题。为此，Drummond等人[5
‑
8]提出了多假设点改进策略；Sharma等人[9]采用边缘特征和直线特征的组合获取目标模型和图像特征关联的候选点对；Seo等人[10]进一步利用水平集区域分割知识，结合边缘特征建立3D
‑
2D对应关系。上述方法可以有效地提高位姿估计的鲁棒性，然而，由于在特征关联过程中存在较大的候选空间，3D
‑
2D匹配点的对应关系是独立搜索的。当背景杂乱、光照不均时，易出现局部极小值导致的误匹配问题，降低算法效率和准确率。
[0006][4]Harris C,Stennett C.RAPiD—A video
‑
rate object tracker(RAPiD一视频速率目标跟踪器)[J].university of oxford,1990.
[0007][5]Drummond,Tom,Cipolla,et al.Real Time Visual Tracking of Complex Structures.(复杂结构的实时可视化跟踪)[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2002.
[0008][6]Barandiaran I,Paloc C,Grana M.Real
‑
time optical markerless tracking for augmented reality applications(用于增强现实应用的实时光学无标记跟踪)[J].Journal of Real
‑
Time Image Processing,2010,5(2):129
‑
138.
[0009][7]Wuest H,Vial F,Strieker D.Adaptive line tracking with multiple hypotheses for augmented reality(具有多个假设的增强现实自适应线跟踪)[C]//
IEEE&Acm International Symposium on Mixed&Augmented Reality.ACM,2005.
[0010][8]Kanani K,Petit A,Marchand E,et al.Vision Based Navigation for Debris Removal Missions(基于视觉的碎片清除任务导航)[J].International Astronautical Congress,2012.
[0011][9]Sharma S,Ventura J,D'Amico S.Robust Model
‑
Based Monocular Pose Initialization for Noncooperative Spacecraft Rendezvous(用于非合作航天器交会的基于鲁棒模型的单目姿态初始化)[J].Journal ofSpacecraft and Rockets,2018,55(6):1414
‑
1429.
[0012][10]Byung
‑
Kuk,Seo,Hanhoon,et al.Optimal Local Searching for Fast and Robust Textureless3D Object Tracking in Highly Cluttered Backgrounds.(在高度杂乱的背景中进行快速且稳健的无纹理3D对象跟踪的最佳局部搜索算法)[J].IEEE transactions on visualization and computer graphics,2014.

技术实现思路

[0013]针对现有技术存在的问题，本专利技术提供一种基于边缘匹配的空间非合作目标三维跟踪方法，提出利用unity3D导入空间目标模型，根据不同需求搭建不同仿真绕飞场景，用于验证所提算法的可行性，整套系统具有通用性、便捷性。
[0014]本专利技术的技术方案是：基于边缘匹配的空间非合作目标三维跟踪方法，具体步骤如下：
[0015]步骤一、利用Unity3D对目标模型进行建模，并利用Unity3D对首帧I1手动设置粗略位姿初值，搭建仿真场景并实时录制仿真绕飞视频；
[0016]步骤二、采用OpenCV对输入视频捕获当前帧I
k
；
[0017]步骤三、基于前背景分割获得当前帧I
k
的目标轮廓，以前一帧I
k
‑1解算得到的位姿R
k
‑1作为位姿初值，对目标模型按照R
k
‑1向当前帧I
k
进行投影；
[0018]步骤四、采用OpenGL生成目标模型3D采样投影点X
i
(r)＝Proj(X
i
,R
k
‑1)；
[0019]步骤五、搜索3D采样投影点X
i
(r)在当前帧I
k
中的最优2D匹配点X'
i
，获得一系列3D
‑
2D匹配点对；
[0020]步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于边缘匹配的空间非合作目标三维跟踪方法，其特征在于：具体步骤如下：步骤一、利用Unity3D对目标模型进行建模，并利用Unity3D对首帧I1手动设置粗略位姿初值，搭建仿真场景并实时录制仿真绕飞视频；步骤二、采用OpenCV对输入视频捕获当前帧I
k
；步骤三、基于前背景分割获得当前帧I
k
的目标轮廓，以前一帧I
k
‑1解算得到的位姿R
k
‑1作为位姿初值，对目标模型按照R
k
‑1向当前帧I
k
进行投影；步骤四、采用OpenGL生成目标模型3D采样投影点X
i
(r)＝Proj(X
i
，R
k
‑1)；步骤五、搜索3D采样投影点X
i
(r)在当前帧I
k
中的最优2D匹配点X
′
i
，获得一系列3D
‑
2D匹配点对；步骤六、当前帧姿态当前帧I
k
对应的位姿R
k
通过更新前一帧姿态获得，通过更新前一帧姿态获得，表示按前一帧位姿对模型投影的轮廓与当前帧场景边缘之间的误差；步骤七、判断当前帧I
k
是否为最后一帧，若是，则结束本轮三维跟踪；若不是，则将步骤六中当前帧I
k
对应的位姿R
k
作为下一帧模型投影初值，并返回步骤二迭代进行三维跟踪：其中：N表示3D采样点个数，ρ是鲁棒估计量用于处理奇异值，d
⊥
(l
i
(R)，X
′
i
)表示每个3D采样投影点X
i
(r)对应的投影线与在当前帧I
k
搜寻获得的最优2D匹配点X
′
i
之间的距离。2.根据权利要求1所述的基于边缘匹配的空间非合作目标三维跟踪方法，其特征在于：步骤五中获得一系列3D
‑
2D匹配点对的具体步骤为：(1)沿目标模型投影边缘法线初步搜索目标模型投影点X
i
(r)对应的二维候选匹配点{p
i，1
，p
i，2
，
…
，p
i，j
，
…
}；其中p
i，j
表示第i个投影点对应的第j个二维候选匹配点，不同的投影点X
i
(r)，其对应的二维候选匹配点的数量也不相同；(2)令α
i
＝(α
i，1
，α
i，2
，
…
，α
i，j
，
…
)＝(0，0，
…
，1，
…
)，α
i，j
∈{0，1}，∑
j
α
i，j
＝1；若某二维候选点p
i，j
属于投影点X
i
(r)的对应点，则α
i，j
＝1；(3)构建能量函数：其中：E
d
(α
ij
)是在p
i，j
为二维匹配点X
′
i
假设下的数据能量项；E
d
(α
ij
)由两个不同的项来计算，一项通过前景和背景统计建模获得，另一项是通过在背景运动中建模并使用基于单应性的方法计算；λ是一个自由参数，用于在数据和平滑度能量项之间进行权衡；E
s
(α
ij
，α
i+1，k
)是平滑度能量项，表示第i个投影点对应的第j个二维候选匹配点p
i，j
与第i+1个投影点对应的第k个二维候选匹配点p
i+1，k
对应关系的先验知识平滑度项，E
s
(α
ij
，α
i+1，k
)的大小取决于二维候选点p
i，j
、p
i+1，k
之间的连续性；β是加权参数，0＜β＜1；E
s
(α
ij
，α
i+1，k
)＝α
ij
·
α
i+1，k
·
L
s
(α
ij
，α
i+1，k
)；其中：x
ij
是二维候选匹配点p
i，j
在当前帧I
k
图像上的位置，x
i+1，k
是p
i+1，k
在当前帧I
k
...

【专利技术属性】
技术研发人员：周士九，朱振才，张永合，张文秀，丁国鹏，
申请(专利权)人：上海微小卫星工程中心，
类型：发明
国别省市：