一种基于全景图像的相机位姿估计方法及系统技术方案

本发明专利技术属于视觉SLAM处理技术领域，涉及一种基于全景图像的相机位姿估计方法及系统，其相机位姿估计方法，包括以下步骤：S1、采集全景图像，并对全景图像进行图像预处理；S2、对图像预处理之后的全景图像进行畸变校正，得到校正图像；S3、采用ORB特征提取算法对校正图像进行特征点提取并进行描述子计算；S4、对相邻两帧图像进行特征点匹配，并基于匹配后的特征点分别在两个像平面上成像位置的半径以及半径之差对重投影误差附加权重以构建损失函数，通过使损失函数最小化以对相机位姿进行估计。本发明专利技术对损失函数的构建，考虑每个匹配特征点对的权重不同，对原始重投影误差附加权重构建损失函数，能够有效提升相机位姿估计的精度。能够有效提升相机位姿估计的精度。能够有效提升相机位姿估计的精度。

【技术实现步骤摘要】
一种基于全景图像的相机位姿估计方法及系统


[0001]本专利技术属于视觉SLAM处理
，涉及一种基于全景图像的相机位姿估计方法及系统。

技术介绍

[0002]随着机器人越来越多地融入日常生活，越来越多的关注其在现实世界中的健壮性。更小、功能更强大的计算机和传感器，以及更高效的算法的结合，造就了移动机器人的兴起，如自动驾驶汽车、航空摄影无人机和搜索救援无人机。对于移动机器人而言，其自身定位是一项重要工作，现有常用于估计机器人位置的方法是GPS，但需要无线通信，在许多环境中，尤其在室内是不可用的，因此，必须使用其他传感器来估计机器人的状态并绘制其周围的环境。估计机器人的姿态同时构建周围障碍物的地图被称为同步定位与地图构建(Simultaneously Localization and Mapping，SLAM)。
[0003]视觉系统的一个重要变量是摄像机视场(FOV)，传统镜头的视场一般小于120度，而以鱼眼相机和全景环带相机为代表的全向相机(omnidirectional camera)拥有超过180度乃至更大的视场，大视场相机带来的超大视场感知能力，对于减少传感器数量、缩小移动机器人尺寸很有帮助。然而，广角图像存在光学畸变，使物理上的直线在图像中出现弯曲，并作为径向距离的函数从图像中心到边缘视场逐渐增加。传统的简单相机模型，例如针孔模型，无法模拟这种变形，因此传统的计算机视觉一直集中在具有最小变形的透视相机上，而没有考虑更大的FOV。但是，在导航任务中使用更宽的视场具有许多潜在的好处，因为视觉SLAM更多依赖于跟踪相机周围的环境，直觉上希望有一个更大的视场，以便在瞬间图像中可以看到更多的环境。因此，全景相机是视觉SLAM的一种理想设备。
[0004]目前主流的特征点提取主要有FAST角点、HARRIS角点等，描述子计算方式有BRIEF描述子等，但这些方法都针对传统的以针孔模型成像的图像。对于全景图像，目前还缺乏一种鲁棒有效的提取方式。
[0005]现有的SLAM技术主要使用传统相机，成像模型主要是利用针孔成像模型进行探测，例如，专利号为CN110197455A的专利文献公开的二维全景图像的获取方法以及专利号为CN111360780A的专利文献公开的一种基于视觉语义SLAM的垃圾捡拾机器人。传统的特征点提取和损失函数计算往往也基于针孔模型设计，对于存在较大畸变的全景图像，传统的特征点描述子往往会导致匹配失败。由于图像失真会导致特征匹配算法失败，以及全景相机的图像会因为匹配困难导致鲁棒性差，现在还很少有使用全景相机图像作为视觉SLAM输入的方法，这就导致全景环带相机无法作为一种大视场低成本的传感器应用到SLAM技术中。

技术实现思路

[0006]基于克服上述现有视觉SLAM技术中的缺陷，同时发挥全景环带相机的视场优势，本专利技术的目的是提供一种基于全景图像的相机位姿估计方法及系统，以解决全景图像的特
征点提取困难的现状，并利用所提出的损失函数，准确估计相机位姿。
[0007]为了实现上述专利技术目的，本专利技术采用如下技术方案：
[0008]一种基于全景图像的相机位姿估计方法，包括以下步骤：
[0009]S1、采集全景图像，并对全景图像进行图像预处理；
[0010]S2、对图像预处理之后的全景图像进行畸变校正，得到校正图像；
[0011]S3、采用ORB特征提取算法对校正图像进行特征点提取并进行描述子计算；
[0012]S4、对相邻两帧图像进行特征点匹配，并基于匹配后的特征点分别在两个像平面上成像位置的半径以及半径之差对重投影误差附加权重以构建损失函数，通过使损失函数最小化以对相机位姿进行估计。
[0013]作为优选方案，所述步骤S1中，图像预处理为直方图均衡化。
[0014]作为优选方案，所述步骤S2中，畸变校正的过程包括：
[0015]设P是坐标为(x,y,z)
T
的三维空间点，U是P在像平面上的投影，坐标为(u,v)
T
，(x,y)
T
与(u,v)
T
成正比，符合如下关系：
[0016][0017]其中，f
b
(ρ)＝α0+α2·
ρ2+
…
+α
N
·
ρ
N
；α0、α2、
…
、α
N
为多项式系数；
[0018]利用反向投影函数π
‑1(u)，图像坐标到对应的物点三维坐标的映射关系为：
[0019]P＝π
‑1(U)＝λ
‑1·
g(u)
[0020][0021]相应地，投影函数为：
[0022]U＝π(P)＝f
p
(θ)
·
h(P)
[0023]其中，f
p
(θ)＝β0+β2·
θ2+
…
+β
N
·
θ
N
[0024][0025]得到标定系数f
b
(ρ)和f
p
(θ)中的一个，即可得到投影函数或反投影函数，以实现全景图像的畸变校正。
[0026]作为优选方案，所述步骤S3中，特征点提取的过程包括：
[0027]设校正图像的边缘像素点的搜索半径为2，实际半径为R，两者乘积为2R；相应地，对于校正图像中其他像素点，则其搜索半径为其中，r
′
为像素点的实际半径；实际半径定义为像素点至图像中心点的距离；
[0028]由于全景环带相机中央存在实际半径为r0的盲区，因此最小实际半径对应的搜索
半径为向下取整对应最大搜索半径为则用于比较的像素点个数为4
·
(r
max
+1)；相应地，对于其他搜索半径均进行向下取整；
[0029]若搜索半径之内用于比较的像素点个数少于4
·
(r
max
+1)，则利用线性插值插入目标像素点，使得搜索半径之内用于比较的像素点个数为4
·
(r
max
+1)个；
[0030]分别将各像素点作为中心点以与其周围的4
·
(r
max
+1)个用于比较的像素点进行比较；若连续3
·
(r
max
+1)个用于比较的像素点与中心点的像素差的绝对值均大于设定阈值，则相应的中心点提取为特征点。
[0031]作为优选方案，所述步骤S3中，特征点提取之后，还采用灰度质心法对特征点添加尺度和旋转的描述。
[0032]作为优选方案，所述步骤S3中，线性插值插入的目标像素点的像素值为其左、右两像素点的像素值的均值。
[0033]作为优选方案，所述步骤S3中，特征点的描述子计算，包括：
[0034]设特征点的实际半径为r，以特征点为中心，在搜索半径为2的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全景图像的相机位姿估计方法，其特征在于，包括以下步骤：S1、采集全景图像，并对全景图像进行图像预处理；S2、对图像预处理之后的全景图像进行畸变校正，得到校正图像；S3、采用ORB特征提取算法对校正图像进行特征点提取并进行描述子计算；S4、对相邻两帧图像进行特征点匹配，并基于匹配后的特征点分别在两个像平面上成像位置的半径以及半径之差对重投影误差附加权重以构建损失函数，通过使损失函数最小化以对相机位姿进行估计。2.根据权利要求1所述的一种基于全景图像的相机位姿估计方法，其特征在于，所述步骤S1中，图像预处理为直方图均衡化。3.根据权利要求1所述的一种基于全景图像的相机位姿估计方法，其特征在于，所述步骤S2中，畸变校正的过程包括：设P是坐标为(x，y，z)
T
的三维空间点，U是P在像平面上的投影，坐标为(u，v)
T
，(x，y)
T
与(u，v)
T
成正比，符合如下关系：其中，f
b
(ρ)＝α0+α2·
ρ2+
…
+α
N
·
ρ
N
；α0、α2、
…
、α
N
为多项式系数；利用反向投影函数π
‑1(u)，图像坐标到对应的物点三维坐标的映射关系为：P＝π
‑1(U)＝λ
‑1·
g(u)相应地，投影函数为：U＝π(P)＝f
p
(θ)
·
h(P)其中，f
p
(θ)＝β0+β2·
θ2+
…
+β
N
·
θ
N
得到标定系数f
b
(ρ)和f
p
(θ)中的一个，即可得到投影函数或反投影函数，以实现全景图像的畸变校正。4.根据权利要求1所述的一种基于全景图像的相机位姿估计方法，其特征在于，所述步骤S3中，特征点提取的过程包括：设校正图像的边缘像素点的搜索半径为2，实际半径为R，两者乘积为2R；相应地，对于校正图像中其他像素点，则其搜索半径为其中，r
′
为像素点的实际半径；实际半径定义为像素点至图像中心点的距离；由于全景环带相机中央存在实际半径为r0的盲区，因此最小实际半径对应的搜索半径
为向下取整对应最大搜索半径为则用于比较的像素点个数为4
·
(r
max
+1)；相应地，对于其他搜索半径均进行向下取整；若搜索半径之内用于比较的像素点个数少于4
·
(r
max
+1)，则利用线性插值插入目标像素...

【专利技术属性】
技术研发人员：黄昊宇，王之丰，冯逸鹤，
申请(专利权)人：杭州环峻科技有限公司，
类型：发明
国别省市：