本发明专利技术公开了一种融合GNSS与多视角视觉的建图方法和系统，其中方法包括：通过GNSS测量值的时间戳约束多视角视觉图像的更新时间使得GNSS测量值与多视角视觉图像对齐，然后对多视角的视觉图像进行位姿估计，得到关键帧位姿；将各视角下当前关键帧位姿和前一关键帧位姿转换至站心坐标系下，计算相对位姿，将当前关键帧位姿与相对位姿之和作为当前关键帧的视觉观测值，以当前关键帧的GNSS测量值与视觉观测值之差最小为目标，求解全局优化位姿；利用单视角下全局优化位姿更新单视角局部地图，当满足时间一致性约束和空间一致性约束时，对多视角局部地图进行融合，得到全局一致的地图。本发明专利技术可以提高实时定位精度和鲁棒性，建立全局一致的地图。立全局一致的地图。立全局一致的地图。
【技术实现步骤摘要】
一种融合GNSS与多视角视觉的建图方法和系统
[0001]本专利技术属于自动驾驶、无人驾驶和移动机器人技术与多传感器融合定位与建图领域，更具体地，涉及一种融合GNSS与多视角视觉的建图方法和系统。
技术介绍
[0002]GNSS信号能够提供精度较高的全局定位信息，但在室内场景下，卫星信号可能出现遮挡，在室外场景下，卫星信号容易丢失而影响定位精度，甚至跟踪丢失。视觉信息不受卫星信号的影响，只需要提取环境中的视觉特征即可较好的完成位姿估计，但视觉特征容易受到光照等因素的影响而跟踪丢失，且消除累计误差依赖于回环检测，若运动不能形成回环，则位姿估计的精度一般。
[0003]此外，视觉SLAM系统回环检测的优化过程较为耗时，优化后的位姿不具有实时性，且检测到回环的瞬间，位姿优化为了消除累计误差会产生较大的跳变，故对于移动机器人的运动控制与决策没有较好的估计效果。同时，利用单一视角视觉传感器进行建图，容易受到视角的限制出现遮挡，导致建图效果不佳。
[0004]由此可见，现有技术存在实时定位精度不高、鲁棒性不强、全局一致性差的技术问题。
技术实现思路
[0005]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种融合GNSS与多视角视觉的建图方法和系统，由此解决现有技术存在实时定位精度不高、鲁棒性不强、全局一致性差的技术问题。
[0006]为实现上述目的，按照本专利技术的一个方面，提供了一种融合GNSS与多视角视觉的建图方法，包括如下步骤：
[0007](1)通过GNSS测量值的时间戳约束多视角视觉图像的更新时间使得GNSS测量值与多视角视觉图像对齐，然后对多视角的视觉图像进行位姿估计，得到各视角的初始关键帧位姿以及后续各时刻的关键帧位姿；
[0008](2)将各视角下当前关键帧位姿和前一关键帧位姿转换至站心坐标系下，计算相对位姿，将当前关键帧位姿与相对位姿之和作为当前关键帧的视觉观测值，以对齐后的当前关键帧GNSS测量值与当前关键帧视觉观测值之差最小为目标，求解各视角下当前关键帧的全局优化位姿；
[0009](3)利用单视角下当前关键帧的全局优化位姿更新单视角局部地图，当多视角视觉图像对齐、多视角之间的关键帧深度值之差在视觉误差范围内且多视角的当前关键帧相对初始关键帧的位姿平移关系在视角位置误差范围内时，满足时间一致性约束和空间一致性约束，对多视角局部地图进行融合，得到全局一致的地图。
[0010]进一步地，所述空间一致性约束的具体实现方式为：
[0011][0012][0013]其中，为视觉误差，为多视角中某一视角的关键帧深度值，为多视角中其他视角的关键帧深度值，b为其他视角对应的相机基线，f为其他视角对应的相机的焦距，σ为其他视角与某一视角的视差，为位置误差，0＜b＜1，为某一视角的当前关键帧相对初始关键帧的位姿平移关系，为其他视角的当前关键帧相对于某一视角初始关键帧的位姿平移关系，为其他视角与某一视角的外部位置参数关系，C为某一视角的相对位姿。
[0014]进一步地，所述步骤(1)中的对齐方式为：
[0015]由GNSS测量值的更新频率f，设置容忍时间
[0016]由GNSS测量值的更新时间t
gnss
得到时间戳[t
gnss
‑
ts，t
gnss
+ts]，多视角的视觉图像在时间戳内更新，则GNSS测量值与多视角视觉图像对齐，进行后续运算。
[0017]进一步地，所述步骤(3)中的对齐方式为：
[0018]由多视角中某一视角视觉图像的更新频率f，设置容忍时间由多视角中某一视角视觉图像的更新频率f，设置容忍时间
[0019]由多视角中某一视角视觉图像的更新时间t
gnss
得到时间戳[t
gnss
‑
ts，t
gnss
+ts]，多视角中其他视角的视觉图像在时间戳内更新，则其他视角与某一视角的视觉图像对齐，进行后续运算。
[0020]进一步地，所述相对位姿通过如下方式得到：
[0021]将各视角下的当前关键帧位姿和前一关键帧位姿从局部坐标系转换至站心坐标系下，所述局部坐标系为多视角对应的相机坐标系，其z轴与站心坐标系对齐，所述站心坐标系为的x、y、z轴分别指向东、北、天，站心坐标系的原点是在全局坐标系上的一个点，是用来连接全局坐标系和局部坐标系的半全局坐标系，全局坐标系以地球质心为原点，x
‑
y平面与赤道平面重合，x轴指向本初子午线，z轴指向北极，然后计算当前关键帧位姿和前一关键帧位姿的相对位姿。
[0022]站心坐标系也叫站点坐标系、东
‑
北
‑
天坐标系ENU。
[0023]进一步地，所述全局优化位姿求解前还包括：
[0024]将GNSS测量值由全局坐标系转换到站心坐标系，GNSS测量值在全局坐标系下的坐标值为对应在站心坐标系下的坐标值为[e n u]T
，二者转换方式如下：
[0025][0026]其中，坐标差值通过下式得到：
[0027][0028]其中，e为全局坐标系的椭球离心率，N为基准椭球体的曲率半径，站心坐标系原点的经度、纬度和高度为λ0、和h0，N0为站心坐标系原点对应的基准椭球体的曲率半径。
[0029]进一步地，所述全局优化位姿求解还包括：
[0030]将对齐后的当前关键帧GNSS测量值与当前关键帧位姿之差作为GNSS残差项；
[0031]将当前关键帧的全局优化位姿与前一关键帧的全局优化位姿之差作为视觉和GNSS优化后的位姿增量，将当前关键帧位姿与前一关键帧位姿之差作为视觉下的位姿增量，将视觉和GNSS优化后的位姿增量与视觉下的位姿增量之差作为视觉里程计残差项；
[0032]先对多视角的视觉图像进行位姿估计，当GNSS测量值更新时，融合视觉里程计残差项和GNSS残差项，求解最小二乘问题，得到不同视角的全局优化位姿。
[0033]融合视觉里程计残差项和GNSS残差项，求解最小二乘问题，即以对齐后的当前关键帧GNSS测量值与当前关键帧视觉观测值之差最小为目标，求解全局优化位姿。
[0034]进一步地，所述多视角包括前视角、后视角、左视角和右视角，所述方法应用于移动机器人时，在移动机器人前进过程中，基于前后左右不同视角的视觉图像，进行动态变化的场地建图，得到场地地图，如果前视角的场地在动态变化，这时前视角视觉图像不参与建图，基于后视角、左视角和右视角的视觉图像，进行场地建图；在移动机器人后退过程中，再把前视角视觉图像融合至场地地图中。
[0035]按照本专利技术的另一方面，提供了一种融合GNSS与多视角视觉的建图系统，包括：相机、GNSS和控制器；
[0036]所述相机的数量为多个，分别位于不同视角，用于采集多视角视觉图像；
[0037]所述GNSS，用于采集GNSS测量值；
[0038]所述处理器包括：
[本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种融合GNSS与多视角视觉的建图方法，其特征在于，包括如下步骤：(1)通过GNSS测量值的时间戳约束多视角视觉图像的更新时间使得GNSS测量值与多视角视觉图像对齐，然后对多视角的视觉图像进行位姿估计，得到各视角的初始关键帧位姿以及后续各时刻的关键帧位姿；(2)将各视角下当前关键帧位姿和前一关键帧位姿转换至站心坐标系下，计算相对位姿，将当前关键帧位姿与相对位姿之和作为当前关键帧的视觉观测值，以对齐后的当前关键帧GNSS测量值与当前关键帧视觉观测值之差最小为目标，求解各视角下当前关键帧的全局优化位姿；(3)利用单视角下当前关键帧的全局优化位姿更新单视角局部地图，当多视角视觉图像对齐、多视角之间的关键帧深度值之差在视觉误差范围内且多视角的当前关键帧相对初始关键帧的位姿平移关系在视角位置误差范围内时，满足时间一致性约束和空间一致性约束，对多视角局部地图进行融合，得到全局一致的地图。2.如权利要求1所述的一种融合GNSS与多视角视觉的建图方法，其特征在于，所述空间一致性约束的具体实现方式为：一致性约束的具体实现方式为：其中，为视觉误差，为多视角中某一视角的关键帧深度值，为多视角中其他视角的关键帧深度值，b为其他视角对应的相机基线，f为其他视角对应的相机的焦距，σ为其他视角与某一视角的视差，为位置误差，0＜b＜1，为某一视角的当前关键帧相对初始关键帧的位姿平移关系，为其他视角的当前关键帧相对于某一视角初始关键帧的位姿平移关系，为其他视角与某一视角的外部位置参数关系，C为某一视角的相对位姿。3.如权利要求1或2所述的一种融合GNSS与多视角视觉的建图方法，其特征在于，所述步骤(1)中的对齐方式为：由GNSS测量值的更新频率f，设置容忍时间由GNSS测量值的更新时间t
gnss
得到时间戳[t
gnss
‑
ts，t
gnss
+ts]，多视角的视觉图像在时间戳内更新，则GNSS测量值与多视角视觉图像对齐，进行后续运算。4.如权利要求1或2所述的一种融合GNSS与多视角视觉的建图方法，其特征在于，所述步骤(3)中的对齐方式为：由多视角中某一视角视觉图像的更新频率f，设置容忍时间0＜a＜1；由多视角中某一视角视觉图像的更新时间t
gnss
得到时间戳[t
gnss
‑
ts，t
gnss
+ts]，多视角中其他视角的视觉图像在时间戳内更新，则其他视角与某一视角的视觉图像对齐，进行后续运算。
5.如权利要求1或2所述的一种融合GNSS与多视角视觉的建图方法，其特征在于，所述相对位姿通过如下方式得到：将各视角下当前关键帧位姿和前一关键帧位姿从局部坐标系转换至站心坐标系下，所述局部坐标系为多视角对应的相机坐标系，其z轴与站心坐标系对齐，所述站心坐标系为的x、y、z轴分别指向东、北、天，站心坐标系的原点是在全局坐标系上的一个点，是用来连接全局坐标系和局部坐标系的半全局坐标系，全局坐标系以地球质心为原点，x
‑
y平面与赤道平面重合，x轴指向本初子午线，z轴指向北极，然后计算当前关键帧位姿和前一关键帧位姿的相对...
【专利技术属性】
技术研发人员：彭刚，许镟，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。