一种基于插值网络的视觉SLAM方法及系统技术方案

本发明专利技术涉及一种基于插值网络的视觉SLAM方法及系统，其方法包括：S1：采集图像数据集，利用深度学习方法，训练视觉SLAM系统中插值网络，预测两帧连续图像的中间帧；S2：根据转弯检测模块基于特征点法利用特征提取和匹配，或基于直接法利用最小化光度误差，求解相邻的前后帧对应的旋转矩阵R和平移向量t，同时判断车辆是否在转弯；S3：当车辆正在转弯，启动插值网络，根据前后帧图像，插入中间帧，并利用图像质量检测模块判断是否保留中间帧，若通过检测，对前后帧和中间帧进行S2操作，否则只对前后帧进行S2操作，求解R，t，完成全局定位和后续建图。本发明专利技术提供的方法，基于成本与精度，利用插值网络，提供了一种鲁棒性强、成本低、精度高的车辆定位方法。车辆定位方法。车辆定位方法。

【技术实现步骤摘要】
一种基于插值网络的视觉SLAM方法及系统


[0001]本专利技术涉及智能驾驶以及车辆
，具体涉及一种基于插值网络的视觉SLAM方法及系统。

技术介绍

[0002]随着科技的发展，车辆、机器人等科技产品与人们生活的关系越来越密切。自动驾驶技术也愈发成熟，现如今，自动驾驶的主要挑战来源于复杂场景，如光照变换、快速旋转时，如何使车辆保证良好的定位和导航性能。因而，复杂场景下的SLAM系统成为了SLAM领域的重要研究方向。作为SLAM的重要组成部分，视觉SLAM(VSLAM)主要可分为直接法和特征点法。近年来，这两种方法都取得了长足的进步，也提出了一些将直接法和特征点法相结合的方法，但这两种方法始终保持着相对独立的状态。尽管它们之间存在差异，但当面临复杂场景时，两种方法的准确性和可靠性都会降低。
[0003]中国专利《基于光流跟踪和特征匹配的回环检测及视觉SLAM方法》(公开号：CN113888603A)利用双目相机，使用光流法采集点特征，LSD算法提取线特征，取得了比ORB
‑
SLAM2更好的效果。使用了直接法加特征点法的方法，整体较复杂。
[0004]中国专利《一种动态场景下基于语义分割的直接法视觉定位方法》(公开号：CN111340881A)在动态场景下基于语义分割的直接法，做视觉定位方法，该方法只能针对于直接法，无法适用于特征点法。
[0005]中国专利《一种基于视觉实现SLAM定位的方法及相关装置》(公开号：CN111928842A)通过brisk算子提取至少两帧图片中每一帧图片的特征点，然后对相邻图片做特征点匹配，进一步实现后续的定位及建图工作，该方法只能针对于特征点法，无法适用于直接法。
[0006]因此，目前车辆定位方法中依然存在的问题如下：
[0007]1)如何在降低传感器成本的同时保证高质量的定位精度；
[0008]2)复杂场景下相邻帧之间的视野或者光照变化大，容易出现跟踪失败的现象。

技术实现思路

[0009]为了解决上述技术问题，本专利技术提供一种基于插值网络的视觉SLAM方法及系统。
[0010]本专利技术技术解决方案为：一种基于插值网络的视觉SLAM方法，包括：
[0011]步骤S1：采集图像数据集，利用深度学习方法，训练视觉SLAM系统中的插值网络，预测两帧连续图像的中间帧；
[0012]步骤S2：根据转弯检测模块基于特征点法利用特征提取和匹配，或者基于直接法利用最小化光度误差，求解相邻的前后帧图像对应的旋转矩阵R和平移向量t，同时判断车辆是否在转弯；
[0013]步骤S3：当所述车辆正在转弯，启动所述插值网络，根据前后帧图像，插入中间帧，并利用图像质量检测模块判断是否保留所述中间帧，如果通过检测，对所述前后帧和所述
中间帧，分别进行S2操作，否则对所述前后帧进行S2操作，求解R，t，完成全局定位和后续建图。
[0014]本专利技术与现有技术相比，具有以下优点：
[0015]本专利技术公开了一种基于插值网络的视觉SLAM方法，通过引入插值网络的方法，可以预测当前帧和下一帧之间的高质量中间帧，从而减少视觉SLAM系统前后帧之间的视野变化，使得建图和定位过程中变得更加准确和鲁棒。同时，本专利技术提供了图像质量检测模块来保证插值出来的图像质量；为了提高系统效率，本专利技术提供转弯检测模块，只在转弯时启动插值网络。本专利技术对直接法视觉SLAM和特征点法视觉SLAM均有效，可以大幅度助力自动驾驶技术的发展。
附图说明
[0016]图1为本专利技术实施例中一种基于插值网络的视觉SLAM方法的流程图；
[0017]图2为本专利技术实施例中视觉SLAM系统中的插值网络的训练流程示意图；
[0018]图3为本专利技术实施例中使用特征点法的视觉SLAM系统结构示意图；
[0019]图4为本专利技术实施例中使用特征点法的ORB
‑
EDSC
‑
SLAM与ORB
‑
SLAM2在数据集KITTI02序列上的轨迹对比图；
[0020]图5A为本专利技术实施例中使用特征点法的ORB
‑
EDSC
‑
SLAM与ORB
‑
SLAM2在数据集KITTI10序列上的轨迹对比图；
[0021]图5B为本专利技术实施例中使用特征点法的ORB
‑
EDSC
‑
SLAM与ORB
‑
SLAM2在数据集KITTI10序列上转弯处引起的误差对比图；
[0022]图6A为本专利技术实施例中使用直接法的DSO
‑
EDSC与DSO在KITTI数据集上的轨迹1的对比图；
[0023]图6B为本专利技术实施例中使用直接法的DSO
‑
EDSC与DSO在KITTI数据集上的轨迹2的对比图；
[0024]图7为本专利技术实施例中一种基于插值网络的视觉SLAM系统的结构框图。
具体实施方式
[0025]本专利技术提供了一种基于插值网络的视觉SLAM方法，充分考虑成本与精度的要求，基于插值网络，提供了一种鲁棒性强、成本低、精度高的车辆定位方法。
[0026]为了使本专利技术的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本专利技术进一步详细说明。
[0027]实施例一
[0028]如图1所示，本专利技术实施例提供的一种基于插值网络的视觉SLAM方法，包括下述步骤：
[0029]步骤S1：采集图像数据集，利用深度学习方法，训练视觉SLAM系统中的插值网络，预测两帧连续图像的中间帧；
[0030]步骤S2：根据转弯检测模块基于特征点法利用特征提取和匹配，或者基于直接法利用最小化光度误差，求解相邻的前后帧图像对应的旋转矩阵R和平移向量t，同时判断车辆是否在转弯；
[0031]步骤S3：当车辆正在转弯，启动插值网络，根据前后帧图像，插入中间帧，并利用图像质量检测模块判断是否保留中间帧，如果通过检测，对前后帧和中间帧，分别进行S2操作，否则对前后帧进行S2操作，求解R，t，完成全局定位和后续建图。
[0032]在一个实施例中，上述步骤S1：采集图像数据集，利用深度学习方法，训练视觉SLAM系统中的插值网络，预测两帧连续图像的中间帧，具体包括：
[0033]步骤S11：利用安装于车辆的相机采集RGB图像序列，构建图像数据集，根据棋盘格标定法对相机进行内部参数和外部参数标定，获取相机的本质矩阵K和畸变系数向量d，其中K为3
×
3矩阵，d为4
×
1向量，并存储相机的标定参数；基于预设的标定板角点坐标，对相机的坐标系到车辆坐标的变换进行标定求解；
[0034]本专利技术实施例可采用单目相机，或者RGB
‑
D相机采集车辆周围环境照片，得到RGB图像序列，用于构建图像数据集；
[0035]步骤S12：选择插值网络EDSC，输入图像数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于插值网络的视觉SLAM方法，其特征在于，包括：步骤S1：采集图像数据集，利用深度学习方法，训练视觉SLAM系统中的插值网络，预测两帧连续图像的中间帧；步骤S2：根据转弯检测模块基于特征点法利用特征点的提取和匹配，或者基于直接法利用最小化光度误差，求解相邻的前后帧图像对应的旋转矩阵R和平移向量t，同时判断车辆是否在转弯；步骤S3：当所述车辆正在转弯，启动所述插值网络，根据所述前后帧图像，插入中间帧，并利用图像质量检测模块判断是否保留所述中间帧，如果通过检测，对所述前后帧和所述中间帧，分别进行S2操作，否则对所述前后帧进行S2操作，求解R，t，完成全局定位和后续建图。2.根据权利要求1所述的基于插值网络的视觉SLAM方法，其特征在于，所述步骤S1：采集图像数据集，利用深度学习方法，训练视觉SLAM系统中的插值网络，预测两帧连续图像的中间帧，具体包括：步骤S11：利用安装于车辆的相机采集RGB图像序列，构建图像数据集，根据棋盘格标定法对所述相机进行内部参数和外部参数标定，获取所述相机的本质矩阵K和畸变系数向量d，其中K为3
×
3矩阵，d为4
×
1向量，并存储所述相机的标定参数；基于预设的标定板角点坐标，对所述相机的坐标系到车辆坐标的变换进行标定求解；步骤S12：选择插值网络EDSC，输入所述图像数据集中两帧连续的图像，训练EDSC预测所述两帧连续的图像之间的中间帧的图像。3.根据权利要求1所述的基于插值网络的视觉SLAM方法，其特征在于，所述步骤S2中根据转弯检测模块基于特征点法利用特征点的提取和匹配，求解相邻的前后帧图像对应的旋转矩阵R和平移向量t，具体包括：步骤S201：设P为世界坐标系中的目标物体，O1、O2分别为前一帧图像I1和后一帧图像I2时的所述相机的光心位置；p1、p2分别为P在I1和I2上的投影，即在I1、I2两帧中成功匹配的一对点；其中，O1P在I2中的投影为e2p2，记为l2，O2P在I1中的投影为e1p1，记为l1，将l1、l2称为极线，e1、e2称为极点；根据所述相机的内参矩阵K，上述的两个投影关系可以表述为公式(1)：其中，表示尺度意义下的相等；R为旋转矩阵，t为平移向量；步骤S202：令x1＝K
‑1p1，x2＝K
‑1p2，代入公式(1)，得到公式(2):两边同时左乘t的反对称矩阵t^,得到公式(3):然后两侧左乘得到公式(4):显然左式为零，得到公式(5)：代入p1,p2，得到公式(6)：
公式(5)和(6)称为对极约束，令本质矩阵E为t^R，基础矩阵F为K
‑
T
t^RK
‑1，则对极约束可简化为公式(7)：步骤S203：通过八点法求解所述本质矩阵E，根据一对匹配点，其归一化坐标为x1＝[u1,v1,1]
T
,x2＝[u2,v2,1]
T
，根据对极约束，得到公式(8)：将所述本质矩阵E展开，得到向量形式：e＝[e1,e2,e3,e4,e5,e6,e7,e8,e9]
T
；对极约束可以写成与e有关的线性形式：[u2u1,u2v1,u2,v2u1,v2v1,v2,u1,v1,1]
·
e＝0；代入公式...

【专利技术属性】
技术研发人员：陈宗海，朱镇坤，戴德云，王纪凯，徐萌，林士琪，魏超，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：