一种单目视觉里程计方法和系统技术方案

本发明专利技术涉及一种单目视觉里程计方法和系统。该方法采用光流预测网络获取光流图像，并在挑选得到第一特征点对后，将图像序列数据输入至深度预测网络得到深度信息图，再将图像序列数据输入至深度预测网络生成刚性光流；接着，生成第二特征点对后，结合刚性光流作为约束条件训练光流预测网络；然后，采用训练好的光流预测网络获取图像序列数据中相邻两帧图像间的光流，并在挑选得到第三特征点对后，从图像序列数据中随机挑选部分帧，根据所述深度信息图和第三特征点对通过PNP或对极几何方式求解位姿，剩余部分帧根据所述深度信息图和第二特征点对通过PNP或对极几何方式求解位姿，以通过融合传统几何和深度学习的方式使得精度更高、鲁棒性更强。鲁棒性更强。鲁棒性更强。

【技术实现步骤摘要】
一种单目视觉里程计方法和系统


[0001]本专利技术涉及单目视觉定位
，特别是涉及一种单目视觉里程计方法和系统。

技术介绍

[0002]自动驾驶是物联网、人工智能、大数据等新一代信息技术以及城市轨道交通、控制科学与工程等各个领域进行深度融合而生成的产物。目前汽车实现自动驾驶功能需要实时地获取当前每一时刻的位姿，并通过反馈的位姿进行决策分析。目前位姿的获取主要来源于GPS定位技术，GPS自问世以来，就以其高灵活性、高精度吸引了大批的使用者，但是GPS也有很多弊端，尤其在一些特殊场景中，比如雨雪冰雹等极端天气、郊区信号时有时无等情形下，GPS反馈的实时位姿就会产生很大的误差，对后续的一系列决策产生错误指引。
[0003]视觉里程计的目标是通过拍摄的一系列图像去估计相机的运动，主要通过采集的照片，结合之前推测出的位姿，生成当前的实时位姿。单目视觉里程计主要依赖于单目摄像机，与双目视觉里程计相比而言，硬件要求更低，处理速度更快。另外，在自动驾驶领域中常常会出现信号中断或雨雪等特殊天气情况，在这种情况下视觉里程计的作用就能很好的体现出来，相比GPS而言，在此情形下视觉里程计的精度更高、鲁棒性更强。
[0004]目前，现有视觉里程计(Visual Odometry，VO)技术主要分为两种方式，一种是采用传统视觉里程计的方式，该类方式主要基于多视图几何的方法，目前ORB
‑
SLAM2是比较经典的传统视觉里程计方法，它主要基于ORB特征点，对特征点提取和匹配的要求比较高，在理想情况下精度比较准确，但是在弱纹理区域鲁棒性很差。另一种是采用深度学习视觉里程计的方式，基于深度学习的VO主要通过端到端的方式，一端输入连续的一系列图像，另一端输出位姿R和位姿T。目前SFM
‑
Learner是比较经典的深度学习视觉里程计的方法，但是基于深度学习方式的视觉里程计也有很大弊端，特别是对一些没有见过的场景鲁棒性较差。

技术实现思路

[0005]为解决现有技术存在的上述问题，本专利技术提供了一种单目视觉里程计方法和系统。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种单目视觉里程计方法，包括：
[0008]获取图像序列数据；
[0009]采用光流预测网络获取所述图像序列数据中相邻两帧图像间的光流，并根据前后光流一致性挑选得到第一特征点对；
[0010]将所述图像序列数据输入至第一深度预测网络得到深度信息图；所述第一深度预测网络包括：深度预测子网络和位姿估计网络；所述深度预测子网络采用U
‑
Net编码器
‑
解码器结构；所述位姿估计网络采用ResNet18网络结构；
[0011]将获取的图像序列数据输入至第二深度预测网络生成3D场景流，并将所述3D场景
流进行平面投影得到2D光流，将所述2D光流命名为刚性光流；所述第二深度预测网络包括：新深度预测网络和位姿估计网络；所述新深度预测网络为优化后的深度预测子网络；
[0012]采用特征点法提取所述图像序列数据中特征点，并采用快速最近邻匹配算法基于所述特征点生成第二特征点对；
[0013]获取第二特征点对中像素点的匹配点和第一特征点对中像素点的匹配点，并确定所述第二特征点对中像素点的匹配点和所述第一特征点对中像素点的匹配点间的欧式距离，将所述欧式距离作为第一约束条件；
[0014]确定所述刚性光流和所述光流A间的误差，并将所述误差作为第二约束条件；其中，将光流网络生成的光流定义为光流A；
[0015]基于所述第一约束条件和所述第二约束条件生成总约束条件；
[0016]基于所述总约束条件训练所述光流预测网络，得到训练好的光流预测网络；
[0017]采用所述训练好的光流预测网络获取所述图像序列数据中相邻两帧图像间的光流，并根据前后光流一致性挑选得到第三特征点对；
[0018]从图像序列数据中随机挑选部分帧，根据所述深度信息图和第三特征点对通过PNP或对极几何方式求解位姿，剩余部分帧根据所述深度信息图和第二特征点对通过PNP或对极几何方式求解位姿。
[0019]优选地，所述采用光流预测网络获取所述图像序列数据中相邻两帧图像间的光流，并根据前后光流一致性挑选得到第一特征点对，具体包括：
[0020]采用特征金字塔网络提取所述图像序列数据的特征；
[0021]将提取得到的特征输入至光流估计器得到光流图像，并根据前后光流一致性挑选得到第一特征点对。
[0022]优选地，所述特征金字塔网络的层数为8，每一层均包含一个卷积层。
[0023]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0024]本专利技术提供的单目视觉里程计方法，通过融合传统几何和深度学习的方式使得精度更高、鲁棒性更强。
[0025]对应于上述提供的单目视觉里程计方法，本专利技术还提供了一种单目视觉里程计系统，该系统包括：
[0026]单目相机，用于获取图像序列数据；
[0027]第一特征点对生成模块，用于采用光流预测网络获取所述图像序列数据中相邻两帧图像间的光流，并根据前后光流一致性挑选得到第一特征点对；
[0028]Q模块，用于将所述图像序列数据输入至深度预测网络得到深度信息图；所述深度预测网络包括：深度预测子网络和位姿估计网络；所述深度预测子网络采用U
‑
Net编码器
‑
解码器结构；所述位姿估计网络采用ResNet18网络结构；
[0029]W模块，用于将获取的图像序列数据输入至深度预测网络生成3D场景流，并将所述3D场景流进行平面投影得到2D光流，将所述2D光流命名为刚性光流；
[0030]第二特征点对生成模块，用于采用特征点法提取所述图像序列数据中特征点，并采用快速最近邻匹配算法基于所述特征点生成第二特征点对；
[0031]第一约束条件确定模块，用于获取第二特征点对中像素点的匹配点和第一特征点对中像素点的匹配点，并确定所述第二特征点对中像素点的匹配点和所述第一特征点对中
像素点的匹配点间的欧式距离，将所述欧式距离作为第一约束条件；
[0032]第二约束条件确定模块，用于确定所述刚性光流和所述光流间的误差，并将所述误差作为第二约束条件；
[0033]总约束条件确定模块，用于基于所述第一约束条件和所述第二约束条件生成总约束条件；
[0034]训练模块，用于基于所述总约束条件训练所述光流预测网络，得到训练好的光流预测网络；
[0035]第三特征点对生成模块，用于采用所述训练好的光流预测网络获取所述图像序列数据中相邻两帧图像间的光流，并根据前后光流一致性挑选得到第三特征点对；
[0036]相机位姿确定模块，用于从图像序列中随机挑选部分帧，根据所述深度信息图和第三特征点对通过PNP或对极几何方式求解位姿，剩余部分帧根据所述深度信息图和第二特征点对通过PNP或对极几何方式求解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种单目视觉里程计方法，其特征在于，包括：获取图像序列数据；采用光流预测网络获取所述图像序列数据中相邻两帧图像间的光流，并根据前后光流一致性挑选得到第一特征点对；将所述图像序列数据输入至第一深度预测网络得到深度信息图；所述第一深度预测网络包括：深度预测子网络和位姿估计网络；所述深度预测子网络采用U
‑
Net编码器
‑
解码器结构；所述位姿估计网络采用ResNet18网络结构；将获取的图像序列数据输入至第二深度预测网络生成3D场景流，并将所述3D场景流进行平面投影得到2D光流，将所述2D光流命名为刚性光流；所述第二深度预测网络包括：新深度预测网络和位姿估计网络；所述新深度预测网络为优化后的深度预测子网络；采用特征点法提取所述图像序列数据中特征点，并采用快速最近邻匹配算法基于所述特征点生成第二特征点对；获取第二特征点对中像素点的匹配点和第一特征点对中像素点的匹配点，并确定所述第二特征点对中像素点的匹配点和所述第一特征点对中像素点的匹配点间的欧式距离，将所述欧式距离作为第一约束条件；确定所述刚性光流和所述光流A间的误差，并将所述误差作为第二约束条件；其中，将光流网络生成的光流定义为光流A；基于所述第一约束条件和所述第二约束条件生成总约束条件；基于所述总约束条件训练所述光流预测网络，得到训练好的光流预测网络；采用所述训练好的光流预测网络获取所述图像序列数据中相邻两帧图像间的光流，并根据前后光流一致性挑选得到第三特征点对；从图像序列数据中随机挑选部分帧，根据所述深度信息图和第三特征点对通过PNP或对极几何方式求解位姿，剩余部分帧根据所述深度信息图和第二特征点对通过PNP或对极几何方式求解位姿。2.根据权利要求1所述的单目视觉里程计方法，其特征在于，所述采用光流预测网络获取所述图像序列数据中相邻两帧图像间的光流，并根据前后光流一致性挑选得到第一特征点对，具体包括：采用特征金字塔网络提取所述图像序列数据的特征；将提取得到的特征输入至光流估计器得到光流图像，并根据前后光流一致性挑选得到第一特征点对。3.根据权利要求2所述的单目视觉里程计方法，其特征在于，所述特征金字塔网络的层数为8，每一层均包含一个卷积层。4.一种单目视觉里程计系统，其特征在于，包括：单目相机，用于获取图像序列数据；第...

【专利技术属性】
技术研发人员：李思嘉，姜晓燕，庄雨及，方志军，高永彬，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：