一种应用深度数据分布约束的运动估计方法技术

本发明专利技术公开了一种应用深度数据分布约束的运动估计方法，本专利方案主要针对视觉 SLAM 中从相邻两次图像数据估计机器人运动的需求，使用特征提取算法提取特征点和特征点描述子，对于特征点根据距离分为近点和远点两类，分别使用RANSAC方法剔除错误结果，使得最终的匹配结果中，能够存在相对合理数量的近距离特征点和远距离特征点，并在此基础上改善机器人位姿运动估计的精度和稳定性。

A motion estimation method with depth data distribution constraints

【技术实现步骤摘要】
一种应用深度数据分布约束的运动估计方法
本专利技术涉及计算机视觉
，具体为一种应用深度数据分布约束的运动估计方法。
技术介绍
近年来移动机器人感知环境的技术不断发展，机器人同时估计自身位置和构建环境地图技术（SimultaneousLocalizationandMapping,SLAM）是实现智能化机器人的关键技术。当移动机器人位于未知场景中且无法通过外部信息直接获取自身位置和姿态信息时，机器人本体需要分析自身传感器实时数据同时完成自身位置的估计和环境地图的构建。SLAM问题可以描述为：机器人在未知环境中从初始点出发，运动时通过外部传感器获得的环境观测信息以及内部的里程计数据实现自定位，同时在此基础上结合传感器观测信息逐步构建环境地图，其主要流程如图6所示。早期机器人定位主要借助于激光雷达、IMU、距离传感器等，而随着计算机视觉的发展，相机以其廉价、低功率、数据丰富的特点在SLAM领域得到广泛的应用，被称为视觉SLAM。机器人在运动的过程中，安装在机器人本体的上的RGB-D相机能够实时采集图像数据。RGB-D相机上的彩色摄像头记录了环境的彩色图像数据，RGB-D相机上的深度摄像头记录了对应彩色图像上像素点距离机器人本体的距离信息，我们称之为深度数据。视觉SLAM利用摄像机作为获取环境场景信息的工具，能够从抓取的图像中得到非常丰富的图像特征，根据机器人工作环境和任务要求，从可重复性，准确性，稳定性，效率以及不变性等特点出发来评价和确定具体要采用的特征提取方式，然后选取合适的特征表达方法（如特征描述子），保证特征的提取和表达既能够准确的反应真实环境信息又便于高效处理。为了获得完整一致的环境地图，机器人需要通过局部与全局的数据关联才能将在不同时间不同地点获得的观测信息进行整合。数据关联指的是对不同图像间相同特征的匹配关联以及闭环检测过程（Loopclosuredetection），其中RGB-D相机拍摄到的相邻图像的特征对应关系确定代表的是局部数据关联，可用于估计机器人在这段时间的运动。错误的数据关联往往会带来非常严重的问题，引发错误的运动估计，从而使得地图构建出现不一致和混乱，因此研究准确高效的数据关联和运动估计算法成为视觉SLAM中的关键技术。目前基于RGB-D数据的视觉SLAM技术虽然已经得到了很大的发展，但针对RGB-D数据中的深度信息的利用依然较为单调，深度数据中所包含的信息在SLAM中相邻关键帧的匹配应用值得进一步的研究，且依旧没有一个公认准确的解决方案。在视觉SLAM中，为了计算两帧图像间移动机器人的运动大小，必须充分的利用这两帧图像所包含的相同信息。通常的做法是利用从图像中还原得到的点的三维信息进行ICP（迭代最近点，IterativeClosestPoint）匹配来估计图像间的运动。ICP算法通常用于对两个具有运动关系的二维或者三维的点集进行配准对齐，以求解得到点集间的旋转和平移变换关系。无论两个点集间点的对应关系是否已知，ICP都能够通过不断地迭代来力求求解最优值。针对点的匹配又有两种不同的操作方式：一种是将两帧图像中从图像中得到的全部三维点进行匹配，另一种即通过挑选两帧图像中具有共同典型特征的点进行匹配。第一种匹配方式直接简单，但是一次匹配的点很多（如一帧RGB-D深度图包含近10万个点），需要消耗很大的内存与计算量，且因点多密集容易引发ICP匹配的错误极值问题，往往得到的图像运动估计精度不太理想。第二种匹配方式一般通过随机采样一致（RANSAC）算法的处理只留下图像间共有的少数的关键特征点再结合ICP算法进行运动估计，提高了运动估计的速度和准确度。但是实际应用场景中出现近距离物体上纹理丰富特征点数量远多于远处物体上的特征点数量时，大多数的inliers分布在近距离的物体上，从而下一步的ICP结果会偏移，产生较大的误差，亟待一种改进的技术来解决现有技术中所存在的这一问题。
技术实现思路
本专利技术的目的在于提供一种应用深度数据分布约束的运动估计方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种应用深度数据分布约束的运动估计方法，包括以下步骤：步骤一：RGB-D相机采集相邻时间的两帧图像，并分别对近距离和远距离提取图像中的特征点及其描述子；步骤二：在通过特征提取算法得到图像特征点及其描述子之后，通过匹配来确定两幅图中共同视觉特征的对应关系；步骤三：通过计算两个描述子间的距离来度量其相似性；步骤四：使用FlannBasedMatcher利用快速近似最近邻搜索算法查找，找到一个相对优秀的最近邻近似匹配；步骤五：采用随机采样一致性算法分别对近距离和远距离特征点和特征点描述子的错误匹配对进行剔除，从匹配对中随机的选取3个匹配对，使用选取的3个匹配对计算图像间的基础矩阵，然后利用基础矩阵计算图一中每个特征点在图二中的极线，然后计算图二对应特征点到对应极线的距离，距离小于给定阈值的匹配被认定为合格，否则判定为错误的匹配；对以上过程重复迭代一定次数，选取合格数量最多的那次迭代作为最终的匹配效果，其合格被当成准确的匹配并基于此次迭代的所有合格重新计算基础矩阵；步骤六：通过特征提取和匹配环节，两帧图像间相同特征点的一一对应关系得以确立，利用两个图像对应特征点的深度信息生成两个对应的三维点集，然后对点集进行配准，首先从匹配点集中随机选取3个匹配对，利用ICP算法估计这三个匹配对的变换T，然后来统计内点数量，重复随机取点到内点统计的过程，迭代N次后采用内点数量最多的T作为运动变换估计；步骤七：使用结合随机采样一致性算法的ICP算法对两个三维点集进行配准，估计机器人的运动。优选的，所述步骤二中特征提取算法为SIFT、SURF或ORB算法其中的任意一种。优选的，所述步骤三中计算两个描述子间的距离采用的方法为欧氏距离，马氏距离，汉明距离以及海宁格距离其中的一种或多种。优选的，所述步骤五中随机采样一致性算法的基本算法为给定一个包含噪声的样本点集O和样本集包含的函数模型M的形式，随机采样一致性算法随机的从样本点集O中选取计算函数模型M最少所需的N个点，利用选取的点计算模型M的参数，然后通过计算得到的函数模型M来判定样本点集中的每个点是否为内点，统计内点的数量，不断地重复以上的随机取点到统计内点的过程，迭代一定次数以后，取内点数最多的那次迭代所计算的函数模型M作为样本点集O可信赖的描述模型，其内点为合格点。优选的，所述步骤六中3个匹配对先要检验三个点对是否满足ICP算法的基本条件，如果不符合则重新选取匹配对。与现有技术相比，本专利技术的有益效果是：本专利技术方案主要针对视觉SLAM中从相邻两次图像数据估计机器人运动的需求，使用特征提取算法提取特征点和特征点描述子，对于特征点根据距离分为近点和远点两类，分别使用RANSAC方法剔除错误结果，使得最终的匹配结果中，能够存在相对合理数量的近距离特征点和远距离特征点，从而提高运动估计的精度和稳定性。...

【技术保护点】
1.一种应用深度数据分布约束的运动估计方法，其特征在于：包括以下步骤：/n步骤一：RGB-D相机采集相邻时间的两帧图像，并分别对近距离和远距离提取图像中的特征点及其描述子；/n步骤二：在通过特征提取算法得到图像特征点及其描述子之后，通过匹配来确定两幅图中共同视觉特征的对应关系；/n步骤三：通过计算两个描述子间的距离来度量其相似性；/n步骤四：使用FlannBasedMatcher利用快速近似最近邻搜索算法查找，找到一个相对优秀的最近邻近似匹配；/n步骤五：采用随机采样一致性算法分别对近距离和远距离特征点和特征点描述子的错误匹配对进行剔除，从匹配对中随机的选取 3 个匹配对，使用选取的 3 个匹配对计算图像间的基础矩阵，然后利用基础矩阵计算图一中每个特征点在图二中的极线，然后计算图二对应特征点到对应极线的距离，距离小于给定阈值的匹配被认定为合格，否则判定为错误的匹配；对以上过程重复迭代一定次数，选取合格数量最多的那次迭代作为最终的匹配效果，并基于此次迭代的所有合格特征点重新计算基础矩阵；/n步骤六：通过特征提取和匹配环节，两帧图像间相同特征点的一一对应关系得以确立，利用两个图像对应特征点的深度信息生成两个对应的三维点集，然后对点集进行配准，首先从匹配点集中随机选取 3 个匹配对，利用 ICP算法估计这三个匹配对的变换 T，然后来统计内点数量，重复随机取点到内点统计的过程，迭代 N 次后采用内点数量最多的 T 作为运动变换估计；/n步骤七：使用结合随机采样一致性算法的 ICP 算法对两个三维点集进行配准，估计机器人的运动。/n...

【技术特征摘要】
1.一种应用深度数据分布约束的运动估计方法，其特征在于：包括以下步骤：
步骤一：RGB-D相机采集相邻时间的两帧图像，并分别对近距离和远距离提取图像中的特征点及其描述子；
步骤二：在通过特征提取算法得到图像特征点及其描述子之后，通过匹配来确定两幅图中共同视觉特征的对应关系；
步骤三：通过计算两个描述子间的距离来度量其相似性；
步骤四：使用FlannBasedMatcher利用快速近似最近邻搜索算法查找，找到一个相对优秀的最近邻近似匹配；
步骤五：采用随机采样一致性算法分别对近距离和远距离特征点和特征点描述子的错误匹配对进行剔除，从匹配对中随机的选取3个匹配对，使用选取的3个匹配对计算图像间的基础矩阵，然后利用基础矩阵计算图一中每个特征点在图二中的极线，然后计算图二对应特征点到对应极线的距离，距离小于给定阈值的匹配被认定为合格，否则判定为错误的匹配；对以上过程重复迭代一定次数，选取合格数量最多的那次迭代作为最终的匹配效果，并基于此次迭代的所有合格特征点重新计算基础矩阵；
步骤六：通过特征提取和匹配环节，两帧图像间相同特征点的一一对应关系得以确立，利用两个图像对应特征点的深度信息生成两个对应的三维点集，然后对点集进行配准，首先从匹配点集中随机选取3个匹配对，利用ICP算法估计这三个匹配对的变换T，然后来统计内点数量，重复随机取点到内点统计的过程，迭代N次后采用内点数量最多的...

【专利技术属性】
技术研发人员：吕岳，张晓峰，沈季玮，
申请(专利权)人：南通慧识智能科技有限公司，
类型：发明
国别省市：江苏;32