基于物体实例匹配的机器人语义SLAM方法、处理器及机器人技术

本公开提供了基于物体实例匹配的机器人语义SLAM方法、处理器及机器人。其中，机器人语义SLAM方法，包括获取机器人运行过程中拍摄的图像序列，对每帧图像进行特征点提取、匹配和跟踪来估计相机运动；提取关键帧，对关键帧进行实例分割，获取每帧关键帧中的所有的物体实例；对关键帧进行特征点提取并计算特征点描述子，对关键帧中的所有物体实例进行特征提取与编码来计算实例的特征描述向量，同时获取实例三维点云；分别对相邻关键帧之间的特征点及物体实例进行特征点匹配和实例匹配；融合特征点匹配和实例匹配对SLAM的位姿估计结果进行局部非线性优化，得到携带物体实例语义标注信息的关键帧，并将其映射到实例三维点云中，构建出三维语义地图。

Robot Semantic SLAM Method, Processor and Robot Based on Object Case Matching

This disclosure provides a robot semantic SLAM method, processor and robot based on object instance matching. Among them, the SLAM method of robot semantics includes acquiring the image sequence captured during the operation of the robot, extracting, matching and tracking the feature points of each frame to estimate the camera motion; extracting the key frames, dividing the key frames into instances, obtaining all the object instances in each frame; extracting the feature points of the key frames and calculating the descriptor of the feature points, which is the key point. All object instances in the frame are extracted and coded to calculate the feature description vectors of the instances, and the three-dimensional point clouds of the instances are obtained. The feature points and object instances between adjacent key frames are matched and matched separately. The SLAM pose estimation results are optimized locally by combining feature point matching and case matching to obtain the semantic tags of the carrying object instances. The key frames annotated with information are mapped into the three-dimensional point cloud of an instance to construct a three-dimensional semantic map.

【技术实现步骤摘要】
基于物体实例匹配的机器人语义SLAM方法、处理器及机器人
本公开属于机器人导航
，尤其涉及一种基于物体实例匹配的机器人语义SLAM方法、处理器及机器人。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。在机器人导航领域，同步定位与地图构建(SimultaneousLocalizationandMapping,SLAM)是指：机器人从未知环境的未知地点出发，在运动过程中通过重复观测到的环境特征定位自身位置和姿态，再根据自身位姿构建环境地图，从而达到同时定位和地图构建的目的。SLAM技术的目的主要是解决定位和地图构建这两个问题，自提出以来，迅速得到了广大学者的关注和研究，一直以来都被认为是实现全自主移动机器人的关键技术。针对一些特定的机器人(如无人机等)由于自身无法搭载里程计进行位置估计和激光雷达成本较高等原因，近年来，基于视觉的SLAM(VisualSLAM,vSLAM)技术受到了广泛的关注和研究，vSLAM主要包括视觉里程计、后端优化、地图构建和闭环检测等模块，实现方式主要有特征点法和直接法；数据源主要有单目、双目和RGB-D视频流。然而传统vSLAM算法依赖于基于点、线、面等低语义层次的特征提取与匹配算法来估计相机运动，不仅缺乏语义信息，而且特征匹配的鲁棒性较低，容易引起较大的估计误差。同时传统vSLAM的闭环检测算法具有很强的视点依赖性，在复杂或重复的环境中容易产生较大的错误率。语义SLAM通过将语义信息与vSLAM进行有效融合，使得机器人能够从几何和内容两个方面感知环境，提高了机器人的服务能力和人机交互的智能性。但是专利技术人发现目前针对语义SLAM的研究工作大多是需要已知的三维模型作为先验知识，或者仅仅对有限的几种物体类别进行语义分割而无法区分物体的个体。
技术实现思路
根据本公开的一个或多个实施例的一个方面，提供一种基于物体实例匹配的机器人语义SLAM方法，能够实现识别场景中物体个体并构建三维语义地图，同时又可基于不同关键帧之间的实例匹配来优化SLAM位姿的估计结果。本公开的一种基于物体实例匹配的机器人语义SLAM方法，包括：获取机器人运行过程中拍摄的图像序列，对每帧图像进行特征点提取、匹配和跟踪来估计相机运动；提取关键帧，对关键帧进行实例分割，获取每帧关键帧中的所有的物体实例；对关键帧进行特征点提取并计算特征点描述子，对关键帧中的所有物体实例进行特征提取与编码来计算实例的特征描述向量，同时获取实例三维点云；根据特征点描述子和特征描述向量，分别对相邻关键帧之间的特征点及物体实例进行特征点匹配和实例匹配；融合特征点匹配和实例匹配对SLAM的位姿估计结果进行局部非线性优化，得到携带物体实例语义标注信息的关键帧；将携带物体实例语义标注信息的关键帧映射到实例三维点云中，构建出三维语义地图。在一个或多个实施例中，在估计相机运动的过程中，利用光束平差法求解相邻帧的相机运动：首先对相邻帧图像进行ORB特征点提取与匹配，得到相邻帧的若干对ORB特征点；然后根据这若干对ORB特征点构建非线性最小二乘问题，求解得到相机的位姿。在一个或多个实施例中，在提取关键帧的过程中，将帧间相对运动距离的大小作为提取图像序列中的关键帧的依据。在一个或多个实施例中，若帧间相对运动距离介于允许的帧间最小相对运动距离和最大相对运动距离之间，则当前帧为关键帧。在一个或多个实施例中，采用基于深度学习的实例分割框架—MaskR-CNN网络来对关键帧图像进行实例分割，以获取每帧关键帧图像中的所有实例；其中，MaskR-CNN网络在FasterR-CNN的基础上添加一个全卷积神经网络分支用来输出实例掩码，从而对检测框中实例的轮廓进行像素级的分割。在一个或多个实施例中，计算实例的特征描述向量的过程包括：基于VLAD算法利用训练集构建视觉词汇表，对训练集中的每帧图像进行网格划分，对每个网格中心提取稠密SIFT特征和RGB颜色值，获得每个网格的特征描述向量；利用k-mean算法将得到的网格特征描述向量聚类成预设数量的类，并计算每个网格特征描述向量与其聚类中的残差向量，对所有的残差向量进行幂率归一化和L2范数归一化，然后利用归一化的残差向量对实例的检测框图像进行特征编码，得到实例的特征描述向量。根据本公开的一个或多个实施例的另一个方面，提供一种基于物体实例匹配的机器人语义SLAM处理器，能够实现识别场景中物体个体并构建三维语义地图，同时又可基于不同关键帧之间的实例匹配来优化SLAM位姿的估计结果。本公开的一种基于物体实例匹配的机器人语义SLAM处理器，包括：相机运动估计模块，其用于获取机器人运行过程中拍摄的图像序列，对每帧图像进行特征点提取、匹配和跟踪来估计相机运动；实例获取模块，其用于提取关键帧，对关键帧进行实例分割，获取每帧关键帧中的所有的物体实例；特征描述模块，其用于对关键帧进行特征点提取并计算特征点描述子，对关键帧中的所有物体实例进行特征提取与编码来计算实例的特征描述向量，同时获取实例三维点云；特征点及实例匹配模块，其用于根据特征点描述子和特征描述向量，分别对相邻关键帧之间的特征点及物体实例进行特征点匹配和实例匹配；位姿估计优化模块，其用于融合特征点匹配和实例匹配对SLAM的位姿估计结果进行局部非线性优化，得到携带物体实例语义标注信息的关键帧；三维语义地图构建模块，其用于将携带物体实例语义标注信息的关键帧映射到实例三维点云中，构建出三维语义地图。在一个或多个实施例中，在所述相机运动估计模块中，利用光束平差法求解相邻帧的相机运动：首先对相邻帧图像进行ORB特征点提取与匹配，得到相邻帧的若干对ORB特征点；然后根据这若干对ORB特征点构建非线性最小二乘问题，求解得到相机的位姿。在一个或多个实施例中，在所述实例获取模块中，将帧间相对运动距离的大小作为提取图像序列中的关键帧的依据。在一个或多个实施例中，在所述实例获取模块中，采用基于深度学习的实例分割框架—MaskR-CNN网络来对关键帧图像进行实例分割，以获取每帧关键帧图像中的所有实例；其中，MaskR-CNN网络在FasterR-CNN的基础上添加一个全卷积神经网络分支用来输出实例掩码，从而对检测框中实例的轮廓进行像素级的分割。在一个或多个实施例中，在所述特征描述模块中，计算实例的特征描述向量的过程包括：基于VLAD算法利用训练集构建视觉词汇表，对训练集中的每帧图像进行网格划分，对每个网格中心提取稠密SIFT特征和RGB颜色值，获得每个网格的特征描述向量；利用k-mean算法将得到的网格特征描述向量聚类成预设数量的类，并计算每个网格特征描述向量与其聚类中的残差向量，对所有的残差向量进行幂率归一化和L2范数归一化，然后利用归一化的残差向量对实例的检测框图像进行特征编码，得到实例的特征描述向量。在一个或多个实施例中，在所述实例获取模块中，若帧间相对运动距离介于允许的帧间最小相对运动距离和最大相对运动距离之间，则当前帧为关键帧。根据本公开的一个或多个实施例的另一个方面，提供一种基于物体实例匹配的机器人语义SLAM机器人，能够实现识别场景中物体个体并构建三维语义地图，同时又可基于不同关键帧之间的实例匹配来优化SLAM位姿的估计结果。本公开的一种基于物体实例匹配本文档来自技高网...

【技术保护点】
1.一种基于物体实例匹配的机器人语义SLAM方法，其特征在于，包括：获取机器人运行过程中拍摄的图像序列，对每帧图像进行特征点提取、匹配和跟踪来估计相机运动；提取关键帧，对关键帧进行实例分割，获取每帧关键帧中的所有的物体实例；对关键帧进行特征点提取并计算特征点描述子，对关键帧中的所有物体实例进行特征提取与编码来计算实例的特征描述向量，同时获取实例三维点云；根据特征点描述子和特征描述向量，分别对相邻关键帧之间的特征点及物体实例进行特征点匹配和实例匹配；融合特征点匹配和实例匹配对SLAM的位姿估计结果进行局部非线性优化，得到携带物体实例语义标注信息的关键帧；将携带物体实例语义标注信息的关键帧映射到实例三维点云中，构建出三维语义地图。

【技术特征摘要】
1.一种基于物体实例匹配的机器人语义SLAM方法，其特征在于，包括：获取机器人运行过程中拍摄的图像序列，对每帧图像进行特征点提取、匹配和跟踪来估计相机运动；提取关键帧，对关键帧进行实例分割，获取每帧关键帧中的所有的物体实例；对关键帧进行特征点提取并计算特征点描述子，对关键帧中的所有物体实例进行特征提取与编码来计算实例的特征描述向量，同时获取实例三维点云；根据特征点描述子和特征描述向量，分别对相邻关键帧之间的特征点及物体实例进行特征点匹配和实例匹配；融合特征点匹配和实例匹配对SLAM的位姿估计结果进行局部非线性优化，得到携带物体实例语义标注信息的关键帧；将携带物体实例语义标注信息的关键帧映射到实例三维点云中，构建出三维语义地图。2.如权利要求1所述的基于物体实例匹配的机器人语义SLAM方法，其特征在于，在估计相机运动的过程中，利用光束平差法求解相邻帧的相机运动：首先对相邻帧图像进行ORB特征点提取与匹配，得到相邻帧的若干对ORB特征点；然后根据这若干对ORB特征点构建非线性最小二乘问题，求解得到相机的位姿。3.如权利要求1所述的基于物体实例匹配的机器人语义SLAM方法，其特征在于，在提取关键帧的过程中，将帧间相对运动距离的大小作为提取图像序列中的关键帧的依据。4.如权利要求3所述的基于物体实例匹配的机器人语义SLAM方法，其特征在于，若帧间相对运动距离介于允许的帧间最小相对运动距离和最大相对运动距离之间，则当前帧为关键帧。5.如权利要求1所述的基于物体实例匹配的机器人语义SLAM方法，其特征在于，采用基于深度学习的实例分割框架—MaskR-CNN网络来对关键帧图像进行实例分割，以获取每帧关键帧图像中的所有实例；其中，MaskR-CNN网络在FasterR-CNN的基础上添加一个全卷积神经网络分支用来输出实例掩码，从而对检测框中实例的轮廓进行像素级的分割。6.如权利要求1所述的基于物体实例匹配的机器人语义SLAM方法，其特征在于，计算实例的特征描述向量的过程包括：基于VLAD算法利用训练集构建视觉词汇表，对训练集中的每帧图像进行网格划分，对每个网格中心提取稠密SIFT特征和RGB颜色值，获得每个网格的特征描述向量；利用k-mean算法将得到的网格特征描述向量聚类成预设数量的类，并计算每个网格特征描述向量与其聚类中的残差向量，对所有的残差向量进行幂率归一化和L2范数归一化，然后利用归一化的残差向量对实例的检测框图像进行特征编码，得到实例的特征描述向量。7.一种基于物体实例匹配的机器人语义SLAM处理器...

【专利技术属性】
技术研发人员：吴皓，迟金鑫，马庆，焦梦林，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37