【技术实现步骤摘要】
一种基于环境物体的语义定位方法
[0001]本专利技术涉及机器人
，尤其涉及一种基于环境物体的语义定位方法。
技术介绍
[0002]移动机器人给人类的日常生活带来了极大的便利，它可以按照程序设计自动执行人类安排的指定任务。精确定位是移动机器人安全，高效完成任务的基本要求之一。视觉SLAM是当前最受研究人员青睐的高精度、低成本的定位方式。目前的视觉SLAM在图像中提取基于人工设计的像素特征点，并对特征点的亮度梯度进行编码、聚类，最后通过多视角几何技术估计移动机器人的位置和姿态，实现定位。这种方法易受环境光照变化，机器人移动角度变化的影响。导致移动机器人无法精确的确定自己的位置，进而无法完成指定任务，而且这种基于人工设计的像素特征点不符合人类对环境在物体和语义层面上理解的方式。
[0003]因此，本领域的技术人员致力于开发一种基于环境物体的语义定位方法。模拟人类对环境的感知方式，通过构建语义物体三维地图，实现机器人在移动过程中定位估计漂移的矫正，以此提高机器人工作时的定位精度。
技术实现思路
[0004]有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是在环境光照强度、相机观测视角变化的场景中，传统的基于人工设计的特征的相机定位方法准确性较低的问题。
[0005]为实现上述目的，本专利技术提供了一种基于环境物体的语义定位方法，包括以下步骤：
[0006]步骤1、语义建图：卷积神经网络提取相机图像中目标物体的语义信息和位置信息，构建用于闭环检测的语义物体三维地图；>[0007]步骤2、闭环检测：结合相机图像中的物体与语义物体三维地图的物体双向对比匹配，检测相机是否经过历史的地点，若经过则生成用于相机定位矫正的匹配的物体；
[0008]步骤3、定位矫正：计算具有匹配关系物体之间的相对位置关系，并建立相机位置与物体位置的位姿图，通过位姿图优化矫正相机定位。
[0009]进一步地，所述步骤1包括以下步骤：
[0010]步骤1.1、输入双目相机左目采集的RGB彩色图像，通过卷积神经网络提取图像中目标物体，获得目标物体的标签信息、图像中的2D边界框位置和物体尺寸；
[0011]步骤1.2、利用双目相机的左目和右目的RGB彩色图像，通过基于视觉几何方法的双目深度计算算法，计算所有目标物体在环境中的3D深度值，作为目标物体到相机成像平面的垂直距离，即为物体在环境中相对相机的3D位置；
[0012]步骤1.3、利用视觉里程计提取左目和右目图像的特征点，建立特征点的重投影误差约束估计相机的相对位置信息；
[0013]步骤1.4、基于时空关系约束的物体3D位姿优化算法，通过建立在时间上连续RGB
彩色图像上的目标物体提取结果和空间上环境中目标物体3D位置的约束关系，最小化CNN提取结果和深度三角测量算法的误差；
[0014]步骤1.5、获得目标物体标签信息，2D边界框位置，物体尺寸以及在环境中的3D位置，将目标物体在环境中表示为3D立方体包围框，最终获得以相机光心为原点作为参考系的3D立体局部语义地图。
[0015]进一步地，所述步骤2包括以下步骤：
[0016]步骤2.1、对于相机输入的RGB彩色图像，根据语义建图得到局部语义地图；在局部语义地图中，每个3D立体包围框的中心位置，都建立一个拓扑点；每个拓扑点之间的连线设置为拓扑边，拓扑点之间的空间距离即位该点对应拓扑边的权重；从局部语义地图得到了局部拓扑地图；
[0017]步骤2.2、利用视觉SLAM技术估计相机的运动信息，将以相机光心为原点的参考系的局部语义地图，转变为以环境中相机起始点为原点为参考系的全局语义地图；按照局部拓扑地图生成方法得到全局拓扑地图；
[0018]步骤2.3、基于物体标签信息和位姿的回环检测算法，利用KM算法匹配局部和全局拓扑地图，计算出在全局拓扑地图中与当前时刻下的局部拓扑地图对应的拓扑点，即为得到二者之间的匹配对应的物体，为闭环物体匹配对；
[0019]步骤2.4、得到匹配物体后通过物体的语义信息进行几何验证，计算匹配对物体的尺寸，标签，姿态信息的差值，当差值小于一定阈值时，确认相机到达闭环位置，立即进行定位漂移矫正。
[0020]进一步地，所述步骤3包括以下步骤：
[0021]步骤3.1、通过对齐每个闭环物体匹配对，计算得到物体之间的位置误差，通过平均每对物体间位置误差的方法计算当前时刻相机定位估计的漂移距离；
[0022]步骤3.2、利用基于位姿图优化的定位估计漂移矫正算法，降低相机定位估计的误差，矫正相机定位估计的漂移。
[0023]进一步地，所述基于视觉几何方法的双目深度计算算法，基于双目相机的深度估计算法计算场景中目标物体的相对距离，首先通过立体相机标定获得双目相机的内参以及两相机间的旋转矩阵和平移矩阵，然后将双目相机图像经过立体校正，得到无失真且水平对齐的双目图像，再对校正后的双目图像采用半全局立体匹配算法，得到当前场景的深度图，结合目标物体2D边界框，计算目标中心的相对深度，作为目标物体的到相机成像平面的垂直距离。
[0024]进一步地，所述基于视觉几何方法的双目深度计算算法包括以下步骤：
[0025]步骤1.2.1、立体相机标定；
[0026]步骤1.2.2、立体图像校正；
[0027]步骤1.2.3、半全局立体匹配。
[0028]进一步地，所述半全局立体匹配包括代价匹配、代价聚合、视差计算和视差优化。
[0029]进一步地，所述视差优化包括极线约束、相似性约束、唯一性约束和左右一致性约束。
[0030]进一步地，所述基于时空关系约束的物体3D位姿优化算法，首先通过基于物体局部特征的数据关联算法，匹配不同图像帧中预测3D立方体包围框中局部特征，关联相邻帧
中同一个物体的3D立方体包围框；然后基于空间
‑
时间联合优化算法，最小化目标在图像帧和空间坐标的投影误差。
[0031]进一步地，所述基于时空关系约束的物体3D位姿优化算法包括以下步骤：
[0032]步骤1.4.1、SIFT特征提取和描述子匹配；
[0033]步骤1.4.2、局部特征匹配的物体关联；
[0034]步骤1.4.3、物体3D位姿优化。
[0035]在本专利技术的较佳实施方式中，针对在环境光照强度、相机观测视角变化的场景中，基于人工设计的特征的相机定位方法准确性和鲁棒性较低的问题。提供了一种基于环境物体的更精确、更鲁棒的语义定位方法。该方法的原理是通过卷积神经网络提取图像中目标物体的语义信息，并利用视觉里程计来估计相机的位置信息，以提高定位精确度和鲁棒性。包括语义建图、闭环检测和定位矫正三个模块。在语义建图模块中，输入的图像可以是双目相机的左目或者右目的RGB彩色图像，通过卷积神经网络提取出目标物体的标签信息以及其在图像中的2D边界框位置和尺寸。闭环检测模块则通过双向对比匹配的方式，检测相机是否经过历史的地点，如果经过则本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于环境物体的语义定位方法，其特征在于，包括以下步骤：步骤1、语义建图：卷积神经网络提取相机图像中目标物体的语义信息和位置信息，构建用于闭环检测的语义物体三维地图；步骤2、闭环检测：结合相机图像中的物体与语义物体三维地图的物体双向对比匹配，检测相机是否经过历史的地点，若经过则生成用于相机定位矫正的匹配的物体；步骤3、定位矫正：计算具有匹配关系物体之间的相对位置关系，并建立相机位置与物体位置的位姿图，通过位姿图优化矫正相机定位。2.如权利要求1所述的基于环境物体的语义定位方法，其特征在于，所述步骤1包括以下步骤：步骤1.1、输入双目相机左目采集的RGB彩色图像，通过卷积神经网络提取图像中目标物体，获得目标物体的标签信息、图像中的2D边界框位置和物体尺寸；步骤1.2、利用双目相机的左目和右目的RGB彩色图像，通过基于视觉几何方法的双目深度计算算法，计算所有目标物体在环境中的3D深度值，作为目标物体到相机成像平面的垂直距离，即为物体在环境中相对相机的3D位置；步骤1.3、利用视觉里程计提取左目和右目图像的特征点，建立特征点的重投影误差约束估计相机的相对位置信息；步骤1.4、基于时空关系约束的物体3D位姿优化算法，通过建立在时间上连续RGB彩色图像上的目标物体提取结果和空间上环境中目标物体3D位置的约束关系，最小化CNN提取结果和深度三角测量算法的误差；步骤1.5、获得目标物体标签信息，2D边界框位置，物体尺寸以及在环境中的3D位置，将目标物体在环境中表示为3D立方体包围框，最终获得以相机光心为原点作为参考系的3D立体局部语义地图。3.如权利要求1所述的基于环境物体的语义定位方法，其特征在于，所述步骤2包括以下步骤：步骤2.1、对于相机输入的RGB彩色图像，根据语义建图得到局部语义地图；在局部语义地图中，每个3D立方体包围框的中心位置，都建立一个拓扑点；每个拓扑点之间的连线设置为拓扑边，拓扑点之间的空间距离即位该点对应拓扑边的权重；从局部语义地图得到了局部拓扑地图；步骤2.2、利用视觉SLAM技术估计相机的运动信息，将以相机光心为原点的参考系的局部语义地图，转变为以环境中相机起始点为原点为参考系的全局语义地图；按照局部拓扑地图生成方法得到全局拓扑地图；步骤2.3、基于物体标签信息和位姿的回环检测算法，利用KM算法匹配局部和全局拓扑地图，计算出在全局拓扑地图中与当前时刻下的局部拓扑地图对应的拓扑点，即为得到二...
【专利技术属性】
技术研发人员：计星武，应忍冬，刘佩林，陈祥，牛昊晨，文飞，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。