基于语义信息的定位方法、装置和终端设备制造方法及图纸

本申请提供一种基于语义信息的定位方法、装置和终端设备，该方法包括：对获取的RGBD图像进行语义分割，得到每个像素的语义标签；基于RGBD图像进行点云重建，并将每个像素的语义标签映射到重建的点云中，得到带语义标签的当前帧语义点云和三维场景语义地图；对当前帧和语义地图中的各三维语义点云分别进行二维离散语义特征点生成，得到对应的二维语义特征点图像，然后对二维语义特征点图像中各特征点进行三维语义特征描述；基于三维语义特征描述，将当前帧中的所有特征点和语义地图中的所有特征点进行特征匹配，以获得定位信息。该方法通过引入语义特征，可有效提高定时时的特征匹配效率并降低误匹配概率等。配效率并降低误匹配概率等。配效率并降低误匹配概率等。

【技术实现步骤摘要】
基于语义信息的定位方法、装置和终端设备


[0001]本申请涉及定位
，尤其涉及一种基于语义信息的定位方法、装置和终端设备。

技术介绍

[0002]传统的即时定位与地图构建(即SLAM)系统定位方法中由于缺少语义信息，因此在定位过程中完全依赖于几何特征和视觉特征。在缺少语义信息的情况下，需要遍历整个地图搜索与当前位置信息最匹配的位置，因此定位算法相对耗时且容易产生误匹配，特别在视觉SLAM中，基于视觉特征的定位方法极易受光照变化、场景变化的影响，同时对于动态场景也极其敏感，从而影响定位准确性等。

技术实现思路

[0003]有鉴于此，本申请实施例提供一种基于语义信息的定位方法、装置和终端设备，可有效解决传统SLAM系统中无法解决的动态变化和光照变化情况下的定位难题等。
[0004]第一方面，本申请实施例提供一种基于语义信息的定位方法，包括：
[0005]对获取的深度图像进行语义分割，得到每个像素的语义标签；
[0006]基于所述RGBD图像进行点云重建，并将所述每个像素的语义标签映射到重建的点云中，分别得到带语义标签的当前帧语义点云和三维场景语义地图；
[0007]对所述当前帧和所述语义地图中的各三维语义点云分别进行二维离散语义特征点生成，得到对应的二维语义特征点图像，然后对所述二维语义特征点图像中各特征点进行三维语义特征描述；
[0008]基于所述三维语义特征描述，将所述当前帧中的所有特征点和所述语义地图中的所有特征点进行特征匹配，以获得定位信息。
[0009]在一些实施例中，所述获得定位信息之后，还包括：
[0010]将基于所述二维语义特征点图像构建的语义特征点地图划分为预设数量个子地图，其中，各个子地图之间存在匹配当前帧的观测范围的重合区域；然后，提取所述当前帧中的部分语义点云和所述子地图中具有相同语义标签的目标语义点云，利用迭代最近点算法进行语义点云配准，以获得高精度定位信息。
[0011]在一些实施例中，所述对所述当前帧和所述语义地图中的各三维语义点云分别进行二维离散语义特征点生成，得到对应的二维语义特征点图像，包括：
[0012]将所述当前帧和所述语义地图中的各三维语义点云投影到二维平面，计算得到各三维语义点云对应的二维特征图像坐标；
[0013]统计每个所述二维特征图像坐标下对应的不同语义类别的三维点云个数，将个数最多的对应语义类别的语义标签作为二维特征点的像素值，直至遍历完所有的三维语义点云，生成对应的二维语义特征点图像。
[0014]在一些实施例中，所述计算得到各三维语义点云对应的二维特征图像坐标，包括：
[0015]将所述三维语义点云由相机坐标系变换到地面为X
‑
Y坐标平面且Z轴垂直于地面向上的坐标系下，然后分别求解所述三维语义点云中每个坐标的最小值和最大值；
[0016]根据二维离散化的分辨率、所述最小值和所述最大值，计算二维离散化后的图像分辨率，并计算在所述图像分辨率下所述三维语义点云对应的二维特征图像坐标。
[0017]在一些实施例中，所述对所述二维语义特征点图像中每个特征点进行三维语义特征描述，包括：
[0018]基于邻近搜索算法搜索所述二维语义特征点图像中每个特征点对应的预设搜索半径内的若干近邻特征点，然后提取所述若干近邻特征点对应的所有三维语义点云作为局部语义点云；
[0019]将所述局部语义点云划分为不同的圆环区域，然后搜索并统计不同区域内的语义类别的个数，以构造对应区域的语义直方图，再将各个区域的所述语义直方图连接，得到所述特征点的三维语义特征描述。
[0020]在一些实施例中，所述局部语义点云的区域半径为R，划分的圆环数量为N
R
，所述不同区域内的语义类别的个数的搜索规则如下：
[0021]分别搜索半径为R/N
R
的圆形区域，以及内径为k*R/N
R
且外径为(k+1)*R/N
R
的环形区域，其中，k的取值为[1，
…
，N
R
‑
1]，直至搜索完所有区域。
[0022]在一些实施例中，所述将所述当前帧中的所有特征点和所述语义地图中的所有特征点进行特征匹配，包括：
[0023]将所述当前帧和所述语义地图中的具有相同语义标签的各个特征点进行匹配，得到相应数量的匹配对，所述匹配对用于获取在二维空间的定位信息。
[0024]在一些实施例中，所述将所述当前帧中的所有特征点和所述语义地图中的所有特征点进行特征匹配，包括：
[0025]将基于所述二维语义特征点图像构建的语义特征点地图划分为预设数量个子地图，其中，各个子地图之间存在符合当前帧的观测范围的重合区域；
[0026]分别提取每个子地图的特征描述，以将所述当前帧中的所有特征点与各个子地图进行特征匹配，得到对应于每个子地图的若干匹配对，并基于所述若干匹配对对所有子地图进行筛选，得到最匹配的子地图，所述最匹配的子地图用于获取在二维空间的定位信息。
[0027]在一些实施例中，所述基于所述若干匹配对对所有子地图进行筛选，包括：
[0028]通过随机选择所述匹配对以求解对应的变换矩阵，然后对所有匹配对求解内点，将内点数量最多的子地图作为最匹配的子地图。
[0029]第二方面，本申请实施例提供一种基于语义信息的定位装置，包括：
[0030]图像语义分割模块，用于对获取的深度图像进行语义分割，得到每个像素的语义标签；
[0031]语义地图构建模块，用于基于所述RGBD图像进行点云重建，并将所述每个像素的语义标签映射到重建的点云中，分别得到带语义标签的当前帧语义点云和三维场景语义地图；
[0032]语义特征描述模块，用于对所述当前帧和所述语义地图中的各三维语义点云分别进行二维离散语义特征点生成，得到对应的二维语义特征点图像，然后对所述二维语义特征点图像中各特征点进行三维语义特征描述；
[0033]特征匹配模块，用于基于所述三维语义特征描述，将所述当前帧中的所有特征点和所述语义地图中的所有特征点进行特征匹配，获得定位信息。
[0034]第三方面，本申请实施例提供一种终端设备，所述终端设备包括处理器和存储器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施上述的基于语义信息的定位方法。
[0035]第四方面，本申请实施例提供一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上执行时，实施根据上述的基于语义信息的定位方法。
[0036]本申请的实施例具有如下有益效果：
[0037]本申请实施例提出一种基于语义信息的定位方法，该方法通过先进行像素级的语义分割，以利用语义分割的结果实时地对场景进行感知，将静态物体、动态物体等和对应的语义标签进行聚类，可有效排除动态物体对定位的干扰，还可同时避免传统方法中对光照敏感的问题；进而，在得到带语义标签的当前帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义信息的定位方法，其特征在于，包括：对获取的RGBD图像进行语义分割，得到每个像素的语义标签；基于所述RGBD图像进行点云重建，并将所述每个像素的语义标签映射到重建的点云中，分别得到带语义标签的当前帧语义点云和三维场景语义地图；对所述当前帧和所述语义地图中的各三维语义点云分别进行二维离散语义特征点生成，得到对应的二维语义特征点图像，然后对所述二维语义特征点图像中各特征点进行三维语义特征描述；基于所述三维语义特征描述，将所述当前帧中的所有特征点和所述语义地图中的所有特征点进行特征匹配，以获得定位信息。2.根据权利要求1所述的基于语义信息的定位方法，其特征在于，所述获得定位信息之后，还包括：将基于所述二维语义特征点图像构建的语义特征点地图划分为预设数量个子地图，其中，各个子地图之间存在匹配当前帧的观测范围的重合区域；然后，提取所述当前帧中的部分语义点云和所述子地图中具有相同语义标签的目标语义点云，利用迭代最近点算法进行语义点云配准，以获得高精度定位信息。3.根据权利要求1所述的基于语义信息的定位方法，其特征在于，所述对所述当前帧和所述语义地图中的各三维语义点云分别进行二维离散语义特征点生成，得到对应的二维语义特征点图像，包括：将所述当前帧和所述语义地图中的各三维语义点云投影到二维平面，计算得到各三维语义点云对应的二维特征图像坐标；统计每个所述二维特征图像坐标下对应的不同语义类别的三维点云个数，将个数最多的对应语义类别的语义标签作为二维特征点的像素值，直至遍历完所有的三维语义点云，生成对应的二维语义特征点图像。4.根据权利要求3所述的基于语义信息的定位方法，其特征在于，所述计算得到各三维语义点云对应的二维特征图像坐标，包括：将所述三维语义点云由相机坐标系变换到地面为X
‑
Y坐标平面且Z轴垂直于地面向上的坐标系下，然后分别求解所述三维语义点云中每个坐标的最小值和最大值；根据二维离散化的分辨率、所述最小值和所述最大值，计算二维离散化后的图像分辨率，并计算在所述图像分辨率下所述三维语义点云对应的二维特征图像坐标。5.根据权利要求1所述的基于语义信息的定位方法，其特征在于，所述对所述二维语义特征点图像中每个特征点进行三维语义特征描述，包括：基于邻近搜索算法搜索所述二维语义特征点图像中每个特征点对应的预设搜索半径内的若干近邻特征点，然后提取所述若干近邻特征点对应的所有三维语义点云作为局部语义点云；将所述局部语义点云划分为不同的圆环区域，然后搜索并统计不同区域内的语义类别的个数，以构造对应区域的语义直方图，再将各个区域的所述语义直方图连接，得到所述特征点的三维语义特征描述。6.根据权利要求5所述的基于语义信息的定位方法，其特征在于，所述局部语义点云的区域半径为R，划分的圆环数量为N
R
，所述不同区域内的语义类别的个数的...

【专利技术属性】
技术研发人员：孙铁成，焦继超，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：