一种移动机器人连续语义建图方法技术

本发明专利技术公开了一种移动机器人连续语义建图方法，涉及机器人技术领域，该方法能够提高所构建三维地图的精度和效率。包括如下步骤：移动机器人搭载着视觉相机和三维激光雷达，并将两种传感器的数据融合为语义点云，进行三维重建；采用冗余体素过滤模型对体素进行分类，得到针对冗余体素的过滤因子，利用自适应核长度模型为每个体素分配合适的核长度；依托过滤因子和核长度，构造多熵值核函数从稀疏的包含噪音的语义点云推理得到稠密的准确的连续语义地图。义地图。义地图。

【技术实现步骤摘要】
一种移动机器人连续语义建图方法


[0001]本专利技术涉及机器人
，具体涉及一种移动机器人连续语义建图方法。

技术介绍

[0002]建图又被称为三维重建，本质是利用稀疏的带有噪声的传感器数据来构造周围场景的三维的密集准确表示，在未知环境探索、行为决策和路径规划等一系列机器人任务中发挥着关键性作用，被认为是机器人领域的一个重要问题。此外，当机器人被要求执行更高水平的任务，语义信息的加入可以帮助机器人区分物体类别，允许一个更高水平的环境表示。
[0003]目前，最广泛使用的语义建图技术是占用栅格建图。占用栅格建图假设体素是完全独立的，因此会生成离散的地图，不能填补地图的漏洞，这与现实世界中物体表面是连续的事实相矛盾。最近贝叶斯核推理的成功推动了连续建图的发展，例如S
‑
BKI。S
‑
BKI将局部空间相关性结合到建图模型中，可以从稀疏的传感器数据中推断出连续表面。具体来讲，在处理传感器观测数据时，S
‑
BKI不止考虑落入当前体素中的数据，还会考虑当前体素周围一定局部空间内的数据。如此以来那些没有观测数据的体素可以通过周围体素的信息被填补。
[0004]现有的连续语义建图方法存在两个主要缺陷：
[0005]其一，现有的连续语义建图没有充分考虑体素之间的潜在差异，所有体素被进行了相同的处理，因此物体旁边的体素被错误分配为占用状态，从而导致物体过度膨胀。这样一幅过度膨胀的地图是不适合于机器人导航任务的，因为原本可通行的空间可能会被堵塞。
[0006]其二，现有的连续建图方法对比离散建图方法，需要花费立方倍的计算成本，很难保证实时性，从而难以满足机器人在未知环境的在线工作要求。
[0007]因此，迫切需要一种新颖的连续语义建图方法，可以在提高建图效率的同时缓解地图过度膨胀的问题。

技术实现思路

[0008]有鉴于此，本专利技术提供了一种移动机器人连续语义建图方法，能够提高所构建三维地图的精度和效率。
[0009]为达到上述目的，本专利技术的技术方案包括如下步骤：
[0010]移动机器人搭载着视觉相机和三维激光雷达，并将两种传感器的数据融合为语义点云，进行三维重建；
[0011]采用冗余体素过滤模型对体素进行分类，得到针对冗余体素的过滤因子，利用自适应核长度模型为每个体素分配合适的核长度；
[0012]依托过滤因子和核长度，构造多熵值核函数从稀疏的包含噪音的语义点云推理得到稠密的准确的连续语义地图。
[0013]进一步地，移动机器人搭载着视觉相机和三维激光雷达，并将两种传感器的数据融合为语义点云，进行三维重建，具体为：
[0014]移动机器人在完全未知的环境中探索并重建周围环境，即给定一个移动机器人r，相机观测为I
1:t
，即1～t时刻的图像，激光雷达观察为L
1:t
，即1～t时刻的原始点云，以及机器人轨迹O
1:t
，即1～t时刻的机器人位姿，目标是估计连续语义地图
[0015][0016]其中值输入为I
1:t
,L
1:t
,O
1:t
时输出为的概率，三维重建问题的解对应于式(1)的最大后验估计；其中对于输入，O
t
∈SE(3)，为二维实数集，为三维实数集；对于输出，连续语义地图由一系列体素v
j
组成，j的取值为为体素总数；每个体素v
j
包含中心的三维坐标，以及一个相关联的元组用于存储概率语义标签，其中K是语义类别的总数，并且有
[0017]在时刻t，相机观测图像I
t
被输入语义分割网络，得到语义图像，第i个像素输出一个独热编码形式的测量元组i为像素索引，为第i个像素产生的关于第K类语义的独热编码；接着，利用相机和雷达的内参、相机雷达之间外参，将原始点云跨维投影在图像平面；图像的语义信息被传递给三维的雷达点，从而得到了当前时刻的语义点云根据位置信息，将语义点云进行对齐，保证都是在世界坐标系下完成；式(1)被重写为：
[0018][0019]对齐的语义点云由一系列语义点p
i
组成，数量为每个语义点p
i
关联着语义标签c
i
；三维重建的问题被细化为：给定语义点和标签目标是估计每个体素v
j
的概率语义标签λ
j
：
[0020][0021]其中为输入为输出为的后验估计概率；p(λ
j
∣v
j
,p
i
,c
i
)指输入为v
j
,p
i
,c
i
，输出为λ
j
的后验估计概率。
[0022]进一步地，采用冗余体素过滤模型对体素进行分类，得到针对冗余体素的过滤因子，具体为：
[0023]引入“块”作为“地图”和“体素”的中间层；每个块是一个小的语义八叉树，由几个相邻的体素v
j
组成；J为块的索引号；
[0024]冗余体素的过滤是以块为单位进行的，因此块b
J
中的所有体素都会继承b
J
的属性；为了获取当前块b
J
周围局部空间的状态，还引入扩展块它由当前块b
J
和周围的一些块{b
x
}组成；
[0025]从扩展块中提取出一个图模型：以扩展块中的块作为节点，以当前块b
J
和周围块{b
x
}之间的连接作为边；所提取的图模型为蒲公英
‑
CRF；给定观察D，第J个块的上下文熵E
con
被描述为中心节点b
J
的条件概率：
[0026][0027]其中，b
J
～1表示b
J
需要被填充以增强地图的连续性；
[0028]蒲公英
‑
CRF中有两种类型的团：一种是单个节点{b
k
}，另一种是一对相邻节点{b
k
,b
l
}，其中k和l是索引变量；通过选择指数势函数并引入特征函数，条件概率定义为：
[0029][0030][0031]其中P(b
J
～1|D)为输入为D，输出为b
J
～1的后验估计概率；E(b
J
～1|D)为的指代；Z(D)是归一化的偏函数，状态特征函数ψ(b
k
)和转移特征函数ψ(b
k
,b
l
)分别描述观察序列和相邻节点的影响；制定如下规则，ψ(b
k
)根据块是否具有观测数据获得不同的值；ψ(b
k
,b
l
)采用块之间欧几里得距离的径向基函数；在式(7)和(8)中，ω1和ω2是控制传输信息量的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种移动机器人连续语义建图方法，其特征在于，包括如下步骤：移动机器人搭载着视觉相机和三维激光雷达，并将两种传感器的数据融合为语义点云，进行三维重建；采用冗余体素过滤模型对体素进行分类，得到针对冗余体素的过滤因子，利用自适应核长度模型为每个体素分配合适的核长度；依托所述过滤因子和核长度，构造多熵值核函数从所述语义点云推理得到连续语义地图。2.如权利要求1所述的一种移动机器人连续语义建图方法，其特征在于，所述移动机器人搭载着视觉相机和三维激光雷达，并将两种传感器的数据融合为语义点云，进行三维重建，具体为：所述移动机器人在完全未知的环境中探索并重建周围环境，即给定一个移动机器人r，相机观测为I
1:t
，即1～t时刻的图像，激光雷达观察为L
1:t
，即1～t时刻的原始点云，以及机器人轨迹O
1:t
，即1～t时刻的机器人位姿，目标是估计连续语义地图，即1～t时刻的机器人位姿，目标是估计连续语义地图其中指输入为I
1:t
,L
1:t
,O
1:t
时输出为的概率，三维重建问题的解对应于式(1)的最大后验估计；其中对于输入，对应于式(1)的最大后验估计；其中对于输入，为二维实数集，为三维实数集；对于输出，连续语义地图由一系列体素v
j
组成，j的取值为为为体素总数；每个体素v
j
包含中心的三维坐标，以及一个相关联的元组用于存储概率语义标签，其中K是语义类别的总数，并且有在时刻t，相机观测图像I
t
被输入语义分割网络，得到语义图像，第i个像素输出一个独热编码形式的测量元组i为像素索引，为第i个像素产生的关于第K类语义的独热编码；接着，利用相机和雷达的内参、相机雷达之间外参，将原始点云跨维投影在图像平面；图像的语义信息被传递给三维的雷达点，从而得到了当前时刻的语义点云根据位置信息，将语义点云进行对齐，保证都是在世界坐标系下完成；式(1)被重写为：对齐的语义点云由一系列语义点p
i
组成，数量为每个语义点p
i
关联着语义标签c
i
；三维重建的问题被细化为：给定语义点和标签目标是估计每个体素v
j
的概率语义标签λ
j
：其中为输入为输出为的后验估计概率；p(λ
j
∣v
j
,p
i
,c
i
)指输入为v
j
,p
i
,c
i
，输出为λ
j
的后验估计概率。
3.如权利要求1所述的一种移动机器人连续语义建图方法，其特征在于，所述采用冗余体素过滤模型对体素进行分类，得到针对冗余体素的过滤因子，具体为：引入“块”作为“地图”和“体素”的中间层；每个块是一个小的语义八叉树，由几个相邻的体素v
j
组成；J为块的索引号；冗余体素的过滤是以块为单位进行的，因此块b
J
中的所有体素都会继承b
J
的属性；为了获取当前块b
J
周围局部空间的状态，还引入扩展块它由当前块b
J
和周围的一些块{b
x
}组成；从扩展块中提取出一个图模型：以扩展块中的块作为节点，以当前块b
J
和周围块{b
x
}之间的连接作为边；所提取的图模型为蒲公英
‑
CRF；给定观察D，第J个块的上下文熵E
con
被描述为中心节点b
J
的条件概率：其中，b
J
～1表示b
J
需要被填充以增强地图的连续性；蒲公英
‑
CRF中有两种类型的团：一种是单个节点{b
k
}，另一种是一对相邻节点{b
k
,b
l
}，其中k和l是索引变量；通过选择指数势函数并引入特征函数，条件概率定义为：其中k和l是索引变量；通过选择指数势函数并引入特征函数，条件概率定义为：其中P(b
J
～1|D)为输入为D，输出为b
J
～1的后验估计概率；E(b
J
～1|D)为的指代；Z(D)是归一化的偏函数，状态特征函数ψ(b
k
)和转移特征函数ψ(b
k
,b
l
)分别描述观察序列和相邻节点的影响；制定如下规则，ψ(b
k
)根据块是否具有观测数据获得不同的值；ψ(b
k
,b
l
)采用块之间欧几里得距离的径向基函数；在式(7)和(8)中，ω1和ω2是控制传输信息量的超参数，s是块的分辨率，p
i
∈b
k
表示语义点p
i
落在块b
k
内；内；上下文熵E
con
揭示了体素之间的潜在差异，用作区分指标；以T
con
为熵阈值，上下文熵E
con
小于T
con...

【专利技术属性】
技术研发人员：王美玲，邓一楠，岳裕丰，杨毅，唐宇杰，张骐绘，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：