【技术实现步骤摘要】
本专利技术属于机器人感知与建图，具体涉及一种复杂环境下的全局语义高程地貌地图构建方法。
技术介绍
1、随着机器人技术的不断发展，室外机器人逐渐应用于灾区救援运输、矿厂转运等非结构化的野外环境中，其中包含复杂、多元的地貌环境。例如：泥土路面、草地、砖石地面等。机器人通过不同的地貌环境，其安全性、通行时间以及能量消耗都有较大差别。因此，机器人需要模拟人类的思维，感知周围地貌环境，根据不同的任务需求规划最为合理的通行路线。例如，当机器人工作在灾区进行救援任务时，机器人需直线穿越高代价地貌来缩短通行时间，做到快速救援；当机器人进行矿区运输时，机器人需选择易通行的地貌来降低自身的损耗，以此降低机器人的维护成本。以上针对非结构化的野外地貌环境，构建包含丰富地貌信息和通行代价的地貌地图，可以帮助机器人在保障自身安全的前提下实现导航效率的最大化。
2、目前，机器人感知技术已较为成熟，针对野外多元化环境，现有较多的感知算法是利用三维点云地图构建环境模型，但三维点云地图不能进行实时规划。而对于二维占据栅格地图表示方法而言，其缺乏地貌高度信息和起伏信息，无法充分满足机器人的感知需求。室外机器人具有一定的越野能力，其能通过具有一定的坡度起伏、高度落差的路面。因此，构建能够详细表征地貌起伏，高度变化的野外环境模型有助于室外机器人进行更加合理的规划，进一步释放机器人野外工作的潜力。
技术实现思路
1、本专利技术的目的在于提供了一种复杂环境下的全局语义高程地貌地图构建方法。
2、本专利技
3、步骤一、对多线激光雷达和深度相机进行外参联合标定，得到相机内参矩阵r和深度相机雷达外参矩阵rt；
4、步骤二、获取机器人的实时位姿信息，并根据激光雷达获取激光点云；
5、步骤三、获取并训练实时地貌分割网络模型；
6、步骤四、根据训练后的实时地貌分割网络模型获取局部环境的地貌分割语义图；
7、步骤五、将激光点云与地貌分割语义图进行时间同步，并利用内参矩阵r和外参矩阵rt将点云投影映射至地貌分割语义图上，获取每帧地貌图像对应的语义点云；
8、步骤六、利用语义点云的语义信息构建颜色层栅格地图；利用语义点云的z坐标构建高程层栅格地图；对颜色层栅格地图与高程层栅格地图进行融合形成局部语义高程地貌地图，并根据机器人实时位姿和坐标变换关系，构建全局语义高程地貌地图。
9、作为优选，所述的步骤三中，实时地貌分割网络模型包括实时移动网络编码模块、多特征融合模块和网络解码模块；实时移动网络编码模块包括依次连接的卷积网络层、逆残差网络模块和自注意力学习机制模块；
10、所述的自注意力学习机制模块包括依次连接的第一自注意力学习机制层和第二自注意力学习机制层；第一自注意力学习机制层包括依次连接的逆残差网络层和两个自注意力层；第二自注意力学习机制层包括依次连接的逆残差网络层和四个自注意力层；所有自注意力层的结构相同，均包括依次连接局部特征提取模块和全局特征提取模块；局部特征提取模块包括深度可分离卷积和普通卷积；全局特征提取模块包括线性化多头自注意力机制和卷积网络；自注意力层的输出为融合全局特征提取模块的输入和输出融合后的特征；
11、所述的多特征融合模块用于融合逆残差网络模块、第一自注意力学习机制层和第二自注意力学习机制层输出的特征；所述的网络解码模块用于根据多特征融合模块输出的图像特征获取局部环境的地貌分割语义图。
12、作为优选，所述的步骤三中，逆残差网络模块包括依次连接的三个逆残差网络层；三个逆残差网络层的结构相同，均包括依次连接的第一卷积层、第二卷积层、轴向注意力机制和第三卷积层；以第三卷积层的输出特征与输入对应逆残差网络层的特征融合后的特征，作为逆残差网络层的输出；
13、所述的多特征融合模块包括上下文信息融合模块和多尺度信息融合模块；上下文信息融合模块包括第一支路、第二支路和通道混洗模块；第一支路包括卷积块、最大池化层和平均池化层，用于对逆残差网络模块的输出进行特征提取；卷积块包括依次连接的卷积层、批标准化层和激活函数；最大池化层和平均池化层分别对卷积层的输出进行池化操作；第二支路包括依次连接的卷积块和上采样层，用于对第一自注意力学习机制层的输出进行特征提取；将第一支路中的最大池化层和平均池化层的输出相加后，与第二支路的输出进行拼接，并输入通道混洗模块进行通道混洗操作，得到更加全面的图像特征；多尺度信息融合模块采用空间金字塔池化层对自注意力学习机制模块输出的图像特征进行池化操作；以上下文信息融合模块进行下采样操作后的输出，与多尺度信息融合模块的输出通过像素级别的相加融合的特征作为多特征融合模块的输出；
14、所述的网络解码模块包括依次连接的两个卷积上采样层和一个普通上采样层；串联的两个卷积上采样层接收多特征融合模块输出的图像特征，通过卷积调整图像通道和上采样操作逐渐恢复图像的通道数和尺寸大小；输出局部环境的地貌分割语义图。
15、作为优选，步骤五的具体过程如下：
16、5-1.创建点云消息队列和语义分割图消息队列，通过截取两个消息队列的时间戳，将时间差限制在一定范围内，以此同步接收两个话题；
17、5-2.将激光点云中的点转换为齐次坐标，并将其存储在4d变量中；
18、5-3.通过内参矩阵r和外参矩阵rt将变量映射到地貌语义分割图像上并将结果存储在变量中；
19、5-4.将变量转换回欧几里得坐标，将图像坐标存储到当前图像帧地貌像素点中；
20、5-5.将当前图像帧地貌像素点颜色传输给语义点云；
21、5-6.对当前语义点云进行高度滤波，滤除大于高度阈值的点云数据，获取过滤后的语义点云。
22、作为优选，所述的步骤四中，获取地貌分割语义图的方法如下：
23、以初始时刻的图像帧作为最新关键图像帧；构建最新图像关键帧筛选条件对每一时刻获取的图像帧进行筛选；获取距当前时刻最近的最新关键图像帧，将最新关键图像帧输入实时地貌分割网络模型，获取地貌分割语义图。
24、作为优选，所述的最新图像关键帧筛选条件包括图像特征匹配条件、里程计条件和时间约束条件；
25、所述的图像特征匹配条件的表达式为：
26、
27、其中，为当前图像帧与最新关键图像帧之间的匹配得分；为得分阈值；
28、所述的里程计条件的表达式为：
29、
30、其中，为机器人在当前图像帧与最新关键图像帧之间的位置差值；为机器人在当前图像帧与最新关键图像帧之间的偏航角差值；为最大距离阈值；为最大角度阈值；
31、所述的时间约束条件的表达式为：
32、
33、其中，为当前图像帧与最新关键图像帧之间的时间差；为时间阈值。
34、作为优选，所述的得分阈值设置为0.2；最大本文档来自技高网...
【技术保护点】
1.一种复杂环境下的全局语义高程地貌地图构建方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种复杂环境下的全局语义高程地貌地图构建方法，其特征在于：所述的步骤三中，实时地貌分割网络模型包括实时移动网络编码模块、多特征融合模块和网络解码模块；实时移动网络编码模块包括依次连接的卷积网络层、逆残差网络模块和自注意力学习机制模块；
3.根据权利要求2所述的一种复杂环境下的全局语义高程地貌地图构建方法，其特征在于：所述的步骤三中，逆残差网络模块包括依次连接的三个逆残差网络层；三个逆残差网络层的结构相同，均包括依次连接的第一卷积层、第二卷积层、轴向注意力机制和第三卷积层；以第三卷积层的输出特征与输入对应逆残差网络层的特征融合后的特征，作为逆残差网络层的输出；
4.根据权利要求1所述的一种复杂环境下的全局语义高程地貌地图构建方法，其特征在于：步骤五的具体过程如下：
5.根据权利要求1所述的一种复杂环境下的全局语义高程地貌地图构建方法，其特征在于：所述的步骤四中，获取地貌分割语义图的方法如下：
6.根据权利要求5所述的一种复
7.根据权利要求6所述的一种复杂环境下的全局语义高程地貌地图构建方法，其特征在于：所述的得分阈值设置为0.2；最大距离阈值和最大角度阈值分别设置为2米和5度；时间阈值设置为3秒。
8.根据权利要求1所述的一种复杂环境下的全局语义高程地貌地图构建方法，其特征在于：所述的机器人的实时位姿信息的获取方法为：融合机器人的激光雷达、GPS和惯性测量单元的传感器数据，构建激光里程计，获取机器人的实时位姿信息。
9.根据权利要求1所述的一种复杂环境下的全局语义高程地貌地图构建方法，其特征在于：步骤六的具体过程如下：
10.根据权利要求1所述的一种复杂环境下的全局语义高程地貌地图构建方法，其特征在于：步骤三的具体过程如下：
...【技术特征摘要】
1.一种复杂环境下的全局语义高程地貌地图构建方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种复杂环境下的全局语义高程地貌地图构建方法，其特征在于：所述的步骤三中，实时地貌分割网络模型包括实时移动网络编码模块、多特征融合模块和网络解码模块；实时移动网络编码模块包括依次连接的卷积网络层、逆残差网络模块和自注意力学习机制模块；
3.根据权利要求2所述的一种复杂环境下的全局语义高程地貌地图构建方法，其特征在于：所述的步骤三中，逆残差网络模块包括依次连接的三个逆残差网络层；三个逆残差网络层的结构相同，均包括依次连接的第一卷积层、第二卷积层、轴向注意力机制和第三卷积层；以第三卷积层的输出特征与输入对应逆残差网络层的特征融合后的特征，作为逆残差网络层的输出；
4.根据权利要求1所述的一种复杂环境下的全局语义高程地貌地图构建方法，其特征在于：步骤五的具体过程如下：
5.根据权利要求1所述的一种复杂环境下的全局语义高程地貌地图构建方法，其特征在于：所述的...
【专利技术属性】
技术研发人员：陈静，张波涛，任征，张政，李雅雯，吕强，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。