一种基于STDC语义分割网络的实时同时定位与建图方法技术

本发明专利技术请求保护一种基于STDC语义分割网络的实时同时定位与建图方法，属于智能机器人自主导航领域。包括以下步骤：S1，利用RGB

【技术实现步骤摘要】
一种基于STDC语义分割网络的实时同时定位与建图方法


[0001]本专利技术属于智能机器人自主导航领域，特别是一种基于STDC语义分割网络的实时同时定位与建图方法。

技术介绍

[0002]近年以来随着大数据、深度学习等技术的快速发展使得移动机器人的相关技术也更加成熟，为人们的生活提供了很大的便利。移动机器人涉及运动学、动力学、控制理论、计算机科学、机械原理、传感器技术等多个学科，是当前科学技术研究中最活跃的领域之一。同时定位与建图算法(Simultaneous Localization And Mapping，SLAM)是指移动机器人在没有任何先验环境的情况下同时完成自身的定位与周围环境地图的构建。
[0003]虽然视觉SLAM技术已经取得了很大的发展，但是还存在一些问题需要解决。比如移动机器人在复杂的动态环境中工作时，高动态目标会使相邻的两帧图像之间产生巨大的不一致，严重影响SLAM系统的鲁棒性；另外现有的视觉SLAM算法很多都将外部环境假设为静态场景，忽视了动态物体对SLAM系统的影响。当环境中出现动态物体时会影响SLAM系统的鲁棒性，降低SLAM系统的定位精度，甚至会导致其跟踪失败。
[0004]深度学习与SLAM系统结合可以有效降低动态目标对系统定位和建图的影响，但是高精度的语义分割网络在处理图像时，需要消耗大量时间，不满足应用所需的实时性。
[0005]CN113516664A，一种基于语义分割动态点的视觉SLAM方法，该专利采用Mask R
‑
CNN分割网络和多视角几何约束算法剔除动态特征点，提高系统在动态环境中的定位精度和鲁棒性。但是，上述方法中采用的Mask R
‑
CNN网络在进行分割时需要消耗大量时间，降低了系统的处理速度。
[0006]CN112435262A，一种基于语义分割网络和多视图几何的动态环境信息检测方法，该专利采用轻量级语义分割网络FcHarDnet和多视角几何约束算法剔除动态特征点，提高系统鲁棒性。但是，上述方法中采用的语义分割网络分割处理速度仍不满足实时性要求，以及多视角几何约束算法耗时多，导致系统不满足实时性要求。

技术实现思路

[0007]本专利技术旨在解决以上现有技术的问题。提出了一种基于STDC语义分割网络的实时同时定位与建图方法。本专利技术的技术方案如下：
[0008]一种基于STDC语义分割网络的实时同时定位与建图方法，其包括以下步骤：
[0009]S1，利用RGB
‑
D深度相机直接拍摄获得RGB图像信息和图像深度信息；
[0010]S2，利用ORB角点检测与特征描述算法对RGB图像信息和图像深度信息进行特征点提取；
[0011]S3，利用STDC短期密集连接网络获取图像语义信息，并利用语义信息剔除动态特征点；
[0012]S4，将剩余特征点利用ORB
‑
SLAM3算法进行定位和导航，ORB
‑
SLAM3是一个基于特
征点的实时SLAM算法，该算法包括跟踪线程、局部建图线程和回环检测线程。
[0013]进一步的，所述步骤S2利用ORB算法提取特征点；具体包括：
[0014]首先利用FAST算法获得FAST关键点，步骤为：1、遍历待提取的图像中的每一个像素，并计算该像素的灰度值I
p
；2、设定一个阈值T(T一般取I
p
的30％)；3、选取该像素为圆心，3为半径的圆上的16个像素点；4、如果这16个像素点中有连续12个像素点的灰度值都大于I
p
+T或者小于I
p
－T，判定该像素为一个FAST关键点。
[0015]然后利用图像块的灰度质心为特征点添加旋转描述，定义图像块A的矩为：
[0016][0017][0018]式中：I(x,y)为图像像素点(x,y)处的灰度值，m
x
、m
y
分别表示水平方向的矩和竖直方向的矩；
[0019]将特征点的方向定义为：
[0020][0021]最后，使用BRIEF描述子对特征点进行描述；在特征点P周围随机选取N个点对，比较灰度值：
[0022][0023]式中：P(x)、P(y)分别为点x、y处的灰度值大小；
[0024]故BRIEF描述子表示为：
[0025][0026]式中：n表示该特征点第n位描述子；
[0027]进一步的，所述步骤S3的STDC语义分割网络具体为，选取STDC2
‑
Seg75网络，STDC2
‑
Seg75网络采用STDC模块进行编码，并利用训练损耗引导低层学习空间细节的特征。
[0028]进一步的，所述的STDC模块具体为，利用4个卷积层和激励层获取不同感受野的特征图，然后将不同感受野的特征图采用级联融合，4个卷积层分别采用步长为1，卷积核大小为{1,3,3,3}的2维卷积算法，激励层采用ReLU函数，其公式为：
[0029]R(x)＝max(0,x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0030]式中：x是输入，R(x)是经过ReLU单元之后的输出。
[0031]进一步的，STDC语义分割网络的训练损耗具体为，采用交叉熵和二分类分割损耗联合：
[0032]L
d
＝L
dice
(p
d
,g
d
)+L
bce
(p
d
,g
d
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)
[0033]式中：L
d
表示训练细节损耗，L
dice
表示二分类分割损耗，L
bce
表示交叉熵损耗，p
d
表示预测细节，g
d
表示对应的细节地真值，利用损失函数训练模型，分割输入图像，获得语义
分割图。
[0034]进一步的，所述语义信息剔除动态特征点具体为：首先将语义分割图中的高动态目标标记；然后标记后的语义分割图作为掩模；最后利用掩模和特征点图剔除动态特征点。
[0035]进一步的，所述步骤S4将剩余特征点利用ORB
‑
SLAM3算法进行定位和导航，具体包括：
[0036]跟踪线程：寻找局部地图特征点并进行匹配，利用光束平差优化(Bundle Adjustment，BA)算法来最小化重投影误差，定位每帧相机位姿。
[0037]局部建图线程：运用局部BA算法优化相机位姿和特征点云。
[0038]回环检测线程：检测回环并通过位姿图优化消除累计漂移误差。在位姿图优化后会启动全局BA算法线程，计算整个系统最优结构和运动结果。
[0039]本专利技术的优点及有益效果如下：
[0040]本专利技术针对融合了语义分割网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于STDC语义分割网络的实时同时定位与建图方法，其特征在于，包括以下步骤：S1，利用RGB
‑
D深度相机直接拍摄获得RGB图像信息和图像深度信息；S2，利用ORB角点检测与特征描述算法对RGB图像信息和图像深度信息进行特征点提取；S3，利用STDC短期密集连接网络获取图像语义信息，并利用语义信息剔除动态特征点；S4，将剩余特征点利用ORB
‑
SLAM3算法进行定位和导航，ORB
‑
SLAM3是一个基于特征点的实时SLAM算法，该算法包括跟踪线程、局部建图线程和回环检测线程。2.根据权利要求1所述的一种基于STDC语义分割网络的实时同时定位与建图方法，其特征在于，所述步骤S2利用ORB算法提取特征点；具体包括：首先利用FAST算法获得FAST关键点，步骤为：1、遍历待提取的图像中的每一个像素，并计算该像素的灰度值I
p
；2、设定一个阈值T(T一般取I
p
的30％)；3、选取该像素为圆心，3为半径的圆上的16个像素点；4、如果这16个像素点中有连续12个像素点的灰度值都大于I
p
+T或者小于I
p
－T，判定该像素为一个FAST关键点；然后利用图像块的灰度质心为特征点添加旋转描述，定义图像块A的矩为：征点添加旋转描述，定义图像块A的矩为：式中：I(x,y)为图像像素点(x,y)处的灰度值，m
x
、m
y
分别表示水平方向的矩和竖直方向的矩；将特征点的方向定义为：最后，使用BRIEF描述子对特征点进行描述；在特征点P周围随机选取N个点对，比较灰度值：式中：P(x)、P(y)分别为点x、y处的灰度值大小；故BRIEF描述子表示为：式中：n表示该特征点第n位描述子。3.根据权利要求1所述的一种基于STDC语义分割网络的实时同时定位与建图方法，其特征在于，所述步骤S3的STDC语义分割网络具体为，选取STDC2
‑
Seg75网络，STDC2
‑
Seg75网络采用STDC模块进行编码，并利用训练损耗引导低层学习空间细节的特征。4.根据权利要求3所述的一种基于...

【专利技术属性】
技术研发人员：胡章芳，陈健，陈江涛，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：