【技术实现步骤摘要】
本专利技术属于智能机器人领域，特别涉及是一种基于yolov11和orb-slam3的动态环境密集点云的slam方法及系统。
技术介绍
1、随着社会的发展和技术的进步，智能机器人在各个领域得到了广泛应用。slam技术作为智能机器人研究领域的关键技术之一，对于智能机器人的自主导航至关重要。然而，在动态环境中实现准确和鲁棒的视觉slam仍然是一个主要挑战。本专利技术旨在提出一种基于改进的yolov11融合orb-slam3的方法，以应对动态环境中的密集点云slam问题。
技术实现思路
1、针对现有技术针对现有技术的不足，本专利技术提供了一种基于yolov11和orb-slam3的动态环境密集点云的slam方法及系统，该系统包括特征提取、特征匹配和特征点剔除三个模块。该专利技术的技术方案是通过以下内容来实现的：
2、本专利技术的第一方面：一种基于yolov11模型和orb-slam3的动态环境密集点云的slam方法，该方法包括以下步骤：
3、（1）在动态环境中的结构光系统捕获图像，并基于改进的yolov11模型进行对动态目标检测和图像分割；
4、（2）根据检测结果，确定动态特征点是否位于动态对象的检测框内，若位于动态对象的检测框内，则将动态特征点剔除；
5、（3）将剩余的静态特征点输入到slam系统中，进行位姿估计和地图构建；并根据位姿估计结果对系统鲁棒性评估以及优化；
6、（4）利用时间一致性检查对连续帧的动态特征点进行验证并进
7、具体地，所述改进的yolov11模型包括输入层、预处理层、多个标准卷积层、gsconv层、vovgscsp特征融合层和输出层，所述gsconv层用于替代传统卷积层以平衡准确性和计算负载，所述vovgscsp特征融合层用于替代c2f特征融合层。
8、进一步地，所述步骤（1）包括以下步骤：
9、(1.1)多尺度特征提取
10、根据结构光系统捕获到的输入的不同层级提取特征图：；
11、其中 ,,分别为特征图的高度、宽度和通道数；
12、(1.2)空间金字塔池化
13、将输入层的多尺度特征提取结果图通过不同尺度的池化操作进行特征聚合，
14、输出多尺度特征：，对于所有在大小的窗口内；其中表示核大小为 的池化操作；
15、对spp输出特征通过gsconv卷积层处理，gsconv结合标准卷积和深度可分离卷积，权重参数为 ，输出为：；
16、激活函数：；
17、最终融合输出特征：；
18、(1.3)输入层
19、将空间金字塔池化结果，经过归一化处理后送入网络进行前向传播；
20、将输入图像调整至yolov11模型所需的标准尺寸，并归一化以适配模型输入要求；归一化公式为：；其中， 为原始图像像素值， 为归一化后的像素值；
21、(1.4)目标检测
22、利用模型生成动态目标检测结果，包括目标类别标签、置信度以及边界框，其中每个边界框定义为中的动态对象；其中，模型的数据流首先将多尺度特征图像经过卷积操作，将原c1通道数降为c2，并命名为t1；
23、然后，将t1经过深度可分离卷积操作提取深度特征，并命名为t2；最后将t1和t2执行合并操作，形成2倍c2通道数的结果，命名为t3；最后按照特征值对t3进行重拍混洗：
24、fspp=concat(poolk1(ft),poolk2(ft),…,poolkn(ft))；
25、其中模型生成动态目标检测结果的输出包括以下信息：
26、（a）目标类别标签 c，表示检测到的目标的类别；
27、（b）置信度 s，表示目标属于类别 c 的概率；
28、（c）边界框围，其中：
29、：边界框左上角的坐标；：边界框右下角的坐标；将结果结合起来，表示为：；其中，i为目标的索引，n为当前帧中检测到的目标总数。
30、进一步地，所述步骤（2）具体包括如下步骤：
31、（2.1）利用orb算法从当前帧提取特征点及其描述子，特征点由像素坐标 表示；
32、（2.2）对步骤（1）检测出的每个动态目标，获取其边界框坐标，将边界框内的所有特征点标记为动态特征点；动态特征点的判定条件如下：；当满足上述条件，则判定其为动态点，反之则保留为静态点；
33、（2.3）对剔除后的静态特征点集合，保留其坐标及描述子用于slam系统的后续处理。
34、进一步地，所述步骤（3）具体包括如下步骤：
35、（3.1）位姿估计
36、基于静态特征点进行相机位姿的初步估计；orb-slam3通过特征点匹配与三角化方法计算相机位姿:
37、对静态特征点集合:；
38、以及关键帧中的特征点集合:；
39、进行描述子匹配，采用汉明距离计算两点的相似度的表达式如下：；其中， 表示异或操作，是统计1的个数的函数，保留距离最小且低于阈值的匹配对；
40、（3.2）两帧间位姿估计
41、通过基础矩阵 f 和单应矩阵 h 两种模型进行鲁棒估计，采用ransac算法过滤误匹配点对，获得符合几何约束的匹配点集合；所述基础矩阵用于描述两幅图像中点对的对极几何关系，对于匹配点对 ，满足：
42、；其中和表示同一场景点在两幅图像中的齐次坐标；
43、所述单应矩阵描述了两幅图像之间的透视变换，用于纯旋转或平面场景的情况；对于匹配点对，满足：；即：；其中是一个比例因子；
44、（3.3）优化位姿估计
45、根据匹配点集合，通过pnp问题估计当前帧的位姿 ，其优化目标为最小化重投影误差：；
46、其中,是图像坐标系下的特征点； 是三维空间中的特征点，k是相机内参矩阵，是相机外参，是投影函数：；
47、通过高斯牛顿法或lm算法求解的最小值，得到位姿；
48、（3.4）优化地图及位姿
49、构建基于图优化的模型，通过最小化误差代价函数对地图及位姿进行优化，剔除由残留动态点造成的异常误差，在全局优化中，采用基于图的优化方法对位姿和地图进行联合优化，目标是最小化整个图模型的误差代价函数：；其中，是观测误差，是观测值，是估计值， 是观测误差协方差矩阵；
50、通过g2o工具或ceres solver求解上述代价函数，优化节点位姿和地图点位置。
51、进一步地，所述步骤（3.2）还包括采用ransac算法，通过随机抽样点对进行模型拟合实现鲁棒的模型估计，具体步骤如下：
52、（a）随机从匹配点集合中抽取最小点集 ，用于计算候选基础矩阵 或本文档来自技高网...
【技术保护点】
1.一种基于YOLOv11模型和ORB-SLAM3的动态环境密集点云的SLAM方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述改进的YOLOv11模型包括输入层、预处理层、多个标准卷积层、GSConv层、VoVGSCSP特征融合层和输出层，所述GSConv层用于替代传统卷积层以平衡准确性和计算负载，所述VoVGSCSP特征融合层用于替代C2f特征融合层。
3.根据权利要求1所述的方法，其特征在于，所述步骤（1）包括以下步骤：
4.根据权利要求1所述的方法，其特征在于，所述步骤（2）具体包括如下步骤：
5.根据权利要求1所述的方法，其特征在于，所述步骤（3）具体包括如下步骤：
6.根据权利要求5所述的方法，其特征在于，所述步骤（3.2）还包括采用RANSAC算法，通过随机抽样点对进行模型拟合实现鲁棒的模型估计，具体步骤如下：
7.根据权利要求1所述的方法，其特征在于，所述步骤（4）包括以下步骤：
8.一种基于YOLOv11模型和ORB-SLAM3的动态环境密集点
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-7中任一项所述基于YOLOv11模型和ORB-SLAM3的动态环境密集点云的SLAM方法的步骤。
...【技术特征摘要】
1.一种基于yolov11模型和orb-slam3的动态环境密集点云的slam方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述改进的yolov11模型包括输入层、预处理层、多个标准卷积层、gsconv层、vovgscsp特征融合层和输出层，所述gsconv层用于替代传统卷积层以平衡准确性和计算负载，所述vovgscsp特征融合层用于替代c2f特征融合层。
3.根据权利要求1所述的方法，其特征在于，所述步骤（1）包括以下步骤：
4.根据权利要求1所述的方法，其特征在于，所述步骤（2）具体包括如下步骤：
5.根据权利要求1所述的方法，其特征在于，所述步骤（3）具体包...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。