【技术实现步骤摘要】
本专利技术涉及大语言模型赋能的异构多机器人协同，具体而言，涉及基于改进特征点提取的多传感器融合算法。
技术介绍
1、多传感器融合技术，尤其是同步定位与地图构建（simultaneous localizationand mapping，简称为slam），已成为实现复杂环境自主导航的关键。slam技术通过融合多种传感器数据，在实时状态估计与环境映射方面取得了显著进展，克服了单一传感器（如激光雷达或相机）的局限性。激光雷达擅长捕捉外界轮廓信息，但在缺乏结构特征的环境中性能受限。视觉slam在环境丰富的环境下性能比较好，但运动和光照会影响它的稳定性和鲁棒性。将激光雷达、视觉传感器与imu结合提高建图稳定性和准确性便成了现在的趋势。imu不仅校正激光雷达数据畸变，还能在特征缺失时提供连续姿态和位置信息，增强系统环境适应性。
技术实现思路
1、本专利技术实施例提供基于改进特征点提取的多传感器融合算法，以至少解决了在复杂环境下，多传感器融合中视觉惯性前端将边缘点误检为角点，传感器在信息不稳定情况下的定位漂移，导致视觉特征检测的准确性低和鲁棒性差的技术问题。
2、根据本专利技术实施例的一个方面，提供了基于改进特征点提取的多传感器融合算法。该方法可以包括：获取视觉相机的当前帧图像的窗口中心点对应的灰度强度和下一帧图像的窗口中心点对应的灰度强度；基于下一帧图像的窗口中心点对应的灰度强度和当前帧图像的窗口中心点对应的灰度强度，确定灰度强度的变化量；基于下一帧图像的窗口函数和灰度强度的变化量，
3、可选地，所述基于下一帧图像的窗口中心点对应的灰度强度和当前帧图像的窗口中心点对应的灰度强度，确定灰度强度的变化量的表达式为：
4、
5、其中，为灰度强度的变化量，为下一帧图像的窗口中心点对应的灰度强度，为当前帧图像的窗口中心点对应的灰度强度。
6、可选地，所述基于下一帧图像的窗口函数和灰度强度的变化量，确定灰度强度的加权变化量的过程为：
7、
8、其中，为下一帧图像的窗口函数，为灰度强度的加权变化量；
9、将确定灰度强度的加权变化量的公式通过泰勒展开式进行展开，得到灰度强度的加权变化量的近似形式的表达式为：
10、
11、其中，为自相关矩阵，中的u和v分别代表下一帧图像的窗口在水平和竖直上的移动量。
12、可选地，所述自相关矩阵的表达式为：
13、
14、其中，为下一帧图像的窗口中心点处的灰度强度，为下一帧图像的窗口中心点处的灰度强度。
15、可选地，所述对灰度强度的加权变化量中的自相关矩阵进行角化处理，得到第一特征值和第二特征值的表达式为：
16、 =
17、其中，为正交矩阵，为正交矩阵的逆矩阵，和分别为第一特征值和第二特征值。
18、可选地，所述基于第一特征值和第二特征值，确定下一帧图像的窗口中心点是否为角点，包括：当第一特征值和第二特征值都比较大时，若第一特征值和第二特征值中的最小值大于预设阈值，则下一帧图像的窗口中心点为角点；当第一特征值远大于第二特征值或第二特征值远大于第一特征值时，则下一帧图像的窗口中心点为边缘点；当第一特征值和第二特征值都比较小时，则下一帧图像的窗口中心点为平面点。
19、本专利技术的有益效果：
20、本专利技术提出了基于改进特征点提取的多传感器融合算法，通过融合视觉惯性系统与激光雷达惯性系统，为视觉特征点设置阈值来筛选角点，得到角点特征，将角点特征和雷达拍摄的与角点特征同一时刻的图片进行融合，得到三维点云图像，使算法显著提高了检测的稳定性和准确性，这一方法有效解决了在复杂环境下，多传感器融合过程中视觉惯性前端容易将边缘点错误识别为角点的问题，减少了因传感器信息不稳定而导致的定位漂移，从而提升了算法在复杂环境下的稳定性和鲁棒性。
本文档来自技高网...【技术保护点】
1.基于改进特征点提取的多传感器融合算法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于下一帧图像的窗口中心点对应的灰度强度和当前帧图像的窗口中心点对应的灰度强度，确定灰度强度的变化量的表达式为：
3.根据权利要求1所述的方法，其特征在于，所述基于下一帧图像的窗口函数和灰度强度的变化量，确定灰度强度的加权变化量的过程为：
4.根据权利要求3所述的方法，其特征在于，所述自相关矩阵的表达式为：
5.根据权利要求1所述的方法，其特征在于，所述对灰度强度的加权变化量中的自相关矩阵进行角化处理，得到第一特征值和第二特征值的表达式为：
6.根据权利要求1所述的方法，其特征在于，所述基于第一特征值和第二特征值，确定下一帧图像的窗口中心点是否为角点，包括：
7.一种计算机系统，其特征在于包括：一个或多个处理器，计算机可读存储介质，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1所述的方法。
8.一种计算机可读存储介质，其
9.一种计算机程序产品，其特征在于包括计算机可执行指令，所述指令在被执行时用于实现权利要求1所述的方法。
...【技术特征摘要】
1.基于改进特征点提取的多传感器融合算法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于下一帧图像的窗口中心点对应的灰度强度和当前帧图像的窗口中心点对应的灰度强度，确定灰度强度的变化量的表达式为：
3.根据权利要求1所述的方法，其特征在于，所述基于下一帧图像的窗口函数和灰度强度的变化量，确定灰度强度的加权变化量的过程为：
4.根据权利要求3所述的方法，其特征在于，所述自相关矩阵的表达式为：
5.根据权利要求1所述的方法，其特征在于，所述对灰度强度的加权变化量中的自相关矩阵进行角化处理，得到第一特征值和第二特征值的表达式...
【专利技术属性】
技术研发人员：陈云浩，王诚，赵一帆，唐嘉宁，
申请(专利权)人：云南民族大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。