【技术实现步骤摘要】
本专利技术视频图像处理，具体涉及一种基于视频图像的快速稀疏地图重建方法及系统。
技术介绍
1、在视频图像处理领域，随着科技的不断发展，稀疏地图重建技术已成为计算机视觉和机器人导航等领域的研究热点。传统的稀疏地图重建方法主要依赖于高精度传感器和数据预处理技术，这些方法虽然在一定程度上能够实现地图重建，但普遍存在处理速度慢、对动态环境适应性差等问题。近年来，基于视频图像的稀疏地图重建技术逐渐受到关注，研究人员在这一领域取得了显著成果，但仍存在一定的局限性。
2、现有的相关技术不足之处主要体现在以下几个方面：首先，现有方法在处理高帧率视频数据时，往往难以有效识别和提取关键帧，导致重建的地图信息丢失或冗余；其次，现有技术在对动态物体和背景进行分割时，精度不高，容易产生误判，影响地图重建的准确性；再次，多视角融合和稀疏地图优化过程中，现有方法往往计算复杂度高，难以实现快速重建。而我方专利技术提出的基于视频图像的快速稀疏地图重建方法，针对上述问题进行了优化和改进。通过运动分析、关键帧提取、时空图卷积网络特征提取、图像分割以及多视角融合等步骤，实现了在动态环境中快速、准确地重建稀疏地图，具有较好的应用前景和实用价值。在此基础上，结合最短路径算法和用户实时校正，进一步提高了稀疏地图重建的效率和准确性，为相关领域的技术发展提供了新的思路。
技术实现思路
1、鉴于上述现有存在的问题，本专利技术旨在解决稀疏地图重建中的多个技术问题，包括提高重建速度、增强对动态环境的适应性、提升地图准确性以及
2、为解决上述技术问题，提出了一种基于视频图像的快速稀疏地图重建方法，包括，
3、收集原始视频数据，对原始视频数据流通过规定的运动模型进行运动分析，计算运动变化差异并识别动态物体和背景，应用运动补偿技术优先选择包含关键特征的帧作为关键帧，并对慢速移动的背景进行模糊处理，输出关键帧序列；利用时空图卷积网络提取关键帧序列中的特征，提取特征构建特征邻接矩阵，建立时空关系模型，输出时空一致性的特征图；将时空一致性的特征图应用于深度学习模型对关键帧的特征图进行图像分割，判断特征图与设定阈值分割动态前景和相对静态背景，输出分割后的视频帧和分离的动态前景及相对静态背景；评估多视角的质量，对多视角进行排序，选择最佳视角进行融合，输出融合后的稀疏地图结构；使用最短路径算法优化稀疏地图点云之间的空间关系，在优化过程中，满足设定条件，输出优化后的快速稀疏地图点云，不满足条件则将触发重优化机制；技术人员通过点击和拖动实时更新优化后的地图信息，允许校正和补充数据，输出用户校正增强后的快速稀疏地图。
4、作为本专利技术所述的一种基于视频图像的快速稀疏地图重建方法的一种优选方案，其中：所述原始视频数据包括，以高帧率获取视频格式、帧分辨率、光照变化和运动物体速度；
5、所述运动分析包括，将原始视频数据流输入设定的运动模型中，分析任一区域两个连续帧之间的运动变化差异：
6、；
7、其中，表示在位置和时间 处的运动差异，表示在位置和时间 时的图像强度，表示时间 后的下一帧，表示时间 前的前一帧，表示在位置和时间时的图像强度，表示在位置和时间时的图像强度；
8、当≤参数1时，则标记为相对静态背景；当＞参数1时，则标记为动态物体候选区，若当前区域内的运动差异均值大于10时，则标记为动态物体，当前区域内的运动差异均值不超过10时进行技术人员的人工判断。
9、作为本专利技术所述的一种基于视频图像的快速稀疏地图重建方法的一种优选方案，其中：所述模糊处理包括，应用运动补偿技术，优先选择包含关键特征的帧作为关键帧：，其中，n表示被分析的帧的总数，i为变量索引，表示连续帧之间的时间间隔， 是设定的阈值，以形成关键帧；表示每一帧的时间标记；
10、在提取关键帧后，对在视频中慢速移动的背景进行模糊处理：
11、；
12、其中，表示在位置处经过模糊处理后的图像强度，表示当前图像帧中在位置的强度值， 是归一化模糊影响的常数，表示不同模糊程度的权重函数，表示与位置的动态模糊程度，为在位置和加权时间帧时的图像强度， 表示用于加权不同时间帧的数量，j为变量索引；
13、在模糊处理完成后，输出生成的关键帧序列，在时间点的模糊后图像，表示提取的关键帧数量。
14、作为本专利技术所述的一种基于视频图像的快速稀疏地图重建方法的一种优选方案，其中：所述时空关系模型包括，根据输入的关键帧序列，其中每个关键帧会被编码为对应的特征映射、，在时空图卷积网络中，提取特征构建特征邻接矩阵：
15、；
16、其中，是特征映射与之间相似度的度量，为特征邻接矩阵表示在时刻 时关键帧和关键帧之间的连接强度，为归一化阈值决定是否连接，为进一步限制特征邻接矩阵的连通性，分别表示关键帧序列中邻接关键帧的索引；
17、通过卷积操作针对特征图的时空特性提取有效信息，构建时空关系模型：
18、；
19、输出时空一致性的特征图，其中，表示在时刻 提取到的时空特征，关键帧的邻居集合，表示在时间的输入的时空特征，表示时空卷积核的权重矩阵，表示通过多层处理得到的综合时空特征图；l为图卷积的层数，为变量索引， 是非线性激活函数。
20、作为本专利技术所述的一种基于视频图像的快速稀疏地图重建方法的一种优选方案，其中：所述图像分割包括，当＜阈值1时，进行分割从背景中提取的动态前景；
21、当＜阈值2时，不进行分割，作为视频帧中间状态不做任何处理；
22、当≥阈值2时，进行分割从背景中提取的相对静态背景；
23、输出分割后的视频帧和分离的动态前景及静态背景。
24、作为本专利技术所述的一种基于视频图像的快速稀疏地图重建方法的一种优选方案，其中：所述选择最佳视角进行融合包括，评估多视角的质量：
25、；
26、其中，表示视角的质量得分，视角 对应的特征图集合，表示多视角不同特征图的归一化值，表示多视角的不同特征图的稳定性度量；
27、根据评估结果，对多视角进行排序，选择质量最优或次优的b个视角进行融合：
28、；
29、其中，最终融合后的特征图， 参与融合的视角数量， 为变量索引，为动态调整的权重；
30、根据最终融合后的特征图提取稀疏点云，输出融合后的稀疏地图结构：
31、；
32、其中，为输出的稀疏点云集合；表示第 个稀疏点的位置坐标，为稀疏点在三维空间中的坐标， 为变量索引。
33、作为本文档来自技高网...
【技术保护点】
1.一种基于视频图像的快速稀疏地图重建方法，其特征在于：包括，
2.如权利要求1所述的一种基于视频图像的快速稀疏地图重建方法，其特征在于：所述原始视频数据包括，以高帧率获取视频格式、帧分辨率、光照变化和运动物体速度；
3.如权利要求2所述的一种基于视频图像的快速稀疏地图重建方法，其特征在于：所述模糊处理包括，应用运动补偿技术，优先选择包含关键特征的帧作为关键帧：，其中，n表示被分析的帧的总数，i为变量索引，表示连续帧之间的时间间隔， 是设定的阈值，以形成关键帧；表示每一帧的时间标记；
4.如权利要求3所述的一种基于视频图像的快速稀疏地图重建方法，其特征在于：所述时空关系模型包括，根据输入的关键帧序列，其中每个关键帧会被编码为对应的特征映射、，在时空图卷积网络中，提取特征构建特征邻接矩阵：
5.如权利要求4所述的一种基于视频图像的快速稀疏地图重建方法，其特征在于：所述图像分割包括，当＜阈值1时，进行分割从背景中提取的动态前景；
6.如权利要求5所述的一种基于视频图像的快速稀疏地图重建方法，其特征在于：所述选择最佳视角进行融
7.如权利要求6所述的一种基于视频图像的快速稀疏地图重建方法，其特征在于：所述快速稀疏地图点云包括，使用最短路径算法优化稀疏地图点云之间的空间关系：
8.一种采用如权利要求1~7任一所述的一种基于视频图像的快速稀疏地图重建方法的系统，其特征在于：包括视频数据预处理模块、特征提取与分割模块、视角评估与融合模块、稀疏地图优化模块以及用户交互校正模块；
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的一种基于视频图像的快速稀疏地图重建方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的一种基于视频图像的快速稀疏地图重建方法的步骤。
...【技术特征摘要】
1.一种基于视频图像的快速稀疏地图重建方法，其特征在于：包括，
2.如权利要求1所述的一种基于视频图像的快速稀疏地图重建方法，其特征在于：所述原始视频数据包括，以高帧率获取视频格式、帧分辨率、光照变化和运动物体速度；
3.如权利要求2所述的一种基于视频图像的快速稀疏地图重建方法，其特征在于：所述模糊处理包括，应用运动补偿技术，优先选择包含关键特征的帧作为关键帧：，其中，n表示被分析的帧的总数，i为变量索引，表示连续帧之间的时间间隔， 是设定的阈值，以形成关键帧；表示每一帧的时间标记；
4.如权利要求3所述的一种基于视频图像的快速稀疏地图重建方法，其特征在于：所述时空关系模型包括，根据输入的关键帧序列，其中每个关键帧会被编码为对应的特征映射、，在时空图卷积网络中，提取特征构建特征邻接矩阵：
5.如权利要求4所述的一种基于视频图像的快速稀疏地图重建方法，其特征在于：所述图像分割包括，当＜阈值1时，进行分割从背景中提取的动态前景；
【专利技术属性】
技术研发人员：贺钦，马骍，邓学晖，孙宇，
申请(专利权)人：中仪英斯泰克科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。