【技术实现步骤摘要】
本专利技术属于无人机，尤其涉及一种基于slam算法的无人机跟拍方法。
技术介绍
1、无人驾驶飞机简称无人机，一般利用无线电遥控设备和无人机自身的程序控制装置进行操纵。近年来，无人机技术迅速发展，已广泛应用于军事侦察、地理测绘、农业监控、影视制作等领域，尤其在影视制作和体育赛事中，无人机的跟拍功能显得尤为重要。
2、同时期，slam（simultaneous localization and mapping同步定位与地图构建）算法作为一种能够在未知环境中实现自我定位和环境映射的方法，已被广泛应用于无人机和无人车领域。在无人机领域中，slam算法能够通过摄像头和传感器实时捕捉环境信息，辅助无人机进行精准的空间定位和路径规划。
3、然而，基于传统的slam算法进行无人机跟拍，基本使用固定机位的跟拍方式，存在无法实时跟踪客体运动和难以适应复杂的环境变化的问题。
技术实现思路
1、本专利技术所要解决的问题是：提供一种基于slam算法的无人机跟拍方法，解决固定机位跟拍无法实时跟踪客体运动和难以适应复杂的环境变化的问题。
2、本专利技术采用如下技术方案：一种基于slam算法的无人机跟拍方法，包括如下步骤：
3、s1、获取无人机参数，实时获取无人机飞行图像，并进行预处理，基于预处理后的飞行图像得到无人机当前位置无人机及摄像头覆盖范围，完成图像识别，锁定跟拍目标；
4、s2、获取无人机飞行数据，基于slam算法，根据飞行数据进行slam的图
5、s3、根据无人机实时飞行数据，构建跟踪算法，实时跟踪跟拍目标；
6、s4、实时跟踪跟拍目标，并适应环境变化，将跟拍目标的运动轨迹和根据历史操作调整调整后的界面布局，发送至用户终端显示。
7、进一步地，步骤s1中，无人机参数，包括无人机的物理属性、性能指标、控制系和传感器配置，具体如下：
8、s1.1、获取无人机参数，得到无人机续航能力、覆盖范围和恶劣天气下的表现；包括：无人机尺寸和重量、无人机的最大飞行时间、最大飞行高度、最大飞行速度、抗风等级；
9、s1.2、获取无人机摄像头和图像传感器参数，得到无人机的摄像头续航时间和充电效率；包括：摄像头传感器类型、尺寸、分辨率、光圈、覆盖的角度范围、稳定系统；
10、s1.3、获取无人机的传感器和避障系统，获取无人机定位精度和飞行安全性；包括：用于定位和导航的gps和/或glonass传感器、用于自动避开障碍物的避障传感器、用于智能跟随和定点悬停的视觉传感器；
11、实时获取无人机飞行图像，并进行预处理，调整图像大小并归一化图像像素值；
12、将预无人机参数和处理后无人机飞行图像作为输入数据，使用slam算法，得到无人机当前位置无人机及摄像头覆盖范围，完成图像识别，锁定跟拍目标。
13、进一步地，步骤s2中，获取无人机飞行数据，根据飞行数据进行slam的图优化，使用卷积神经网络提取环境特征，具体包括：
14、s2.1、基于实时获取的传感器数据，进行传感器数据融合，提高slam算法的鲁棒性和精度；所述传感器数据，包括激光雷达数据、视觉相机数据和惯性测量单元imu数据；
15、s2.2、构建观测图，通过观测图查询无人机路径和地图配置，进行slam的图优化，找到最优无人机路径和地标位置；
16、s2.3、获取无人机实时飞行数据，通过卷积神经网络处理飞行数据，提取环境特征，改善特征提取和数据关联，进行slam算法优化。
17、进一步地，步骤s2.1中不同类型传感器数据融合，采用orb-slam3或vins-fusion方法，融合惯性测量单元imu数据与视觉相机数据，结合ekf扩展卡尔曼滤波，并采用滑动平均方法，获取更精准的数据，同时去除数据中的随机噪声，提高slam算法的鲁棒性和精准性。
18、进一步地，步骤s2.2中所述观测图，包括观测数据和状态变量；所述状态变量，包括无人机位置和方向，以及地图中的特征点位置；所述观测数据，为无人机通过传感器获取的信息，包括距离、角度；
19、根据传感器的数据构建观测图，进行slam的图优化，构建观测图每条边的误差函数f，表示观测数据和当前状态变量之间的差异，进行slam的图优化，将所有边误差函数整合，构建非线性最小二乘公式，最小化所有边的误差函数总和；
20、进行调整状态变量，由于误差函数是非线性的，使用迭代线性化方法进行求解，每次迭代中，通过求解线性方程组来更新状态变量，根据无人机下一时刻的观测数据和状态变量进行下一次迭代，当误差不再显著减少或达到预设的迭代次数时，完成slam的图优化，获得最优的无人机路径和地标位置。
21、进一步地，步骤s2.3中通过使用卷积神经网络提取环境特征，改善特征提取和数据关联，进行slam算法优化；卷积神经网为mask r-cnn实例分割模型，用于在动态变化环境中，实时识别和跟踪多个物体，同时识别并提取多个跟拍目标的环境特征，包括目标物体的的类别、位置和轮廓；将backbone network作为基础特征提取器，生成多层次的特征图，包含从目标物体的边缘、纹理的低级特征信息到物体部分、整体形状的高级视觉信息；基于特征图，通过卷积操作，首先rpn在网络的高层特征图上滑动，生成候选区域；然后候选区域通过roi align层，提取固定尺寸的特征向量，准备进行进一步的分类和分割；最后通过分类分支确定每个候选区域的类别，同时通过掩模分支预测出跟拍目标的精确轮廓。
22、进一步地，步骤s3中，根据无人机实时飞行数据，构建跟踪算法，具体包括：
23、s3.1、基于无人机实时飞行数据，使用数据增强增加图像泛化能力，通过深度学习模型进行目标检测，定位和识别跟拍目标；所述深度学习模型为yolov5目标检测模型，在coco数据集上进行训练，使用coco数据集的测试集，运行yolov5目标检测算法，获取跟拍目标的检测结果；
24、s3.2、根据无人机实时飞行数据构建跟踪算法，通过跟踪算法跟踪跟拍目标，基于预测位置、外观特征进行目标匹配，解决目标短暂消失或遮挡问题，得到跟踪结果；
25、s3.3、对跟踪结果进行评估，得到评估结果，比对评估结果与阈值，评估结果超出阈值则判定跟踪不准确，重新构建跟踪算法。
26、进一步地，步骤s3.2中，所述跟踪算法为deepsort算法，在mot数据集上使用deepsort算法，使用mot测试视频，运行deepsort算法，获取跟踪结果，计算mota和motp；所述mota综合考虑误检、漏检和身份切换的情况，所述motp衡量跟踪边界框与真值的匹配精度；
27、将连续帧中的检测结果与已有的跟踪目标进行匹配，通过无人机外观特征、运动信息或者两者结合，根据数据关联的结果，更新跟拍目标状态，包括跟拍目标的位置和速本文档来自技高网...
【技术保护点】
1.一种基于SLAM算法的无人机跟拍方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于SLAM算法的无人机跟拍方法，其特征在于，步骤S1中，所述无人机参数，包括无人机的物理属性、性能指标、控制系和传感器配置，具体如下：
3.根据权利要求1所述的基于SLAM算法的无人机跟拍方法，其特征在于，步骤S2中，获取无人机飞行数据，根据飞行数据进行SLAM的图优化，使用卷积神经网络提取环境特征，具体包括：
4.根据权利要求3所述的基于SLAM算法的无人机跟拍方法，其特征在于，步骤S2.1中不同类型传感器数据融合，采用ORB-SLAM3或VINS-Fusion方法，融合惯性测量单元IMU数据与视觉相机数据，结合ekf扩展卡尔曼滤波，并采用滑动平均方法，获取更精准的数据，同时去除数据中的随机噪声，提高SLAM算法的鲁棒性和精准性。
5.根据权利要求3所述的基于SLAM算法的无人机跟拍方法，其特征在于，步骤S2.2中所述观测图，包括观测数据和状态变量；所述状态变量，包括无人机位置和方向，以及地图中的特征点位置；所述观测数据，为无人机通过传
6.根据权利要求3所述的基于SLAM算法的无人机跟拍方法，其特征在于，步骤S2.3中通过使用卷积神经网络提取环境特征，改善特征提取和数据关联，进行SLAM算法优化；
7.根据权利要求1所述的基于SLAM算法的无人机跟拍方法，其特征在于，步骤S3中，根据无人机实时飞行数据，构建跟踪算法，具体包括：
8.根据权利要求7所述的基于SLAM算法的无人机跟拍方法，其特征在于，步骤S3.2中，所述跟踪算法为DeepSORT算法，在MOT数据集上使用DeepSORT算法，使用MOT测试视频，运行DeepSORT算法，获取跟踪结果，计算MOTA和MOTP；所述MOTA综合考虑误检、漏检和身份切换的情况，所述MOTP衡量跟踪边界框与真值的匹配精度；
9.根据权利要求8所述的基于SLAM算法的无人机跟拍方法，其特征在于，步骤S3.3中，对跟踪结果进行评估，评估指标包括：
10.一种基于SLAM算法的无人机跟拍系统，用于实现权利要求1至9任一所述的无人机跟拍方法，其特征在于，包括：参数获取模块、算法优化模块、目标跟踪模块、操作调整模块；
...【技术特征摘要】
1.一种基于slam算法的无人机跟拍方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于slam算法的无人机跟拍方法，其特征在于，步骤s1中，所述无人机参数，包括无人机的物理属性、性能指标、控制系和传感器配置，具体如下：
3.根据权利要求1所述的基于slam算法的无人机跟拍方法，其特征在于，步骤s2中，获取无人机飞行数据，根据飞行数据进行slam的图优化，使用卷积神经网络提取环境特征，具体包括：
4.根据权利要求3所述的基于slam算法的无人机跟拍方法，其特征在于，步骤s2.1中不同类型传感器数据融合，采用orb-slam3或vins-fusion方法，融合惯性测量单元imu数据与视觉相机数据，结合ekf扩展卡尔曼滤波，并采用滑动平均方法，获取更精准的数据，同时去除数据中的随机噪声，提高slam算法的鲁棒性和精准性。
5.根据权利要求3所述的基于slam算法的无人机跟拍方法，其特征在于，步骤s2.2中所述观测图，包括观测数据和状态变量；所述状态变量，包括无人机位置和方向，以及地图中的特征点位置；所述观测数据，为无人机通过传感器获取的信息...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。