【技术实现步骤摘要】
本专利技术涉及无人机，具体而言，涉及一种吊舱无人机视频防抖方法及系统。
技术介绍
1、吊舱无人机由于其搭载了吊舱系统通常重量更大，因此在飞行拍摄视频时，由于高空刮风导致的机身抖动现象更为明显。传统的防抖技术，如机械云台和电子防抖，关注于机械性的抖动和设备自身的运动，往往未能充分考虑到高空风对无人机稳定性的影响，从而影响了最终视频的稳定性。
2、目前，解决吊舱无人机视频抖动的主要方法包括机械云台和电子防抖技术。机械云台通过使用无刷电机和摇臂来物理隔离抖动，能够提供较大的防抖范围，适合修复较大幅度的运动所造成的画面抖动，但机械云台通常较重且占用空间，而且成本较高。电子防抖技术则是在软件层面上通过对齐不同帧格的视频并裁切不稳定的画面来实现防抖效果，虽然不增加额外重量，但在处理大幅度抖动时效果有限。
技术实现思路
1、有鉴于此，本专利技术旨在提供一种吊舱无人机视频防抖方法及系统，旨在解决传统吊舱无人机视频防抖方法成本较高、未考虑高空风影响、不同关键点重要性不同的影响导致的防抖效果不佳的问题。
2、一种吊舱无人机视频防抖方法，包括以下步骤：
3、s1：采集实时风力数据和视频抖动数据，并将这两种数据按照时间轴进行关联；
4、s2：构建高空风补偿模型，根据视频抖动数据、风力数据和风向数据，预测真实风力数据和风向数据；
5、s3：构建视频抖动处理模型，提取视频抖动数据的特征点；
6、s4：根据所述视频抖动数据的特征点，计算抖动
7、s5：根据所述抖动方向和幅度，对视频进行抖动补偿，得到优化后的视频数据。
8、进一步地，所述s1步骤采集实时风力数据和视频抖动数据，并将两种数据按照时间轴进行关联，包括：
9、s11：所述吊舱无人机正下端安装有风力传感器，所述风力传感器实时采集和记录其周围的风速数据和风向数据；
10、s12：同步记录搭载风力传感器的吊舱无人机姿态数据，包括俯仰角、横滚角和偏航角；
11、s13：将风力数据、风向数据、吊舱无人机姿态数据与视频抖动数据按照时间轴进行逐帧同步；
12、通过采集风力数据、风向数据、无人机姿态数据和视频抖动数据，并将这些数据进行时间关联，可以建立各因素之间的映射关系，是后续抖动补偿的基础；
13、传统的视频防抖方法通常依赖于惯性测量单元、加速度计、陀螺仪等传感器，直接测量无人机的姿态变化来进行防抖，这些方法关注无人机的运动特征，而不具体考虑环境风力的影响，在有高空风时防抖效果不佳；而搭载风力传感器的吊舱无人机，由于受到无人机旋翼风的影响，风力传感器采集到的数据并非真实环境中的风力、风向数据，存在误差；
14、相比之下，通过建立风力和视频抖动数据的映射关系，并利用算法预测真实的风力、风向条件，能够削弱无人机旋翼风带来的误差，提高数据质量。
15、进一步地，所述s2步骤构建高空风补偿模型，根据视频抖动数据，预测下一时刻的风速数据、风向数据，包括：
16、s21：使用卷积神经网络对第一时刻和第二时刻的视频抖动数据进行扫描，得到第一时刻视频数据特征和第二时刻视频数据特征，计算方式为：
17、f1＝mobilenet(i1)
18、f2＝mobilenet(i2)
19、其中，f1、f2分别为第一时刻和第二时刻视频数据特征，mobilenet()为mobilenet网络操作，i1、i2分别为第一时刻和第二时刻的视频抖动数据；
20、mobilenet是一种轻量级的深度神经网络，使用深度可分离卷积来减少计算量和模型大小，同时仍保持较高的准确性，非常适合需要实时性和参数量小的应用场景；
21、s22：计算所述第一时刻视频数据特征和第二时刻视频数据特征的差值变化量，得到第二时刻视频变化特征，计算方式为：
22、δf＝f2-f1
23、其中，δf为第二时刻视频变化特征；
24、δf表示从第一时刻到第二时刻视频数据特征的变化，没有变化的部分将在减法运算中被消除，δf的计算可以帮助模型理解视频帧之间的动态变化，有助于后续步骤中的风力和风向预测；
25、s23：构建高空风补偿模块：
26、将第二时刻视频变化特征与第二时刻吊舱无人机姿态数据进行拼接后，再与第一时刻风力数据、风向数据共同作为门控循环单元的输入，预测第二时刻的真实风力数据、真实风向数据，计算方式为：
27、
28、其中，分别为第二时刻的真实风力预测值和真实风向预测值，gru()为门控循环单元操作，[；]为拼接操作，p2为第二时刻吊舱无人机姿态数据，w1、d1分别为第一时刻的风力数据和风向数据。
29、上述过程利用视频数据的变化特征、无人机的姿态以及上一时刻的风力和风向数据，预测当前时刻的真实风力、风向，帮助模型捕捉时间序列数据的动态变化，提高风力预测的准确性；
30、相比于传统的风力预测方法，如基于物理模型的预测，本专利技术采用的门控循环单元不需要设定固定的参数，而能够根据实际数据自我调整，实时处理数据并快速做出预测。
31、进一步地，所述s3步骤构建视频抖动处理模型，提取视频抖动数据的特征点，包括：
32、s31：使用sift算法识别视频帧中的关键点；
33、s32：计算各个关键点的权重，计算方式为：
34、si＝qfi
35、
36、其中，si为关键点的特征向量fi与查询向量q的相似度，i为关键点数量索引，ai为每个关键点的注意力权重，exp()为取自然常数的指数，sj为另一个关键点的特征向量与查询向量的相似度，j为计数索引；
37、s32步骤引入注意力机制，计算特征点的重要程度，为后续的抖动补偿提供依据；传统方法均匀考虑所有检测到的特征点，忽略了不同特征点在视频抖动中的影响力差异，而由于不区分特征点的重要性，传统方法对一些实际影响较小的特征点过于关注，从而降低了整体抖动补偿的效果；相比之下，s32步骤通过注意力机制识别出对画面抖动补偿最为关键的一批特征点，忽略或者降低权重较低、对抖动补偿贡献较小的特征点，从而在后续抖动补偿处理时，更多地参考这些重要特征点的抖动情况，从而提高整体抖动补偿效果；
38、s33：使用光流算法跟踪特征点在连续帧中的运动。
39、进一步地，所述s4步骤根据视频抖动数据的特征点，计算抖动方向和幅度，包括：
40、s41：对于每个跟踪的特征点，计算其在连续帧之间的运动矢量，计算方式为：
41、
42、其中，为跟踪的第i个特征点从第u帧运动到第u+1帧的运动矢量，为跟踪的第i个特征点在第u+1帧图像中的横坐标，为跟踪的第i个特征点在第u+1帧图像中的纵坐标，为跟踪的第i个特征点在第u帧图像中的横坐标，为跟踪的第i个特征点在第u帧图像中本文档来自技高网...
【技术保护点】
1.一种吊舱无人机视频防抖方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的吊舱无人机视频防抖方法，其特征在于，所述S1步骤包括：
3.根据权利要求2所述的吊舱无人机视频防抖方法，其特征在于，所述步骤S2包括：
4.根据权利要求3所述的吊舱无人机视频防抖方法，其特征在于，所述S2步骤包括：
5.根据权利要求4所述的吊舱无人机视频防抖方法，其特征在于，所述S3步骤包括：
6.根据权利要求5所述的吊舱无人机视频防抖方法，其特征在于，所述S4步骤包括：
7.根据权利要求1所述的吊舱无人机视频防抖方法，其特征在于，所述S5步骤包括根据整幅图像在各时刻的抖动方向、抖动幅度与各时刻风力、风向数据的预测值以及吊舱无人机姿态数据，共同构建视频补偿网络输入向量；各时刻抖动方向由注意力机制计算得到；根据视频补偿网络输出变换矩阵的变换参数后，采用指数平滑方法，对变换矩阵参数进行平滑处理，最后输出补偿后的视频帧。
8.根据权利要求6所述的吊舱无人机视频防抖方法，其特征在于，所述S5步骤包括：
9.一种
...【技术特征摘要】
1.一种吊舱无人机视频防抖方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的吊舱无人机视频防抖方法，其特征在于，所述s1步骤包括：
3.根据权利要求2所述的吊舱无人机视频防抖方法，其特征在于，所述步骤s2包括：
4.根据权利要求3所述的吊舱无人机视频防抖方法，其特征在于，所述s2步骤包括：
5.根据权利要求4所述的吊舱无人机视频防抖方法，其特征在于，所述s3步骤包括：
6.根据权利要求5所述的吊舱无人机视频防抖方法，其特征在于，所述s4步骤包括：...
【专利技术属性】
技术研发人员：陈乐春，曾彬林，蒋伟，李刘彬，
申请(专利权)人：数字鹰航空科技泰州有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。