一种基于视觉的固定翼飞行器飞行趋势判断方法技术

本发明专利技术提供了一种基于视觉的无人机飞行趋势判断方法，能够解决无人机集群编队飞行时面对强电磁干扰环境下丢失其他合作单位信息的问题。本发明专利技术基于深度学习网络进行编队集群飞行间个体间飞行趋势判断，通过使用视觉的方法，不会受到电磁干扰，在强电磁干扰的情况下仍然能正常工作，不受环境、气候等条件的影响；其中，使用基于深度学习网络的目标识别算法，具有鲁棒性高、抗干扰性强且能够同时识别多个目标的优点，除此之外，使用基于深度学习网络的目标识别算法在经过GPU加速后可以满足嵌入式平台的使用需求。本发明专利技术通过单目捷联式导引头实现可以有效提升检测距离。

【技术实现步骤摘要】
一种基于视觉的固定翼飞行器飞行趋势判断方法
本专利技术属于无人机组群图像处理
，具体涉及一种基于视觉的固定翼飞行器飞行趋势判断方法。
技术介绍
随着反无人机集群技术的发展，战场复杂强电磁对抗环境会对依赖无线射频通信的无人机集群造成极大威胁，甚至致命影响。因此，研究在失去无射频通信联络后的新型多无人机组群机制，成为亟需研究的课题，以使无人机群在组网通信信息被干扰切断后，仍能实施组群任务。为应对无人机集群作战中的强电磁干扰环境，目前主要有三种技术途径：(1)提高无线射频通信系统的抗干扰能力，但在极强的电磁屏蔽环境下，仅依靠无线通信系统的抗干扰能力显得力不从心。(2)采用化学物质探测、自由空间光通信等新方式获取组群信息，但化学物质探测和自由空间光通信的应用场景极为有限。(3)采用相机成像原理或图像处理技术的方法，但这些方法都在距离较远时表现较差且判断准确性较低。并且容易受到外界环境干扰，在不同环境中使用时鲁棒性差，并且传统方法的计算速度慢，无法满足嵌入式平台的实时性需求。
技术实现思路
有鉴于此，本专利技术提供了一种基于视觉的无人机飞行趋势判断方法，能够解决无人机集群编队飞行时面对强电磁干扰环境下丢失其他合作单位信息的问题。为实现上述目的，本专利技术的一种基于视觉的固定翼飞行器飞行趋势判断方法，包括如下步骤：S1、基于深度学习网络进行目标检测和相对姿态判断；其中，在制作数据集时，采用帧对齐的方式，将每帧图像与欧拉角数据对齐，并将获得的相对欧拉角转换为深度学习网络训练集的标签；S2、基于先验知识进行目标边缘点提取；S3、基于已知尺寸进行目标测距，对组内合作单位目标进行持续跟踪，获得各友方无人机的相对距离信息，从而对合作单位的飞行趋势进行判断；另外，在编队无人机失去通讯的条件下，每架无人机仅通过自身位姿信息和相机捕捉的视觉信息对编队中其他合作单位的相对位姿进行判断。其中，具体地，S1中所述目标检测和相对姿态判断包括如下步骤：制作数据集：设定观测无人机为无人机A，被测无人机为无人机B，得到相应的旋转矩阵：求得无人机B在无人机A参考坐标系下的旋转矩阵R：设旋转矩阵为：其中，α、β和γ分别对应无人机B在以无人机A为参考坐标系下的滚转角、俯仰角和偏航角；求解无人机B在以无人机A为参考坐标系下的姿态角为：θpitch＝β＝arcsin(-r13)设定来区分飞行器此刻是正常颠簸还是运动姿态正在发生变化的一个相应的阈值；将数据集中的数据分为左上、上、右上、左、前、右、左下、下和右下9种不同的姿态。其中，具体地，S2中所述基于先验知识的边缘点提取方法通过如下步骤实现：通过深度学习网络实现目标检测后，将目标边界框提取出来，并将边界框中目标图像经过二维高斯滤波处理，具体公式如下：式中，K为处理后的像素值，σ为方差；在之后使用Canny算子和Sobel差分算子得到图像中梯度的幅值方向，从而得到目标的边缘点，边缘点提取公式如下：θ＝atan2(Gy，Gx)式中，Gx和Gy代表Sobel算子提取的差分，θ为梯度方向；在获取经过高斯滤波锐化后的目标边缘点后进行主成分分析后得到机体轴，根据机体轴的方向提取图像中无人机前翼所占的像素值；当图像中为无人机侧面投影时，获得无人机的机身长度和机身高度。其中，具体地，S3中所述基于先验知识的目标测距通过如下步骤实现：通过获得到合作单位目标的特征像素尺寸后，根据相机成像原理进行目标无人机的测距：当检测出的相对姿态为左或右侧时，带入公式：其中，D为测出距离，H为目标无人机机身高，bh为目标无人机身高像素尺寸；其余姿态公式为：其中，W为目标无人机主翼翼展，bw为目标无人机主翼翼展像素尺寸；在测出D后，根据姿态不同将目标无人机的在设相机光心在像素坐标系中的坐标为(Cx,Cy)，根据相机成像的原理，得到公式：其中，(u，v)为目标无人机中心点在像素坐标系中的坐标。(X，Y，Z)T为目标无人机在相机坐标系中的坐标，从而计算得到无人机相对于相机两个光轴的角度θ1和θ2：θ1和θ2即为无人机B相对无人机A的两个角度；根据θ1和θ2以及计算得到的(X，Y，Z)T，初步实现对无人机的定位，并将其转化到世界坐标系中。其中，具体地，S3中对合作单位的飞行趋势进行判断的方式为：通过对比连续帧时目标的坐标化并结合检测出的相对姿态判断无人机最终的飞行趋势。其中，所述S1中通过深度学习网络直接提取目标的关键点，并通过关键点的相对关系进行姿态判断。其中，所述深度学习网络为卷积神经网络。有益效果：本专利技术基于深度学习网络进行编队集群飞行间个体间飞行趋势判断，通过使用视觉的方法，不会受到电磁干扰，在强电磁干扰的情况下仍然能正常工作，不受环境、气候等条件的影响；其中，使用基于深度学习网络的目标识别算法，具有鲁棒性高、抗干扰性强且能够同时识别多个目标的优点，除此之外，使用基于深度学习网络的目标识别算法在经过GPU加速后可以满足嵌入式平台的使用需求。本专利技术通过单目捷联式导引头实现可以有效提升检测距离。附图说明图1为本专利技术技术方案关系图；图2为本专利技术目标检测和初步测姿总体技术路线；图3为本专利技术实例提供的9种目标相对姿态分类图例；图4为本专利技术实例提供的目标相对姿态检测效果图；图5为本专利技术边缘点特征提取方案设计图；图6为本专利技术实例提供的边缘点提取效果图；图7为本专利技术单目相机测距原理图；图8为本专利技术实例提供的单目相机坐标系转换原理图。图9为本专利技术实例提供的目标无人机定位效果图。具体实施方式下面结合附图并举实施例，对本专利技术进行详细描述。实施例1：本实施例提供了一种基于视觉的固定翼飞行器飞行趋势判断方法，技术方案关系图如图1所示，采用基于卷积神经网络的集群编队无人机间的视觉测距和相对姿态判定，包括如下步骤：S1、基于深度学习网络进行目标检测和相对姿态判断；S2、基于先验知识进行目标边缘点提取：根据获取的相对姿态作为后续处理的先验知识提取图像中目标的某部分尺寸，以根据相机成像原理进行单目相机测距；S3、基于已知尺寸进行目标测距：对组内合作单位目标进行持续跟踪，获得各友方无人机的相对距离信息，其中，根据相机成像原理进行单目相机测距，从而对合作单位的飞行趋势进行判断。另外，在编队无人机失去通讯的条件下，每架无人机仅通过自身位姿信息和相机捕捉的视觉信息对编队中其他合作单位的相对位姿进行判断。具体地，本实施例目标检测和初步测姿总体技术路线如图2所示，S1中所述目标检测和相对姿态判断包括如下步骤：由于固定翼本文档来自技高网...

【技术保护点】
1.一种基于视觉的固定翼飞行器飞行趋势判断方法，其特征在于，包括如下步骤：/nS1、基于深度学习网络进行目标检测和相对姿态判断；/n其中，在制作数据集时，采用帧对齐的方式，将每帧图像与欧拉角数据对齐，并将获得的相对欧拉角转换为深度学习网络训练集的标签；/nS2、基于先验知识进行目标边缘点提取；/nS3、基于已知尺寸进行目标测距，对组内合作单位目标进行持续跟踪，获得各友方无人机的相对距离信息，从而对合作单位的飞行趋势进行判断；/n另外，在编队无人机失去通讯的条件下，每架无人机仅通过自身位姿信息和相机捕捉的视觉信息对编队中其他合作单位的相对位姿进行判断。/n

【技术特征摘要】
1.一种基于视觉的固定翼飞行器飞行趋势判断方法，其特征在于，包括如下步骤：
S1、基于深度学习网络进行目标检测和相对姿态判断；
其中，在制作数据集时，采用帧对齐的方式，将每帧图像与欧拉角数据对齐，并将获得的相对欧拉角转换为深度学习网络训练集的标签；
S2、基于先验知识进行目标边缘点提取；
S3、基于已知尺寸进行目标测距，对组内合作单位目标进行持续跟踪，获得各友方无人机的相对距离信息，从而对合作单位的飞行趋势进行判断；
另外，在编队无人机失去通讯的条件下，每架无人机仅通过自身位姿信息和相机捕捉的视觉信息对编队中其他合作单位的相对位姿进行判断。


2.如权利要求1所述的基于视觉的固定翼飞行器飞行趋势判断方法，其特征在于，具体地，S1中所述目标检测和相对姿态判断包括如下步骤：
制作数据集：设定观测无人机为无人机A，被测无人机为无人机B，得到相应的旋转矩阵：









求得无人机B在无人机A参考坐标系下的旋转矩阵R：



设旋转矩阵为：



其中，α、β和γ分别对应无人机B在以无人机A为参考坐标系下的滚转角、俯仰角和偏航角；求解无人机B在以无人机A为参考坐标系下的姿态角为：



θpitch＝β＝arcsin(-r13)



设定来区分飞行器此刻是正常颠簸还是运动姿态正在发生变化的一个相应的阈值；将数据集中的数据分为左上、上、右上、左、前、右、左下、下和右下9种不同的姿态。


3.如权利要求1所述的基于视觉的固定翼飞行器飞行趋势判断方法，其特征在于，具体地，S2中所述基于先验知识的边缘点提取方法通过如下步骤实现：
通过深度学习网络实现目标检测后，将目标边界框提取出来，并将边界框中目标图像经过二维高斯滤波处理，具体公式如下：



式中，K为处理后的像素值，σ为方差；
在之后使用Canny算子和Sobel差分算子得到图像中梯度的幅值方向，从而得到目标的边缘点，边缘点提取公式如下：

【专利技术属性】
技术研发人员：杨宇，张晟，李杰，杨成伟，刘畅，王振北，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11