下滑道偏差确定系统、方法和飞行器技术方案

本专利公开了一种下滑道偏差确定系统、方法和飞行器，属于数字图像处理领域和航空领域，为近进着陆引导提供一种不同于ILS系统和GBAS系统的基于图像的解决方案。所述下滑道偏差确定系统适用于民用固定翼飞机，是基于视觉辅助驾驶系统的一部分，用于解决如何通过图像识别技术，得到与现有传感器精度相近飞机下滑道偏差数据，且将其实际应用于真实飞行器的问题。本发明专利技术的主要技术方案包括：图像采集设备，图像处理单元和位姿解算单元。图像处理单元和位姿解算单元。图像处理单元和位姿解算单元。

【技术实现步骤摘要】
下滑道偏差确定系统、方法和飞行器


[0001]本专利技术涉及数字图像处理领域和航空领域，尤其涉及一种下滑道偏差确定系统和飞行器。

技术介绍

[0002]降落是固定翼飞机运行过程中飞行最关键的阶段之一，在降落过程中，飞机与下滑道之间的偏差是必不可少的参数。国内现有的进近着陆引导大多基于ILS，但ILS存在以下若干问题：信号依靠地面反射形成，易受地面、周围物体的影响，积雪、水和过高的杂草都会使反射信号不正常；工作频道接近调频广播频率，易受到调频台的干扰；每个跑道口都需要1套ILS设备，一套ILS系统只提供一条垂直航径，所有飞机在同一个点进行着陆；资金投入高，维护成本大。因此国内外开展了基于GBAS的进近着陆引导研究，以代替和补充ILS功能。但目前，基于GBAS的进近着陆引导方法的应用还未完全成熟，其完好性、可靠性还有提升空间。
[0003]在民用航空器领域，基于机器视觉的自动起降系统已经成为未来的发展趋势。民用飞机利用机载图像识别技术，通过基于视觉的全自动飞行，可以实现了一架民用飞机的自主滑行、起飞和降落。基于机器视觉的自动起降系统可以帮助飞行员减少对飞机操作的关注，更多地关注策略决策和任务管理。在民用大飞机上应用这项技术，可以增强未来飞机运营方面的潜力，并进一步提升飞机的安全性能。

技术实现思路

[0004]本专利技术提供一种下滑道偏差确定系统、方法和安装该系统的飞行器，为近进着陆引导提供一种不同于ILS系统和GBAS系统的基于机器视觉的解决方案。
[0005]所述下滑道偏差确定系统适用于民用固定翼飞机，是基于视觉辅助驾驶系统的一部分，用于解决如何通过图像识别技术，得到与现有传感器精度相近飞机下滑道偏差数据，且将其实际应用于真实飞行器的问题。
[0006]为了解决下滑道偏差确定系统在真实飞行器中应用的问题，本专利技术提供一种下滑道偏差确定系统，具体包括：
[0007]图像采集设备，包括光学图像采集设备和红外图像采集设备，所述图像采集设备安装于飞行器上，用于从采集包含跑道关键信息的图像数据；
[0008]图像处理单元，对所述图像数据进行预处理；
[0009]位姿解算单元，用于根据所述图像数据确定飞行器的下滑道偏差,包括基于机器学习的下滑道偏差预测模型；
[0010]在该飞机姿态确定系统中，位姿解算单元如何从图像数据中得到与现有传感器精度相近的下滑道偏差数据，这一技术问题显得尤为重要。
[0011]基于上述总的专利技术构思，本专利技术提出一种端到端的模型，通过合适的方法对机器学习模型进行训练，可以实现直接由图像估计飞机的下滑道偏差数据。由于在下滑道偏差
数据的计算过程中，没有依赖额外的地标信息，也没有根据前后多帧特征进行求解，端到端模型保证了更高的精度和更快的计算速度，更适用于实际应用，也具备更强的鲁棒性。本专利技术在实际应用的过程中，也无需额外的地面信息标识，无需用到前后多帧的图像，降低计算量。
[0012]基于上述总的专利技术构思，为了保证端到端模型的精度和鲁棒性，模型训练数据的收集和处理显得更为重要。本专利技术从实际工程角度，考虑基于视觉辅助驾驶系统的设计和实际应用场景，提供了两种典型的模型训练数据的收集途径——从仿真环境中收集的数据和从真实场景中采集的数据。
[0013]上述两种训练数据各有优劣，仅使用从仿真环境中收集的数据对模型进行训练，可以为模型提供大量的、低成本的训练数据，通过大量模拟仿真数据提高模型的精确度，且模拟仿真数据采集于现有成熟的工业用途的模拟飞行软件，可以采集不同气象环境下的数据，对基于视觉辅助驾驶系统的前期设计、初步验证起到了十分关键的作用。并且基于仿真数据训练得到的模型，也可经过较为简单的调整直接应用于现实的飞行器中。
[0014]而对于使用从真实飞行场景中采集的数据进行模型训练，其优点在于训练集数据来源于真实环境，以此训练出的模型对真实环境中的输入数据适应性更强，且真实飞行场景中的飞机下滑道及相关数据可以直接由飞机总线中获取，由于不存在图像时间与飞机姿态及其相关数据的时间戳对齐问题，其数据收集难度更低，但显然由于需要通过多架次的真实飞行才能收集到足够的数据，其收集成本显著高于从仿真环境中采集。
[0015]为了进一步平衡训练数据的收集效率和模型最终的飞机姿态预测效果，也可以在训练时同时使用两种来源的数据。
[0016]在上述飞机姿态确定系统方案的基础上，还可以包含以下特征：
[0017]可选的，所述基于机器学习的下滑道偏差预测模型，为端到端的卷积神经网络模型。
[0018]可选的，所述基于机器学习的下滑道偏差模型通过以下方法训练得到：
[0019]步骤S1，从仿真环境和/或真实环境中采集数据；所述数据包括驾驶员视角的图像数据和机载端数据；
[0020]步骤S2，对所述数据进行前处理；
[0021]步骤S3，构建神经网络，所述神经网络以图像处理单元得到的图像作为输入，以下滑偏差数据和航向偏差数据作为输出；所述神经网络包括33个卷积层和1个全连接层。
[0022]可选的，当所述步骤S1中采集的数据来源于真实环境时，所述机载端数据包括由其他机载传感器收集的姿态偏差数据(ILS数据和/或GBAS数据)、姿态数据、气压高度、轮速、IRS数据信息；所述机载端数据从飞机总线获取；
[0023]可选的，在所述步骤S2中，前处理包括数据增强处理；所述数据增强处理不包括旋转和平移。因为图像中跑道的特定位置与ILS数据相对应，对输入图像的随机旋转或平移会使得模型无法正确训练。
[0024]可选的，一种下滑道偏差确定方法，包括：
[0025]获得包含跑道的图像；
[0026]对所述图像进行预处理；
[0027]将经过与处理的图像输入到机器学习模型中；
[0028]得到下滑道偏差值。
[0029]可选的，所述机器学习模型为端到端模型，所述模型的输入为图像，输出为下滑道偏差值。
[0030]可选的，所述下滑道偏差值包括下滑偏差数据和航向偏差数据。
[0031]本技术在X
‑
Plane仿真环境和真实场景的离线数据中进行了验证。使用时将图像输入进训练好的机器学习模型中，图像经过模型的前向推断可输出根据图像预测的航向偏差和下滑偏差引导值。同时采集真实的ILS航向偏差和下滑偏差引导值，通过对比本专利技术根据图像求得的预测值和ILS的真实值，可算得航向偏差每帧平均误差为0.04，下滑偏差为0.08。
[0032]在真实场景离线数据中的验证效果如图4所示，将其显示在离线的电脑屏幕中。其中右侧real标记的数值为ILS采集的真实值，pre标记的数值为机器学习模型的估计值，可以发现二者偏差较小，本专利技术所要求保护的方案具有较好的积极效果。
附图说明
[0033]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种下滑道偏差确定系统，其特征在于，包括：图像采集设备，包括光学图像采集设备和红外图像采集设备，所述图像采集设备安装于飞行器上，用于从采集包含跑道关键信息的图像数据；图像处理单元，对所述图像数据进行预处理；位姿解算单元，用于根据所述图像数据确定飞行器的下滑道偏差,包括基于机器学习的下滑道偏差预测模型。2.根据权利要求1所述的下滑道偏差确定系统，其特征在于，所述基于机器学习的下滑道偏差预测模型，为端到端的卷积神经网络模型。3.根据权利要求1或2所述的下滑道偏差确定系统，其特征在于，所述基于机器学习的下滑道偏差模型通过以下方法训练得到：步骤S1，从仿真环境和/或真实环境中采集数据；所述数据包括驾驶员视角的图像数据和机载端数据；步骤S2，对所述数据进行前处理；步骤S3，构建神经网络，所述神经网络以图像处理单元得到的图像作为输入，以下滑偏差数据和航向偏差数据作为输出；所述神经网络包括33个卷积层和1个全连接层。4.根据权利要求3所述的...

【专利技术属性】
技术研发人员：熊绎维，陈华，郭浩，张炯，孙廷婷，吴赫男，
申请(专利权)人：中国商用飞机有限责任公司，
类型：发明
国别省市：