用于空对空加油（A3R）的基于分段的加油插孔定位制造技术

本申请题为“用于空对空加油(A3R)的基于分段的加油插孔定位”。本公开的一些方面提供了用于自动空对空加油(A3R)和辅助空对空加油的解决方案。一些示例包括：接收视频帧；从视频帧内识别将被加油的飞行器；将视频帧分段以生成匹配视频帧内的飞行器的分段掩码；至少基于分段掩码来确定飞行器上的加油插孔的位置；确定空中加油伸缩套管的伸缩套管尖端的位置；以及至少基于加油插孔的位置和伸缩套管尖端的位置来控制空中加油伸缩套管接合加油插孔。位置来控制空中加油伸缩套管接合加油插孔。位置来控制空中加油伸缩套管接合加油插孔。

【技术实现步骤摘要】
用于空对空加油(A3R)的基于分段的加油插孔定位

技术介绍

[0001]空中加油(空对空加油)通常由技术精湛的人类加油伸缩套管操作者来手动执行。一些布置将人类操作者安排在窗口后面，以便观察加油伸缩套管/吊杆(boom)和将要加油的飞行器。这种类型的布置需要增加在加油平台的后部中为人类操作者提供容身空间的显著费用。
[0002]一些布置通过双重相机使用立体视觉，其中人类操作者佩戴基于来自双重相机的视野提供三维(3D)视野的护目镜。一些其他布置使用光检测与测距(lidar)或雷达来为人类操作者提供辅助距离测量。后面这些类型的布置需要额外的昂贵部件。

技术实现思路

[0003]下面参考后文列出的附图来详细描述所公开的一些示例。提供以下概述来说明本文公开的一些示例或实施方式。但是，它并不意味着将所有示例限制到任何特定的配置或操作序列。
[0004]本公开的一些方面提供用于自动空对空加油(A3R)和辅助空对空加油的解决方案。一些示例包括：接收视频帧；从视频帧内识别将被加油的飞行器；将视频帧分段以生成匹配视频帧内的飞行器的分段掩码；至少基于分段掩码来确定飞行器上的加油插孔的位置；确定空中加油伸缩套管的伸缩套管尖端的位置；以及至少基于加油插孔的位置和伸缩套管尖端的位置来控制空中加油伸缩套管接合加油插孔。一些示例包括：至少基于确定控制空中加油伸缩套管接合加油插孔不符合安全参数而生成警报。对于一些示例，视频帧是单眼的(例如由单个相机提供)。
附图说明
[0005]在下文中参考下面列出的附图来详细描述公开的实施例：
[0006]图1A示出根据一个示例有利地采用用于自动空对空加油(A3R)和辅助空对空加油的基于分段的加油插孔定位的布置100。
[0007]图1B示出根据一个示例来自布置100中的相机108的代表性视频帧202。
[0008]图1C提供识别出各种元件的图1B的注释版本。
[0009]图2示出根据一个示例可被用在布置100中的计算机视觉(CV)架构200。
[0010]图3示出根据一个示例在图2的CV架构200中的飞行器300的框图。
[0011]图4示出根据一个示例在图2的CV架构200中的伸缩套管尖端位置估计流水线400的框图。
[0012]图5示出根据一个示例的视频帧500，其中飞行器模型投影502和伸缩套管模型投影504被覆盖。
[0013]图6是示出根据一个示例可结合图1的布置100使用的A3R的特征检测的方法的流程图600。
[0014]图7是示出根据一个示例可结合图1的布置100使用的A3R的特征检测的另一方法
的流程图700。
[0015]图8是根据一个示例适用于实现本公开的各个方面的计算设备800的框图。
[0016]图9是根据一个示例采用本公开的各个方面的装置生产和维护方法900的框图。
[0017]根据一个示例，相应的附图标记在整个附图中指示相应的部分。
具体实施方式
[0018]将参照附图详细描述各种示例。在可能的情况下，将在整个附图中使用相同的附图标记来指代相同或相似的部分。在整个公开中仅出于说明性目的来提供对特定示例和实施方式的引用，但除非有相反指示，否则并不意味着限制所有实施方式。
[0019]当结合附图阅读时，将更好地理解前述概述以及某些实施方式的以下详细描述。如本文所用，以单数形式列举并冠以单词“一”或“一个”的元件或步骤应理解为不一定排除元件或步骤的复数形式。此外，对实施方式或示例的引用不旨在被解释为排除也包含所列举的特征的额外示例的存在。此外，除非明确相反地说明，“包括”或“含有”具有特定属性的元素或多个元素的示例可以包括不具有该属性的额外元素。
[0020]本公开的一些方面提供用于自动空对空加油(A3R)和辅助空对空加油的解决方案。一些示例包括：接收视频帧；从视频帧内识别将被加油的飞行器；将视频帧分段以生成匹配视频帧内的飞行器的分段掩码；至少基于分段掩码来确定飞行器上的加油插孔的位置；确定空中加油伸缩套管的伸缩套管尖端的位置；以及至少基于加油插孔的位置和伸缩套管尖端的位置来控制空中加油伸缩套管接合加油插孔。一些示例包括：至少基于加油插孔的位置和伸缩套管尖端的位置来控制空中加油伸缩套管接合加油插孔。一些示例包括：至少基于确定控制空中加油伸缩套管接合加油插孔不符合安全参数而生成警报。对于一些示例，视频帧是单眼的(例如由单个相机提供)。
[0021]与依赖于例如处理许多不同测量输入的传统系统相比，本公开的一些方面具有改进计算机的操作的技术效果，例如通过减少距离计算、提高计算硬件的效率并提供更好的资源分配。例如，本文的一些方面通过减少计算时间来改进计算机的操作(例如速度改进)。例如，机器学习方案将图案识别任务的负担转移给图形处理单元(GPU)，而不是中央处理单元(CPU)。
[0022]本公开的一些方面能够在由单个相机收集的视频流中估计三维对象(例如，飞行器加油插孔)的位置，例如用于支持自主空中加油操作和/或人力辅助空中加油操作。例如，本公开的一些方面定位飞行器加油插孔与加油平台的加油伸缩套管的相对位置，以便在加油期间自动控制加油伸缩套管。在一些示例中，位置和姿态信息被表示为六个自由度(6DoF)，其包括三维(3D)位置(x坐标、y坐标和z坐标)和取向(滚转、俯仰和偏航)。
[0023]连续表面(例如，要加油的飞行器或空中加油伸缩套管的表面)可以在视频帧中与分段掩码(例如语义分段掩码)在位置上匹配。语义分段是指将图像(例如视频帧)中的每个像素与类别标签(例如飞机、伸缩套管或背景)联系起来的过程。一些示例使用诸如残差神经网络(ResNet)的卷积神经网络(CNN)来将视频帧分段。
[0024]可以使用3D对象模型在估计的位置处并以估计的姿势(例如，如由单个相机所见的6DoF位置)生成预测的二维(2D)掩码。位置估计可以使用机器学习(ML)来完成，例如使用神经网络(NN)、U
‑
Net CNN或透视n点(PnP)算法，并且一些示例还可以融合预测的关键点以
协助位置确定。例如，可以训练完全卷积神经网络(FCNN)以将感兴趣对象(例如，加油插孔或加油伸缩套管)的图像映射到二进制掩码，其中该特征的位置由以该特征为中心的高斯分布表示。在一些示例中，可以使用U
‑
Net CNN(例如，特征提取器CNN)。
[0025]当由估计的6DoF位置产生的掩码与视频帧的分段结果匹配时，估计的6DoF可以作为对象(飞行器或伸缩套管)的确定的6DOF位置。掩码可以用于校正基准偏移(参见图1C的基准标记物示例)。该掩码为梯度下降拟合提供了连续表面，并且还为处理寻求加油的飞行器的各种配置提供了灵活性。
[0026]一些示例进一步使用时间滤波(例如卡尔曼滤波器或ML模型)来对位置数据进行时间滤波和稳定化，以提高定位准确度。一些示例包含可用的辅助传感器数据，例如光检测和测距(lidar)、雷达或其他类型的接近度传感器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种操作空中加油伸缩套管的方法，所述方法包括：接收视频帧；从所述视频帧内识别将被加油的飞行器；将所述视频帧分段以生成匹配所述视频帧内的所述飞行器的分段掩码；至少基于所述分段掩码来确定所述飞行器上的加油插孔的位置；确定所述空中加油伸缩套管的伸缩套管尖端的位置；以及至少基于所述加油插孔的位置和所述伸缩套管尖端的位置来控制所述空中加油伸缩套管接合所述加油插孔。2.根据权利要求1所述的方法，其中所述视频帧由单个相机提供。3.根据权利要求1所述的方法，其进一步包括：向所述飞行器提供机动信息以有利于使所述加油插孔与所述空中加油伸缩套管接合。4.根据权利要求1所述的方法，其进一步包括：使用所述加油插孔或所述伸缩套管尖端的位置信息来确定控制所述空中加油伸缩套管接合所述加油插孔是否不符合安全参数；以及至少基于确定控制所述空中加油伸缩套管接合所述加油插孔不符合安全参数而生成警报。5.根据权利要求1所述的方法，其进一步包括：在所述视频帧内确定用于所述飞行器的飞行器关键点，其中确定所述飞行器上的所述加油插孔的位置包括将所述飞行器关键点的位置信息与所述分段掩码的位置信息融合。6.根据权利要...

【专利技术属性】
技术研发人员：T，
申请(专利权)人：波音公司，
类型：发明
国别省市：