基于AR设备的飞机绕机检查辅助方法和系统技术方案

本发明专利技术提供了一种基于AR设备的飞机绕机检查辅助方法，包括：基于用户佩戴的AR设备获取目标飞机所处的真实环境的点云数据，得到环境点云数据；响应于接收到用户在所述环境点云数据中选择的关于目标飞机中的关键部件的关键部件点云数据，获取与接收到的关键部件点云数据对应的识别信息；基于接收到的对应的识别信息，所述用户对对应的关键部件进行检查，并将检查结果通过所述人机交互界面进行记录和发送；响应于接收到所述检查结果，对所述目标飞机的履历信息进行更新。本发明专利技术还提供一种基于AR设备的飞机绕机检查辅助系统。本发明专利技术能够提高维修效率。提高维修效率。提高维修效率。

【技术实现步骤摘要】
基于AR设备的飞机绕机检查辅助方法和系统


[0001]本专利技术涉及维修培训领域，具体涉及一种基于AR设备的飞机绕机检查辅助方法和系统。

技术介绍

[0002]机场机务人员是在飞机起飞前，进行飞机检查的机场工作人员。机务人员需要通过航前飞机检查，以发现飞机的发动机、起落架是否存在表面的机械故障等问题，并严格按照绕机检查的工作流程去进行航前检查，目前机务人员没有有效的科技手段帮助他们进行检查，检查的效率也比较低。
[0003]机务人员的工作影响着飞机航行的可靠性和安全性，只有保证航前检查工作的质量，才能保证飞机在航空运行中不出现差错，保证飞机上人员的生命安全。随着航线数量的快速增长，民航业内对机务人员的工作的要求也在日益提高，传统的方式已经不能满足社会的发展需求。加上现在的飞机越来越复杂，检查难度也越来越大，传统工作方式已经不能满足当今的需求，

技术实现思路

[0004]针对上述技术问题，本专利技术采用的技术方案为：
[0005]本专利技术实施例提供一种基于AR设备的飞机绕机检查辅助方法，包括以下步骤：
[0006]S100，基于用户佩戴的AR设备获取目标飞机所处的真实环境的点云数据，得到环境点云数据；
[0007]S200，响应于接收到用户在所述环境点云数据中选择的关于目标飞机中的关键部件的关键部件点云数据，获取与接收到的关键部件点云数据对应的识别信息并进行发送；所述识别信息至少包括关键部件的ID、三维模型和相关记录信息，并发送至所述AR设备；其中，所述相关记录信息在所述AR设备中以人机交互界面方式进行显示；所述相关记录信息至少包括维修参考数据；
[0008]S300，基于接收到的对应的识别信息，所述用户对对应的关键部件进行检查，并将检查结果通过所述人机交互界面进行记录和发送；
[0009]S400，响应于接收到所述检查结果，对所述目标飞机的履历信息进行更新。
[0010]本专利技术另一实施例提供一种基于AR设备的飞机绕机检查辅助系统，包括：通信连接的AR设备、处理器和模型库；所述模型库中存储有多个模型信息，每个模型信息包括对应的模型ID、三维模型和特征值；
[0011]所述AR设备用于供用户佩戴，用于执行如下操作：
[0012]S10，获取目标飞机所处的真实环境的点云数据，得到环境点云数据；
[0013]S12，在检测到所述用户在所述环境点云数据中选择的关于目标飞机中的关键部件的关键部件点云数据时，将对应的关键部件点云数据发送给所述处理器；
[0014]所述处理器用于执行如下操作：
[0015]S20，从所述模型库中获取与接收到的关键部件点云数据对应的识别信息并发送给所述AR设备；所述识别信息至少包括关键部件的ID、三维模型和相关记录信息，并发送至所述AR设备；其中，所述相关记录信息在所述AR设备中以人机交互界面方式进行显示；所述相关记录信息至少包括维修参考数据；
[0016]所述AR设备还用于执行如下操作：
[0017]S14，将接收到的对应的识别信息进行显示，以辅助所述用户对对应的关键部件进行检查，以及将所述用户生成的检查结果发送给所述处理器；
[0018]所述处理器还用于执行如下操作：
[0019]S22，响应于接收到所述检查结果，对所述目标飞机的履历信息进行更新。
[0020]本专利技术至少具有以下技术效果：
[0021]本专利技术结合AR设备例如增强现实眼镜和物体三维识别技术对真实场景下的民航飞机的关键部件进行识别，展示详细直观的民航飞机关键部件三维模型信息、维修信息、相应的维修参考视频/文件等，能够提高机务人员在飞机航前检查、机场飞机维修人员维修的效率等，此外通过与机场数据库连接，可以获知该飞机的历史维修检查等信息，提高飞机的安全性。
附图说明
[0022]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1为本专利技术实施例提供的基于AR设备的飞机绕机检查辅助方法的流程示意图。
具体实施方式
[0024]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]本专利技术实施例提供一种基于AR设备的飞机绕机检查辅助方法，如图1所示，可包括以下步骤：
[0026]S100，基于用户佩戴的AR设备获取目标飞机所处的真实环境的点云数据，得到环境点云数据。
[0027]在本专利技术实施例中，AR设备可为AR眼镜，可为现有产品。优选，可为能够进行手势交互的AR眼镜，例如Hololens2。AR眼镜包含显示端和数据处理终端，为一体化设计，可进行轻量化数据处理，具备场景空间扫描功能，通过AR眼镜的深度摄像头可进行空间线图绘制，完成空间场景扫描与物体的定位，能够确定扫描物体在空间中的绝对位置。
[0028]在本专利技术实施例中，用户可为机场维修人员。目标飞机可为需要进行检修的飞机。
[0029]本领域技术人员知晓，通过AR设备获取环境点云数据的方法可为现有技术。
[0030]S200，响应于接收到用户在所述环境点云数据中选择的关于目标飞机中的关键部
件的关键部件点云数据，获取与接收到的关键部件点云数据对应的识别信息并进行发送；所述识别信息至少包括关键部件的ID、三维模型和相关记录信息，并发送至所述AR设备；其中，所述相关记录信息在所述AR设备中以人机交互界面方式进行显示；所述相关记录信息至少包括维修参考数据。
[0031]在本专利技术实施例中，关键部件可基于实际需要进行设置，可为需要检查的部件，例如，可包括发动机、起落架等。关键部件的ID可为关键部件的名称，例如，某个飞机型号的发动机等。
[0032]在本专利技术实施例中，用户可按照设定流程对目标飞机的关键部件进行检查。当需要对某个关键部件进行检查时，可通过设定控制指令例如动作控制指令、语音控制指令或者文字控制指令等在AR设备的操作界面上选择对应的关键部件。
[0033]在本专利技术实施例中，可采用现有方法获取与接收到的关键部件点云数据对应的识别信息。例如，将获取的对获取的点云数据，进行滤波、去外点等处理，然后提取特征点并进行描述，然后使用kd
‑
tree或ICP等算法进行匹配。经过特征点提取处理后与模型库中的相同类型飞机部件特征值进行对比，得到对应的识别信息。在本专利技术实施例中，模型库中的模型为通过CAD几何重建技术进行物体几何模型构建得到，每个模型的特征值使用LINEMOD等方法提取并加以描述。
[0034]在本专利技术实施例中，维修参考数据可包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AR设备的飞机绕机检查辅助方法，其特征在于，包括以下步骤：S100，基于用户佩戴的AR设备获取目标飞机所处的真实环境的点云数据，得到环境点云数据；S200，响应于接收到用户在所述环境点云数据中选择的关于目标飞机中的关键部件的关键部件点云数据，获取与接收到的关键部件点云数据对应的识别信息并进行发送，所述识别信息至少包括关键部件的ID、三维模型和相关记录信息，并发送至所述AR设备；其中，所述相关记录信息在所述AR设备中以人机交互界面方式进行显示；所述相关记录信息至少包括维修参考数据；S300，基于接收到的对应的识别信息，所述用户对对应的关键部件进行检查，并将检查结果通过所述人机交互界面进行记录和发送；S400，响应于接收到所述检查结果，对所述目标飞机的履历信息进行更新。2.根据权利要求1所述的方法，其特征在于，所述维修参考数据包括文字、图片、视频中的一种或多种组合。3.根据权利要求1所述的方法，其特征在于，S300还包括：在对对应的关键部件的检查过程中，所述用户通过设定控制指令与所述人机交互界面以及所述关键部件的三维模型进行信息交互。4.根据权利要求3所述的方法，其特征在于，所述设定控制指令包括动作控制指令和语音控制指令。5.根据权利要求1所述的方法，其特征在于，S300还包括：在对对应的关键部件的检查过程中，如果存在不确定的检查问题，所述用户通过所述人...

【专利技术属性】
技术研发人员：叶玮佳，贺宁，王瑾，
申请(专利权)人：中国民用航空总局第二研究所，
类型：发明
国别省市：