机载智能眼镜设备及基于该设备的飞机控制方法技术

本发明专利技术公开了一种机载智能眼镜设备，其包括摄像头和智能眼镜，智能眼镜包括控制部件和电子成像眼镜片，控制部件与电子成像眼镜片、摄像头交互连接；控制部件根据摄像头拍摄到的飞行监控画面结合知识图谱对监控画面中出现的异常情况进行自主信息分析，并将分析结果信息输出至电子成像眼镜片上进行信息展示。本发明专利技术设备利用知识图谱、图像识别等技术，相对于为飞行员搭载了一个经验丰富的随身飞行教练，当出现问题时，智能眼镜可以第一时间准确判断问题点，并给出最优的处理方案建议。与此同时，智能眼镜中的摄像头及麦克风在飞行员操作飞机时，给了手势控制和声音控制的多种选择，这种多模态的交互方式降低了飞行员操作难度，让飞行更加安全。飞行更加安全。飞行更加安全。

【技术实现步骤摘要】
机载智能眼镜设备及基于该设备的飞机控制方法


[0001]本专利技术涉及飞机设备
，尤其涉及一种机载智能眼镜设备及基于该设备的飞机控制方法。

技术介绍

[0002]飞行员在飞行过程中，需要同时监控机舱内几十种仪表，并根据仪表数据和塔台给出的信息进行任务执行。由于飞机上仪表非常多，在执行一些较复杂任务的过程中，需要飞行员对仪表盘中的信息有非常高的判断能力和执行能力，如无法第一时间预判问题，或出现问题没有第一时间执行正确操作，将会对飞行任务产生重大影响。
[0003]目前在战斗机的实际飞行操作中，异常情况的处理完全由飞行员基于经验进行操作，缺乏系统的智能化支持，且在紧急情况下，飞行员在仓内行动受限，双手无法离开操纵杆，不能去执行较为丰富的指令。

技术实现思路

[0004]针对上述现有技术中存着的不足之处，本专利技术提出了一种机载智能眼镜设备及基于该设备的飞机控制方法，可以辅助飞行员进行飞机控制，降低飞行员的操作难度，让飞行更加安全。
[0005]本专利技术实施例提供一种机载智能眼镜设备，所述设备包括摄像头和智能眼镜，所述智能眼镜包括控制部件和电子成像眼镜片，所述控制部件与所述电子成像眼镜片、所述摄像头交互连接；所述控制部件根据所述摄像头拍摄到的飞行监控画面结合知识图谱对所述监控画面中出现的异常情况进行自主信息分析，并将分析结果信息输出至所述电子成像眼镜片上进行信息展示。
[0006]可选的，所述控制部件包括图像识别模块、知识图谱分析模块和信息输出模块，所述图像识别模块用于对所述监控画面进行信息识别，所述知识图谱分析模块用于判断所述图像识别模块识别到的信息是否包含异常情况，所述信息输出模块用于输出所述知识图谱分析模块的判断结果信息。
[0007]可选的，所述控制部件还包括规则引擎模块，预设有匹配不同异常情况的处理方案，用于在出现所述异常情况时匹配得到应对的处理方案，并将所述处理方案输出至所述电子成像眼镜片上进行方案显示。
[0008]可选的，所述控制部件与飞机控制系统交互连接，所述控制部件还用于识别所述监控画面中的手势指令，并对所述飞机控制系统发出所述手势指令。
[0009]可选的，所述智能眼镜上还设有声音收集与处理装置，与飞机控制系统交互连接，用于收集飞行员的声音指令，处理后发送至所述飞机控制系统。
[0010]可选的，所述声音收集与处理装置包括麦克风、ASR模块和NLU模块，所述麦克风用于收集飞行员的声音指令，所述ASR模块和NLU模块分别用于对所述声音指令进行转写和指令理解。
[0011]可选的，所述摄像头的数量为多个，分别设于所述智能眼镜和飞机上。
[0012]本专利技术实施例提供一种基于上述机载智能眼镜设备的飞机控制方法，所述方法包括：
[0013]飞行员佩戴所述智能眼镜执行飞行任务；
[0014]开启所述智能眼镜，利用所述摄像头实时拍摄飞行监控画面；
[0015]所述控制构件根据所述摄像头拍摄到的监控画面结合知识图谱对所述监控画面中出现的异常情况进行自主信息分析，并将分析结果信息输出至所述电子成像眼镜片上进行信息展示，供飞行员控制飞机执行飞行任务。
[0016]可选的，当所述知识图谱分析到异常情况时，所述控制构件针对分析结果给出建议的处理方案并输出至所述电子成像眼镜片上进行方案显示。
[0017]可选的，飞行员控制飞机执行飞行任务的方式至少包括以下方式中的一种：手势识别、语音控制、眼神跟踪。
[0018]本专利技术提出一种机载智能眼镜设备及基于该设备的飞机控制方法，该设备利用知识图谱、图像识别等技术，相对于为飞行员搭载了一个经验丰富的随身飞行教练，当出现问题时，智能眼镜可以第一时间准确判断问题点，并给出最优的处理方案建议。与此同时，智能眼镜中的摄像头及麦克风在飞行员操作飞机时，给了手势控制和声音控制的多种选择，这种多模态的交互方式降低了飞行员操作难度，让飞行更加安全。
附图说明
[0019]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1为本专利技术一实施例中基于机载智能眼镜设备的飞机控制方法的控制原理图。
[0021]图2为本专利技术一实施例中智能眼镜的模块框图。
具体实施方式
[0022]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0023]参阅图1和图2，在本专利技术提供的一实施例中，提供了一种机载智能眼镜设备，设备包括摄像头1和智能眼镜2，智能眼镜2进一步包括控制部件21和电子成像眼镜片22，控制部件21与电子成像眼镜片22、摄像头1交互连接。该控制部件21根据摄像头1拍摄到的飞行监控画面结合知识图谱对监控画面中出现的异常情况进行自主信息分析，并将分析结果信息输出至电子成像眼镜片22上进行信息展示。该机载智能眼镜设备可以辅助飞行员进行飞机控制，降低飞行员的操作难度，让飞行更加安全。
[0024]此外，该智能眼镜2还可包括眼镜架、用于装载控制部件21的小型电脑、总控开关、电源接口(或充电模块)、数据传输接口等。其中，电子成像眼镜片22安装在眼镜架的前端，
电子成像眼镜片22可采用LED透明显示屏(类似谷歌眼镜的产品)，一方面可以进行信息显示，另一方面也不会阻挡飞行员的视线。
[0025]摄像头1可采用微型摄像头，设置在智能眼镜2上，如在智能眼镜的电子成像眼镜片22所在侧的眼镜架的左右两端及中间位置分别设置一个摄像头1；微型摄像头也可以设置在飞机的驾驶舱内，对准仪表盘或对准驾驶舱外。在智能眼镜2的总控开关开启后，利用该些微型摄像头对仪表盘以及飞行过程中驾驶舱外的图像进行实施拍摄监控，得到飞机飞行过程中的监控画面。
[0026]控制部件21具体可包括图像识别模块211、知识图谱分析模块212和信息输出模块213。图像识别模块211与摄像头1交互连接，图像识别模块211采用图像识别技术，用于对摄像头1实时拍摄的监控画面进行信息识别；知识图谱分析模块212与图像识别模块21连接，知识图谱分析模块212采用知识图谱技术，利用预先搭建的飞机专业领域知识图谱，对监控画面中出现的异常物体、仪表盘异常数据等进行自主信息分析，并生成分析结果；信息输出模块213与知识图谱分析模块212、电子成像眼镜片22交互连接，用于输出知识图谱分析模块的分析结果信息，飞行员可以在电子成像眼镜片22上看到显示的分析结果信息，依据该分析结果信息，第一时间准确判断异常情况和异常情况发生位置，辅助执行飞行任务。
[0027]较佳地，控制部件21还包括规则引擎模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机载智能眼镜设备，其特征在于，包括摄像头和智能眼镜，所述智能眼镜包括控制部件和电子成像眼镜片，所述控制部件与所述电子成像眼镜片、所述摄像头交互连接；所述控制部件根据所述摄像头拍摄到的飞行监控画面结合知识图谱对所述监控画面中出现的异常情况进行自主信息分析，并将分析结果信息输出至所述电子成像眼镜片上进行信息展示。2.如权利要求1所述的机载智能眼镜设备，其特征在于，所述控制部件包括图像识别模块、知识图谱分析模块和信息输出模块，所述图像识别模块用于对所述监控画面进行信息识别，所述知识图谱分析模块用于判断所述图像识别模块识别到的信息是否包含异常情况，所述信息输出模块用于输出所述知识图谱分析模块的判断结果信息。3.如权利要求1所述的机载智能眼镜设备，其特征在于，所述控制部件还包括规则引擎模块，预设有匹配不同异常情况的处理方案，用于在出现所述异常情况时匹配得到应对的处理方案，并将所述处理方案输出至所述电子成像眼镜片上进行方案显示。4.如权利要求1所述的机载智能眼镜设备，其特征在于，所述控制部件与飞机控制系统交互连接，所述控制部件还用于识别所述监控画面中的手势指令，并对所述飞机控制系统发出所述手势指令。5.如权利要求1所述的机载智能眼镜设备，其特征在于，所述智能眼镜上还设有声音收集与处...

【专利技术属性】
技术研发人员：王冬晨，
申请(专利权)人：云知声上海智能科技有限公司，
类型：发明
国别省市：