基于双目视觉的飞机滑行防撞辅助方法技术

本公开实施例中提供了一种基于双目视觉的飞机滑行防撞辅助方法，于飞机机舱内透过窗户安装双目相机，获取外部视差图，转化为深度图，并对其缺失信息进行后处理，最后将其可视化展示用于辅助飞行员在地面滑行阶段观测飞机外部场景距离信息。机外部场景距离信息。机外部场景距离信息。

【技术实现步骤摘要】
基于双目视觉的飞机滑行防撞辅助方法


[0001]本专利技术航空电子设备
，尤其涉及一种基于双目视觉的飞机滑行防撞辅助方法。

技术介绍

[0002]现有技术是机载4个预设位置安装有毫米波雷达，在飞机在地面滑行过程中，机翼与障碍物发生碰撞事故时有发生。由于驾驶舱或牵引车仅能观看到前侧区域，机身两侧、机翼存在视觉盲区，人眼难以准确分辨机翼前端障碍物与机翼边缘的距离。而机翼在设计时并未预留位置用于安装测距设备，测距设备需要位于机舱内，通过舷窗获取外部场景信息，该条件下，超声波雷达无法应用于舷窗内，而激光雷达成本较高，设备寿命较短，尤其是，两个飞机距离较为接近时，多设备雷达间存在干扰且面对较远微小物体时可能由于激光分辨率问题错过微小物体，点阵距离过远，激光分辨率容易漏掉小物件，例如，铁丝和栏杆等。单目测距方案，利用摄像机采集的自然图像，虽然成本较低、安装便携，但难以准确测量出外界物体与飞机的距离。
[0003]现有技术中采用双目摄像头，缺少结构光补偿，所生成视差图仅对物体边缘敏感，面对机场跑道环境这种可能存在大块缺少纹理结构的障碍物时不足以准确描述外界环境信息。

技术实现思路

[0004]有鉴于此，本公开实施例提供基于双目视觉的飞机滑行防撞辅助方法，可在不改变飞机外部结构的前提下对机翼前障碍物进行识别预警，辅助飞机地面滑行。
[0005]一种基于双目视觉的飞机滑行防撞辅助方法，机头位置和近邻机翼前侧的两侧客舱内分别安装有双目相机，所述双目相机横向排列，所述方法包括：
[0006]获取每个相机所采集的图像数据与及当前时刻外部点云数据，确定每个双目相机的深度信息；
[0007]沿横向对每个双目相机的深度信息进行滤波填充，得到填充滤波后的深度信息矩阵；
[0008]所述深度信息矩阵进行可视化，并将位于地面以下及高于飞机高度2倍的点云信息去除，飞机高度与飞机型号对应；
[0009]绘制俯视障碍物显示图，将三维点云信息沿垂直于地面方向进行最大值滤波，以相机为圆心，将障碍物遮挡区域后方视为障碍区域并进行赋值，得到障碍物俯视信息，其中，与飞机碰撞区域标注为第一颜色，安全区域标注为第二颜色。
[0010]有益效果：
[0011]可用于飞机滑行阶段辅助驾驶员驾驶，驾驶员可以通过俯视障碍物显示图简要的了解飞机外部物体信息，通过实景障碍物警示图可以更直观的看到到外界物体信息，弥补了驾驶员位置存在观察死角与肉眼难以准确判断距离的问题。
[0012]于飞机内部安装，可以不影响飞机外部结构，不影响飞机安全性，无需额外的测试检验。利用双目相机，透过舷窗直接获取外部自然图像，硬件成本更低，不受多层玻璃影响，且多设备雷达间不会相互干扰。
附图说明
[0013]为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0014]图1为俯视障碍物显示图；
[0015]图2为第一颜色具备多种色彩的渐变示意图。
具体实施方式
[0016]下面结合附图对本公开实施例进行详细描述。
[0017]以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0018]要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
[0019]本专利技术的基于双目视觉的飞机滑行防撞辅助方法，机头位置和近邻机翼前侧的两侧客舱内分别安装有双目相机，双目相机横向排列，方法包括：
[0020]S101:获取每个相机所采集的图像数据与及当前时刻外部点云数据，确定每个双目相机的深度信息,具体的，
[0021]双目相机的布置方式：将双目测距相机部署于飞机机翼前方舷窗出，左右各一台，相机双摄像头水平布置，镜头垂直于玻璃向外，飞机驾驶舱内向飞机行驶方向部署一台，用于获取正前方数据，获取所有相机所采集的图像数据与该时刻外部点云数据，显示端接受到数据包，其中包括：双目相机输出：原始视差信息，相机采集RGB信息、相机参数信息；
[0022]确定每个双目相机的深度信息，包括，
[0023]获取双目相机每一帧输出的原始视差信息、相机采集的RGB信息和相机参数信息，即为，相机每一帧给出：原始视差信息，相机采集RGB信息、相机参数信息；
[0024]由于图像边缘噪声较多，需要将边界三个像素信息舍去，利用相机参数对原始视
差信息进行处理，并舍去边界的三个像素信息；处理方式采用“将视差信息转化为深度信息，舍去边界三个像素信息，对采集的数据的外面宽度为3像素的一圈舍弃，即为，舍去宽为三像素的外围边界信息；
[0025]将视差信息转化为深度信息，满足：
[0026]其中，f为相机的焦距，Base l i ne为相机基线值，Dsp表示图像坐标(m，n)点的视差值；Z表示表示图像数据中坐标(m，n)像素点距离摄像机镜头所在平面的垂直距离；
[0027]S102:沿横向对每个双目相机的深度信息进行滤波填充，得到填充滤波后的深度信息矩阵，具体的，由于视差图难以有效识别大片无纹理区域的深度信息，对于无法准确判断距离的像素点值为0，仅对边界信息敏感，因此深度信息坐标点集中于外界物体边界、需要对当前得到的深度信息进一步处理，具体的处理方式，如：
[0028]首先沿横向对深度信息进行滤波填充，即，沿横向对每个双目相机的深度信息进行滤波填充，包括：
[0029]获取双目相机每一帧的图像数据，确定图像数据中的多个深度值，所有深度信息形成深度信息矩阵；
[0030]沿横向方向对深度信息矩阵进行横向遍历，以计算空值点的横向变化率值，横向优先，横向变化率值满足：
[0031]其中，LDsp
(m,n)
为点(m,n)左侧第一个不为0的点的深度值，nL
(m,n)
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目视觉的飞机滑行防撞辅助方法，其特征在于，机头位置和近邻机翼前侧的两侧客舱内分别安装有双目相机，所述双目相机横向排列，所述方法包括：获取每个相机所采集的图像数据与当前时刻外部点云数据，确定每个双目相机的深度信息；沿横向对每个双目相机的深度信息进行滤波填充，得到填充滤波后的深度信息矩阵；所述深度信息矩阵进行可视化，并将位于地面以下及高于飞机高度预设倍的点云信息去除，预设倍的设置与飞机高度与飞机型号对应；绘制俯视障碍物显示图，将点云信息沿Z轴方向以最大值进行滤波，以相机为圆心，将障碍物遮挡区域后方视为障碍区域并进行赋值，得到障碍物俯视信息，其中，与飞机碰撞区域标注为第一颜色，安全区域标注为第二颜色。2.根据权利要求1所述的方法，其特征在于，确定每个双目相机的深度信息，包括，获取双目相机每一帧输出的原始视差信息、相机采集的RGB信息和相机参数信息；利用相机参数对原始视差信息进行处理，并舍去宽为三像素的外围边界信息；将视差信息转化为深度信息，满足：其中，f为相机的焦距，Baseline为相机基线值，Dsp表示图像坐标(m，n)点的视差值；Z表示表示图像数据中坐标(m，n)像素点距离摄像机镜头所在平面的垂直距离。3.根据权利要求1所述的方法，其特征在于，沿横向对每个双目相机的深度信息进行滤波填充，包括：获取双目相机每一帧的图像数据，确定图像数据中的多个深度值，所有深度信息形成深度信息矩阵；沿横向方向对所述深度信息矩阵进行横向遍历，以计算空值点的横向变化率值，所述横向变化率值满足：其中，LDsp
(m,n)
为点(m,n)的左侧第一个不为0的点的深度值，nL
(m,n)
为其纵坐标值；RDsp
(m,n)
为右侧第一个不为0的点的深度值，nR
(m,n)
为其纵坐标值；设置阈值，判断当前点坐标沿遍历方向的变化率值是否大于所述阈值，如是，不进行填充，如否，...

【专利技术属性】
技术研发人员：孙豪杰，张杨阳，王明，蒲天杭，朱恩亮，李文衡，
申请(专利权)人：中国航空工业集团公司西安航空计算技术研究所，
类型：发明
国别省市：