一种基于语义分割的FOD检测方法及系统技术方案

本公开涉及FOD检测相关技术领域，提出了一种基于语义分割的FOD检测方法及系统，方法包括如下步骤：获取机场跑道的待检测图像，待检测图像包括深度图像和灰度图像，提取图像中的深度信息和灰度信息；将深度信息进行预处理，并利用预处理后得到的深度图像，基于灰度信息对灰度图像进行初步剪裁；将经过处理后的深度图像和初步裁减后的灰度图像中的信息数据进行融合，对异物区域的信息进行增强；将融合后的信息输入至改进的语义分割网络模型进行图像分割，实时地确定异物类型及位置。本公开基于深度信息和灰度信息融合处理，提高了检测的准确度和精度。测的准确度和精度。测的准确度和精度。

【技术实现步骤摘要】
一种基于语义分割的FOD检测方法及系统


[0001]本公开涉及FOD检测相关
，具体的说，是涉及一种基于语义分割的FOD检测方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，并不必然构成在先技术。
[0003]机场跑道异物(Foreign Object Debris)即可能损伤航空器的某种外来的物质、碎屑或物体，如金属零件、碎石块等。FOD在飞机的起飞和降落过程中将会造成巨大的安全隐患，不仅会造成巨大的经济损失，还会威胁旅客的生命安全。
[0004]专利技术人发现，当前FOD检测主要依靠人工巡检和捕获，这种方法耗时、低效且成本高。近年来，提出了一些FOD检测方法，但是，这些方法主要依赖于激光雷达、FMCW雷达等传感器，在对传感信息进行处理的时候需要人工设计特征提取器，这些检测方法且对空气和光照变化较为敏感，使得检测成本较高，并且检测准确度较低。

技术实现思路

[0005]本公开为了解决上述问题，提出了一种基于语义分割的FOD检测方法及系统，基于深度信息和灰度信息融合处理，提高了检测的准确度和精度。
[0006]为了实现上述目的，本公开采用如下技术方案：
[0007]一个或多个实施例提供了一种基于语义分割的FOD检测方法，包括如下步骤：
[0008]获取机场跑道的待检测图像，待检测图像包括深度图像和灰度图像H，提取图像中的深度信息和灰度信息；
[0009]将深度信息进行预处理，并利用预处理后得到的深度图像，基于灰度信息对灰度图像进行初步剪裁；
[0010]将经过处理后的深度图像和初步裁减后的灰度图像中的信息数据进行融合，对异物区域的信息进行增强；
[0011]将融合后的信息输入至改进的语义分割网络模型进行图像分割，实时地确定异物类型及位置。
[0012]一个或多个实施例提供了一种基于语义分割的FOD检测系统，包括：
[0013]数据获取模块，被配置为用于获取机场跑道的待检测图像，待检测图像包括深度图像和灰度图像H，提取图像中的深度信息和灰度信息；
[0014]初步裁减模块，被配置为用于将深度信息进行预处理，并利用预处理后得到的深度图像，基于灰度信息对灰度图像H进行初步剪裁；
[0015]融合模块，被配置为用于将经过处理后的深度图像和初步裁减后的灰度图像中的信息数据进行融合，对异物区域的信息进行增强；
[0016]图像分割模块，被配置为用于将融合后的信息输入至改进的语义分割网络模型进
行图像分割，实时地确定异物类型及位置。
[0017]一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。
[0018]一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。
[0019]与现有技术相比，本公开的有益效果为：
[0020]本公开的检测方法，通过结合深度信息对灰度图像进行裁减处理和通过融合处理将灰度信息通过深度信息进行增强，更能凸显异物所在区域，进行分割能够更能提高分割的准确性，从而能够提取图像中的异物，相比于目前的FOD检测方法，基于语义分割的FOD检测效率高，受环境影响小，更加可靠。
[0021]本公开的优点以及附加方面的优点将在下面的具体实施例中进行详细说明。
附图说明
[0022]构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。
[0023]图1是本公开实施例1的检测方法流程图；
[0024]图2是本公开实施例1的对深度信息进行预处理的示意图；
[0025]图3是本公开实施例1的灰度图像初步裁减效果图；
[0026]图4是本公开实施例1的分割效果示意图；
[0027]图5是本公开实施例1的改进的语义分割网络模型CBAM
‑
Deeplab V3+结构示意图；
[0028]图6是本公开实施例1的改进的语义分割网络模型中的ASPP
‑
CBAM模块结构示意图。
具体实施方式
[0029]下面结合附图与实施例对本公开作进一步说明。
[0030]应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。
[0031]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。
[0032]实施例1
[0033]在一个或多个实施方式公开的技术方案中，如图1
‑
图6所示，一种基于语义分割的FOD检测方法，包括如下步骤：
[0034]步骤1、获取机场跑道的待检测图像，待检测图像包括深度图像和灰度图像H，分别提取图像中的深度信息和灰度信息；
[0035]步骤2、将深度信息进行预处理，并利用预处理后得到的深度图像，基于灰度信息对灰度图像H进行初步剪裁；
[0036]步骤3、将经过处理后的深度图像和初步裁减后的灰度图像中的信息数据进行融合，对异物区域的信息进行增强；
[0037]步骤4、将融合后的信息输入至改进的语义分割网络模型进行图像分割，实时地确定异物类型及位置。
[0038]本实施例的检测方法，通过结合深度信息对灰度图像进行裁减处理和通过融合处理将灰度信息通过深度信息进行增强，更能凸显异物所在区域，进行分割能够更能提高分割的准确性，从而能够提取图像中的异物，相比于目前的FOD检测方法，基于语义分割的FOD检测效率高，受环境影响小，更加可靠。
[0039]在一些实施例中，待检测图像可以采用车载线性扫描结构光相机采集，同时获得待检测区域的异物的灰度信息DC0(Data Channel0)和深度信息DC2(Data Channel2)。相机拍摄的待检测图像包括两种图像类型。一种为深度图像。一种为灰度图像。这两种图像同时获得。灰度图像是灰度信息的载体，深度图像中蕴含着深度信息，是深度信息的载体。
[0040]可选的，采集设备包括运载车和设置在运载车上的车载线性扫描结构光相机，一种具体的设置方式，可以设置在运载车的车尾，车载线性扫描结构光相机的镜头方向朝向运载车的两侧，可以实现运载车的移动过程中对道路进行检测。
[0041]本方案采用的高精度线扫描结构光相机具有毫米级分辨率，且受环境影响较小，可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义分割的FOD检测方法，其特征在于，包括如下步骤：获取机场跑道的待检测图像，待检测图像包括深度图像和灰度图像，提取图像中的深度信息和灰度信息；将深度信息进行预处理，并利用预处理后得到的深度图像，基于灰度信息对灰度图像进行初步剪裁；将经过处理后的深度图像和初步裁减后的灰度图像中的信息数据进行融合，对异物区域的信息进行增强；将融合后的信息输入至改进的语义分割网络模型进行图像分割，实时地确定异物类型及位置。2.如权利要求1所述的一种基于语义分割的FOD检测方法，其特征在于：待检测图像采用车载线性扫描结构光相机采集。3.如权利要求1所述的一种基于语义分割的FOD检测方法，其特征在于：将深度信息进行预处理，具体包括如下步骤：设定虚拟基准平面，根据深度信息确定每个点与该基准平面的距离，以该距离为每个点的像素值构建得到深度图像；对得到的深度图像应用Sobel算子提取图像中的边缘特征；将提取边缘后的深度图像利用高斯滤波降噪；将高斯滤波后的图像进行二值化处理，得到处理后的深度图像。4.如权利要求1所述的一种基于语义分割的FOD检测方法，其特征在于：利用深度信息对灰度图像进行初步剪裁，具体的，采用移动窗口法对灰度图像进行初步剪裁。5.如权利要求4所述的一种基于语义分割的FOD检测方法，其特征在于：利用深度信息对灰度图像进行初步剪裁，包括如下步骤：设定移动窗口的大小，按照步长移动截取被处理后的深度图像；计算窗口截取图像中的像素值的和，得到像素值的和最大的窗口为裁减窗口；通过裁减窗口截取灰度图像中相对应的区域，为裁减后的灰度图像。6.如权利要求1所述的一种基于语义分割的FOD检测方法，其特征在于：对异物区域的信息进行增强融合的方法，包括如下步骤：按照对灰度图像进行初步剪裁的裁减窗口，裁减处理后的深度图像，使得剪裁后的深度图像与剪裁后的灰度图像为同一片区域；将...

【专利技术属性】
技术研发人员：刘国良，祝志坤，田国会，
申请(专利权)人：山东大学，
类型：发明
国别省市：