基于深度学习的航空铆钉分类及异常检测方法技术

本发明专利技术公开了一种基于深度学习的航空铆钉分类及异常检测方法，包括如下步骤：步骤一、采集航空铆钉图像数据，并对图像数据进行预处理；步骤二、对航空铆钉图像数据进行目标框类别标注和数据增强处理；步骤三、采用迁移训练加冻结训练的方式对航空铆钉分类及异常检测模型进行训练；步骤四、采用以DarkNet

【技术实现步骤摘要】
基于深度学习的航空铆钉分类及异常检测方法


[0001]本专利技术涉及一种基于深度学习的航空铆钉分类及异常检测方法。

技术介绍

[0002]现代大型民航客机的主要材料是铝合金，通常会采用铆接技术以减轻飞机的重量；而铆钉作为最轻且连接强度最好的紧固件，自然受到了各大飞机制造厂商的青睐。据统计，每架飞机上约装有上百万颗铆钉，主要包含实心铆钉和专用铆钉两类。铆钉松动的主要原因是飞行震动，如果在起飞和降落过程中掉落在跑道上，就可能作为跑道异物(foreign object debris,FOD)被后机吸入，从而造成轮胎被扎爆、发动机及机身损伤，甚至引发重大航空事故。因此，如何快速精准地定位铆钉的位置、识别铆钉分类、是否存在异常情况，对于提升飞行安全有着重大意义。
[0003]目前，国内外针对航空铆钉检测的研究仍处于起步阶段，现有成果大致可以分为三类：(1)基于磁光成像与脉冲涡流技术实现航空铆钉异常情况的检测。其中，ZHIWEI ZENG等提出了一种航空铆钉自动检测的有限元模型，YUNZE HE等提出了铆接结构缺陷的无损检测方法，高庆吉等、VALENTYN UCHANIN分别实现了铆钉表面裂纹缺陷的检测。(2)基于光学技术实现航空铆钉异常情况的检测。其中，GAIL OVERTON对飞机铆钉的三维坐标进行了快速检测，李红卫等提出了一种自适应的局部点云密度计算方法，实现了铆接质量的检测；毕超等研制了十字线结构光视觉检测系统，实现了对铆钉孔方位的检测。(3)基于机器视觉实现对航空铆钉的检测。主要应用场景有以下几类：
①
对铆钉损伤的检测。陈健飞等与杨飞等分别使用支持向量机和抗噪局部二值模式编码算法来实现铆钉结构缺陷和铆钉表面缺陷的检测。
②
对铆钉位置检测。邢雪亮等提出一种基于机器视觉的检测方法，实现了对铆钉位置及铆钉尺寸的检测；喻强等提出了一种基于单目视觉的检测方法，解决了铆钉识别与定位困难的问题。
③
对铆钉孔的检测。田清廉等提出了一种基于散乱点云的铆钉孔机器视觉识别算法。
[0004]综上所述，现有研究虽然在航空铆钉检测方面取得了一定的成效，但检测结果的精度和速度仍有很大提升空间。并且，针对航空铆钉分类及异常情况进行快速识别定位的研究成果未曾出现。因此，本专利技术提出了基于深度学习的航空铆钉分类及异常检测算法，实现了绕机检查过程中对铆钉分类及异常情况的目标检测，以期帮助机务工程师定位铆钉相关的各种故障，保障航空运行安全。

技术实现思路

[0005]为了克服现有技术的上述缺点，本专利技术提出了一种基于深度学习的航空铆钉分类及异常检测方法。
[0006]本专利技术解决其技术问题所采用的技术方案是：一种基于深度学习的航空铆钉分类及异常检测方法，包括如下步骤：
[0007]步骤一、采集航空铆钉图像数据，并对图像数据进行预处理；
[0008]步骤二、对航空铆钉图像数据进行目标框类别标注和数据增强处理；
[0009]步骤三、采用迁移训练加冻结训练的方式对航空铆钉分类及异常检测模型进行训练；
[0010]步骤四、采用以DarkNet
‑
53结构为基线的卷积神经网络为主干网络提取特征进行神经网络推理，以Focus层、跨阶段局部网络层、空间金字塔池化结构模块、上采样层、连接层作为颈部网络来进行特征融合，最后使用解耦检测头生成检测结果。
[0011]与现有技术相比，本专利技术的积极效果是：
[0012]航空铆钉对于减轻飞机重量、防止金属疲劳、提升飞行的可靠性和稳定性有重要意义，铆钉松动和脱落将严重威胁飞行安全。本专利技术针对航空铆钉小目标检测准确率较低的问题，提出了一种基于深度学习的航空铆钉分类及异常检测方法。首先，根据钉头外观对航空铆钉进行分类，制作了航空铆钉的数据集，并构建航空铆钉分类及异常检测模型。从置信度、精度、召回率、mAP等指标对检测结果进行评价，并将该算法与Yolox
‑
s、Yolox
‑
m、Yolov5
‑
s、Yolov5
‑
m、Yolov4的检测结果进行对比。结果表明：
[0013](1)该算法可以实现对航空铆钉的分类及异常情况检测，检测结果的置信度均大于90％，平均精度、召回率和AP值分别在95％、85％和88％以上；
[0014](2)因算法采用了更轻量级的网络架构，并且在检测端头、锚框机制以及标签分配方法进行了改进，因此较同版本的其他Yolox算法以及Yolov5、Yolov4算法相比，航空铆钉分类及异常目标检测精度和速度均有绝对的优势。
附图说明
[0015]本专利技术将参照附图的方式说明，其中：
[0016]图1为航空铆钉识别流程图；
[0017]图2为铆钉分类表。
具体实施方式
[0018]一种基于深度学习的航空铆钉分类及异常检测方法，如图1所示，包括航空铆钉图像数据采集及分类、数据集制作及数据增强、模型训练、航空铆钉分类标识及异常检测识别、检测结果评判五个步骤，其中：
[0019]步骤S1：机务工程师佩戴智能眼镜(或其它视频拍摄装置)执行绕机检查，采集机身特定位置铆钉的视频和图片，与此同时通过5G网络与手机或者电脑终端连接，实时传输并保存视频和图像。然后，将采集到的视频和图像数据进行清洗、整理，并对所得的铆钉样本进行划分。
[0020]步骤S2：对采集到的航空铆钉数据进行整理及类别目标框标注及数据集划分；标注完成后对目标数据集进行数据增强，方法为马赛克(Mosaic)数据增强及混合(Mix Up)数据增强；
[0021]步骤S3：采用迁移训练加冻结训练的方式来训练航空铆钉分类及异常检测模型；
[0022]步骤S4：采用以DarkNet
‑
53结构为基线的卷积神经网络为主干网络提取特征进行神经网络计算，以Focus层、跨阶段局部网络层(CSP，Cross Stage Partial)、空间金字塔池化结构模块(SPP，Spatial Pyramid Pooling)、上采样层、连接层作为颈部网络来进行特征
融合，最后使用解耦检测头生成检测数据；
[0023]步骤S5：为验证所提算法在目标检测方面的效果，使用召回率、精确率、AP(Average Precision)值、平均精度值(mAP)来对检测结果进行评判。
[0024]所述步骤S1，具体还包括：
[0025]步骤S1.1：采集航空铆钉的不同角度、不同距离、不同亮度的图片，并对采集的视频数据按帧提取合适的样本。
[0026]步骤S1.2：航空铆钉的分类是根据航空航天中常用的国家标准，可分为有半圆头、90
°
沉头、120
°
沉头、抽芯铆钉和平头铆钉，代号分别为GB867、GB869、GB954、B12615和GB109。由于本专利技术将采用基于深度学习的目标检测方法，因此根据其外观图像将铆钉进行重新分类，如图2所示：(1)沉头本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的航空铆钉分类及异常检测方法，其特征在于：包括如下步骤：步骤一、采集航空铆钉图像数据，并对图像数据进行预处理；步骤二、对航空铆钉图像数据进行目标框类别标注和数据增强处理；步骤三、采用迁移训练加冻结训练的方式对航空铆钉分类及异常检测模型进行训练；步骤四、采用以DarkNet
‑
53结构为基线的卷积神经网络为主干网络提取特征进行神经网络计算，以Focus层、跨阶段局部网络层、空间金字塔池化结构模块、上采样层、连接层作为颈部网络来进行特征融合，最后使用解耦检测头生成检测结果。2.根据权利要求1所述的基于深度学习的航空铆钉分类及异常检测方法，其特征在于：步骤二中对航空铆钉图像数据进行数据增强处理的方法包括马赛克数据增强和混合数据增强。3.根据权利要求2所述的基于深度学习的航空铆钉分类及异常检测方法，其特征在于：所述马赛克数据增强的方法为：从数据集中每次随机读取四张图片，并分别对四张图片进行翻转、缩放和色域改变操作；再将四张图片依次摆放在左上、左下、右下和右上位置，然后利用矩阵的方式将四张图片固定的区域截取下来，拼接成一张新的图片。4.根据权利要求2所述的基于深度学习的航空铆钉分类及异常检测方法，其特征在于：按如下公式进行混合数据增强：λ＝Beat(α,β)λ＝Beat(α,β)其中是混合后的图像，Beat为贝塔分布，α，β均为常数，λ是从贝塔分布计算得到的随机采样数，(x
i
，y
i
)、(x
j
，y
j
)是同一个batch中随机选择的两个样本及对应标签。5.根据权利要求1所述的基于深度学习的航空铆钉分类及异常检测方法，其特征在于：步骤三所述采用迁移训练加冻结训练的方式对航空铆钉分类及异常检测模型进行训练的方法为：基于VOC数据集进行预训练，得到预训练权重，训练参数设置为score阈值为0.5，batch_size为10，max_boxes值为20，model_image_size为(640
×
640)，初始学习率为0.001；同时采用冻结训练，冻结通用的部分预训练权重，当损失值多次不下降时自动结束冻结训练，然后开启解冻训练，再将模型的所有层全部一起训练，冻结训练参数为score阈值为0.5，batch_size为8，max_boxes值为20，初始学习率为0.0001。6.根据权利要求5所述的基于深度学习的航空铆钉分类及异常检测方法，其特征在于：步骤三中航空铆钉分类及异常检测模型预测结果的坐标值与真实目标的坐标值之间的差异采用CIoU Loss作为损失函数，公式如下：其中，b和b
gt
表示锚点框和目标框的中心点；ρ表示两个中心点的欧式距离；c表示覆盖锚点框和目标框的最小矩形的对角线距离；α为用于trade
‑
off的参数；v为用于衡量长宽比一致性的参数。7.根据权利要求1所述的基于深度学习的航空铆钉分类及异常检测方法，其特征在于：
步骤四中卷积神经网络的推理过程包括提取特征阶段、收集处理特征信息阶段以及预测阶段，其中：第一步、提取特征阶段：输入端输入的尺寸为416
×
416
×
3的图片，通过Focus层经过裁剪拼接和卷积处理得到208
×<...

【专利技术属性】
技术研发人员：夏正洪，魏汝祥，吴建军，何琥，
申请(专利权)人：中国民用航空飞行学院，
类型：发明
国别省市：