【技术实现步骤摘要】
本专利技术属于深度学习，涉及深度神经网络、目标检测等技术，尤其涉及一种机器人智能巡检的飞机蒙皮缺陷检测方法。
技术介绍
1、在正常行驶的飞机中，蒙皮缺陷出现的概率很低；换句话说，飞机蒙皮的缺陷样本极少。但是，一旦出现飞机蒙皮缺陷漏检的情况，很容易导致空难或者飞机坠落事件的发生，对个人和社会造成重大安全事故。近年来，随着深度学习的迅速发展，深度学习的方法逐渐渗透到各个领域。而对于飞机蒙皮缺陷检测来说，深度学习技术有着相当明显的优势，除了节省劳动力、缩短检修时长外，还能提升检测效率和检测结果的准确率，并且还能减轻标记样本过少导致漏检给飞机蒙皮检测工作带来的影响。
2、目前，国内外对于飞机蒙皮检测主要使用目视检测方法，目视检测存在检测效率不高、容易漏检等问题。本专利技术主要结合新型的智能巡检机器人，利用深度学习跨域小样本目标检测算法来解决飞机蒙皮缺陷检测问题。将改进网络训练出来的模型部署到机器人中，机场的地勤人员可以通过巡检机器人检测到的蒙皮问题作为飞机检修的一种辅助手段，降低人工工作的强度，同时可以减少漏检情况的发生，保障飞机的飞行安全。
技术实现思路
1、本专利技术克服了现有技术的不足之处，提出了一种机器人智能巡检的飞机蒙皮缺陷检测方法，意在能够利用智能巡检机器人、深度学习、目标检测等技术，实现对飞机蒙皮缺陷的检测。
2、本专利技术为达上述专利技术目的，采用如下技术方案：
3、一种机器人智能巡检的飞机蒙皮缺陷检测方法，包括如下步骤：
4
5、步骤(2)：智能巡检机器人按照飞机绕机点位顺序依次拍摄蒙皮图像巡检并通过飞机蒙皮缺陷检测网络检测是否存在缺陷；
6、步骤(3)：若在点位检测到蒙皮有缺陷，巡检机器人前移，调整机器臂和相机角度拍摄一张更加清晰的图像并再次检测；
7、步骤(4)：若两次检测出来的蒙皮缺陷类别为同一类，则输出检测后的图像和缺陷类型并通知维修部门检修；若不是，则需要检测人员人工检测同时重新标定该图像加入数据集，更新所述飞机蒙皮缺陷检测网络。
8、进一步的，步骤(2)中智能巡检机器人巡检流程具体为：
9、智能巡检机器人根据25个飞机绕机点位进行绕机拍摄，每个点位图像处理完后前往下个点位继续拍摄；其中机头区域检测，智能巡检机器人移动至位于距离rvsm垂直正下方3米处绕机头顺时针一圈检测各个部位；机翼区域检测，智能巡检机器人移动至右前舱门下方，距右前段机身侧方2米以上，按点位顺序从上到下检查蒙皮；机尾区域检测，智能巡检机器人移动至右后舱门前下方，绕机尾顺时针一圈从上到下检测各个部位；飞机左侧区域同上，直到智能巡检机器人检测完所有点位。
10、进一步的，步骤(2)中所述飞机蒙皮缺陷检测网络通过如下方式进行训练：
11、步骤(3.1)：数据准备：对维修厂待报废飞机和待维修飞机分别拍摄蒙皮图像，并将拍摄到的图像保存至后端数据库中，经过筛选得到高质量的蒙皮图像；将所有维修厂待报废飞机蒙皮图像作为源域数据集训练，待维修飞机蒙皮图像作为目标域数据集，并按照8:1:1划分为训练集、验证集和测试集；
12、步骤(3.2)：网络结构设计：采用yolov7主干作为主干网络，利用域适应图像级数据增强模块，结合不同图像的前景背景的同时选择与目标域样本相似的增广数据；引入多尺度特征对齐融合模块，对齐和融合每个级别的特征；利用上下文引导的解耦检测头，将物体分类和定位在原始基础上进行解耦，结合了局部特征、周围上下文提取以及全局特征细化，来获得最终的飞机蒙皮缺陷检测结果；
13、步骤(3.3)：输入图像的大小为s×s，使用的批量尺寸设定为n，迭代总次数设置为m，初始化学习率设置为0.01，将经过预处理的数据集输入网络进行训练，若网络的loss值一直下降，则继续训练，直到迭代m次后，得到飞机蒙皮缺陷检测网络。
14、进一步的，步骤(3.2)中所述主干网络为yolov7主干网络，其中cbs由卷积、批归一化和silu激活函数构成；elan由多个cbs构成，其输入输出特征大小保持不变，mp层由最大池化层(maxpool)和多个cbs构成。
15、进一步的，步骤(3.2)中所述域适应图像级数据增强模块具体操作包括如下步骤：
16、步骤(5.1)：图像级数据增强：
17、标记样本较多的待报废飞机的蒙皮缺陷图像为源域数据集标记样本较少的待维修飞机的蒙皮缺陷图像为目标域数据集其中和是样本图像，分别为标签，ns、nt为样本数；bs和bt分别是来自源域和目标域具有调整后的宽度w和高度h的边界框；增强后的边界框为
18、
19、其中p∈(1,w),q∈(1,h),(p,q)表示框bs和bt中的像素的索引，β(p,q)∈[0,1]是每个索引对应的权重，由如下所述的高斯交换获得；
20、
21、其中h、w表示图像的高度和宽度，σx、σy分别是框bs和bt中在x和y轴的方差；μx、μy是框bs和bt中的相应平均值；将结合后的图像进行缩放、旋转操作，生成更为多样化的图像
22、步骤(5.2)：域适应优化：将图像级数据增强后的图像daug和待维修飞机的蒙皮图像数据dt输入主干网络进行特征提取，输出和的特征图分别为用度量函数disf计算和之间的距离并进行排序，所述度量函数disf为最大均值差异距离，公式如下：
23、
24、距离越小则表示二者特征分布更加相近，最后用自定义收缩比例k来减少扩展候选的数量，以从daug选出距离最短的前k个候选保留，过滤掉与dt风格不相似的图像。
25、进一步的，步骤(3.2)中所述多尺度特征对齐融合模块具体操作包括如下步骤：
26、步骤(6.1)：特征对齐：选择主干网络输出的c2、c3、c4、c5特征作为输入，将c4特征作为模块特征对齐的目标尺寸，对c2、c3使用平均池化操作下采样特征，对c5则使用双线性插值上采样，统一输入特征图的尺寸大小，得到对齐后的特征falign，falign的通道数为channel＝chc2+chc3+chc4+chc5，其中ch为特征图的通道；
27、步骤(6.2)：定义嵌入维度emb，通过卷积将输入特征falign从channel维度映射到emb，将映射后的特征femb输入到多分支的残差结构进行多层次多尺度的特征提取，多分支的残差结构的输出相加生成fout，具体公式如下：
28、
29、其中bn为批归一化，pconv为部分卷积，k为卷积核大小；随后fout在通道维度中被分割成finjc3和finjc4，输入特征注入模块将finjc3和finjc4与不同级别的对应特征相结合；
30、步骤(6.3)：部分卷积：部分卷积选择输入特征的一部分通道进行卷积，其余通道保持不变，将本文档来自技高网...
【技术保护点】
1.一种机器人智能巡检的飞机蒙皮缺陷检测方法，包括如下步骤：
2.如权利要求1所述的机器人智能巡检的飞机蒙皮缺陷检测方法，其特征在于：步骤(2)中智能巡检机器人巡检流程具体为：
3.如权利要求1所述的机器人智能巡检的飞机蒙皮缺陷检测方法，其特征在于：步骤(2)中所述飞机蒙皮缺陷检测网络通过如下方式进行训练：
4.如权利要求3所述的机器人智能巡检的飞机蒙皮缺陷检测方法，其特征在于：步骤(3.2)中所述主干网络为yolov7主干网络，其中CBS由卷积、批归一化和SiLU激活函数构成；ELAN由多个CBS构成，其输入输出特征大小保持不变，MP层由最大池化层(Maxpool)和多个CBS构成。
5.如权利要求3所述的机器人智能巡检的飞机蒙皮缺陷检测方法，其特征在于：步骤(3.2)中所述域适应图像级数据增强模块具体操作包括如下步骤：
6.如权利要求3所述的机器人智能巡检的飞机蒙皮缺陷检测方法，其特征在于：步骤(3.2)中所述多尺度特征对齐融合模块具体操作包括如下步骤：
7.如权利要求3所述的机器人智能巡检的飞机蒙皮缺陷
...【技术特征摘要】
1.一种机器人智能巡检的飞机蒙皮缺陷检测方法，包括如下步骤：
2.如权利要求1所述的机器人智能巡检的飞机蒙皮缺陷检测方法，其特征在于：步骤(2)中智能巡检机器人巡检流程具体为：
3.如权利要求1所述的机器人智能巡检的飞机蒙皮缺陷检测方法，其特征在于：步骤(2)中所述飞机蒙皮缺陷检测网络通过如下方式进行训练：
4.如权利要求3所述的机器人智能巡检的飞机蒙皮缺陷检测方法，其特征在于：步骤(3.2)中所述主干网络为yolov7主干网络，其中cbs由卷积、批归一化和silu激活函数构成；elan由多个cbs...
【专利技术属性】
技术研发人员：章东平，张煜，夏岳键，胡海苗，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。