【技术实现步骤摘要】
本申请属于航空数字化检测领域，特别涉及一种基于移动端的飞机表面紧固件查漏检测方法、装置及电子设备。
技术介绍
1、紧固件是航空零部件装配中至关重要的组成部分，其装配质量直接关系到航空产品的安全性和可靠性。
2、在紧固件装配过程中，由于工艺的复杂性和繁琐性，以及装配环境的复杂性，难免会出现一些缺陷或装配不良现象。传统的紧固件缺漏装检测方法往往依赖于人工目视计数检查，存在统计效率低、人力成本高的问题。
3、因此，希望有一种技术方案来克服或至少减轻现有技术的至少一个上述缺陷。
技术实现思路
1、本申请的目的是提供了一种基于移动端的飞机表面紧固件查漏检测方法、装置及电子设备，以解决现有技术中紧固件缺漏装检测方法效率低、成本高的问题。
2、本申请的技术方案是：
3、本申请的第一个方面提供了一种基于移动端的飞机表面紧固件查漏检测方法，包括：
4、通过移动端设备获取零部件表面图像，所述零部件表面包括飞机全部装配用零部件表面；
5、对获取到的所述零部件表面图像进行数据清洗得到有效的图像库；
6、获取所述图像库中每张图像所包含的紧固件类别和位置信息并形成紧固件识别数据集，将所述识别数据集划分为训练集和测试集；
7、根据紧固件识别数据集搭建目标识别神经网络模型；
8、用所述训练集对所述目标识别神经网络模型进行训练，直至所述神经网络模型的训练损失值降低收敛到设定的阈值范围内，用所述训练集对所述神经
9、生成一个基于所述紧固件识别模型的移动端应用程序，使用所述移动端应用程序进行所述紧固件查漏检测。
10、优选地，所述紧固件识别模型采用目标识别神经网络yolov5m架构，所述紧固件识别模型内设置有多尺度特征融合运算模块，所述多尺度特征融合运算模块的设计方法为：
11、将零部件表面图像输入至目标识别神经网络模型，多尺度特征融合运算模块将目标识别神经网络模型的不同网络层的输出特征聚合，充分融合零部件表面图像中不同尺度特征的目标信息，增强对目标检测的泛化性能和识别精度。给定浅层特征f1∈rc×h×w，深层特征f2∈rc×h×w，融合特征f3计算如下式：
12、f3＝w3*(concat((f1*w1+f2*w2),f1,f2))
13、式中，*代表卷积运算，⊕代表逐点元素相加，concat代表级联函数。
14、优选地，所述数据清洗包括去除成像模糊、角度偏差大、光线干扰等无效图像。
15、优选地，获取所述图像库中每张图像所包含的紧固件类别和位置信息时，生成标签文档，其中每张图像对应一份标签文档；
16、优选地，通过一图像增强算法对所述训练集进行样本扩充，所述图像增强算法包括空间变换、随机裁减和噪声添加。
17、本申请的第二个方面提供了一种基于移动端的紧固件查漏检测装置，其特征在于，包括：
18、图像采集模块，用于基于移动端平设备获取零部件表面图像，所述零部件表面包括飞机全部装配用零部件表面；
19、数据清洗模块，用于从获取到的所述零部件表面图像中筛选获取有效图像库；
20、数据集搭建模块，用于针对所述图像库中每张图像进行紧固件类别和位置信息标注，并将所述数据集划分为训练集和测试集；
21、模型搭建模块，用于针对紧固件识别数据集搭建目标识别神经网络模型；
22、模型训练模块，用于在训练集上对所述神经网络模型进行训练，在测试集上对所述神经网络模型进行测试；
23、应用生成模块，用于生成一个基于所述紧固件识别模型的移动端应用程序。
24、本申请的第三个方面提供了一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或者指令，所述程序或指令被所述处理器执行时实现上述的基于移动端的紧固件查漏检测方法。
25、专利技术至少存在以下有益技术效果：
26、本申请的基于移动端的飞机表面紧固件查漏检测方法，采用基于移动端深度学习框架的视觉检测技术对零部件表面图像的紧固件快速识别与计数，提供了移动性和便携性，能够灵活应用于不同的场景和环境，在零部件装配环境中实现高效的质量控制，满足了紧固件高效率、高质量、低成本的缺漏装检测要求。
本文档来自技高网...【技术保护点】
1.一种基于移动端的紧固件查漏检测方法，其特征在于，包括：
2.根据权利要求1所述的一种基于移动端的紧固件查漏检测方法，其特征在于，所述的紧固件识别模型采用目标识别神经网络YOLOv5m架构，所述紧固件识别模型内设置有多尺度特征融合运算模块，所述多尺度特征融合运算模块的设计方法为：
3.根据权利要求1所述的一种基于移动端的紧固件查漏检测方法，其特征在于，所述数据清洗包括去除成像模糊、角度偏差大、光线干扰的无效图像。
4.根据权利要求1所述的一种基于移动端的紧固件查漏检测方法，其特征在于，获取所述图像库中每张图像所包含的紧固件类别和位置信息时，生成标签文档，其中每张图像对应一份标签文档。
5.根据权利要求1所述的一种基于移动端的紧固件查漏检测方法，其特征在于，通过一图像增强算法对所述训练集进行样本扩充，所述图像增强算法包括空间变换、随机裁减和噪声添加。
6.一种基于移动端的紧固件查漏检测装置，其特征在于，包括：
7.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或者指令，
...【技术特征摘要】
1.一种基于移动端的紧固件查漏检测方法，其特征在于，包括：
2.根据权利要求1所述的一种基于移动端的紧固件查漏检测方法，其特征在于，所述的紧固件识别模型采用目标识别神经网络yolov5m架构，所述紧固件识别模型内设置有多尺度特征融合运算模块，所述多尺度特征融合运算模块的设计方法为：
3.根据权利要求1所述的一种基于移动端的紧固件查漏检测方法，其特征在于，所述数据清洗包括去除成像模糊、角度偏差大、光线干扰的无效图像。
4.根据权利要求1所述的一种基于移动端的紧固件查漏检测方法，其特征在于，获取所述图像库中每...
【专利技术属性】
技术研发人员：赵安安，尹佳，王玮，郭中华，刘元霄，李越哲，
申请(专利权)人：中航西安飞机工业集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。