一种飞机翼面连接件错装漏装可视化检测方法技术

一种飞机翼面连接件错装漏装可视化检测方法，先进行基于深度学习的零件识别定位，再进行基于图像分割的零件测量算法构建，然后进行算法集成与验证，再进行基于透射变换的图像归一化处理，然后进行基于数据匹配的装配错误识别算法处理，最后进行装配体位姿估计；本发明专利技术实现对零件的精准识别和测量、装配错误的高效定位与检测以及算法的性能验证测试，提高装配检测效率的同时，还提高装配检测的准确率。还提高装配检测的准确率。还提高装配检测的准确率。

【技术实现步骤摘要】
一种飞机翼面连接件错装漏装可视化检测方法


[0001]本专利技术涉及小零件错装漏装检测
，具体涉及一种飞机翼面连接件错装漏装可视化检测方法。

技术介绍

[0002]先进航空装备作为现代国防的重要组成部分，先进航空装备装配周期占制造总周期的65％左右，现阶段成为产能不足的重要原因，其中装配质量检测作为装配过程必不可少的环节，其现有模式主要是手工检测。例如，飞机翼面上连接件多达上万个，故障拒收单约30％与其错装漏装有关；再如，飞机上各种角片约150种，单机平均错装60例。目前检测方式主要是工人运用手工工具进行逐一检测，不仅效率低、对工人技术水平要求高，且引入了人为因素，易导致人为错误的产生。因此，切实提高飞机上小零件的错装漏装检测效率可以促进先进航空装备的产能。
[0003]提高零件错装漏装检测思路可以由原来的手工逐一检测向批量检测方法转变，而视觉与图像算法可以提取零件与装配体的视觉特征，并对特征进行处理、分类、组合等操作，最终实现零件的分类、识别、测量、定位等。其中，基于深度学习的目标检测算法可以实现零件的定位与识别，而图像处理算法可以通过边缘检测与图像分割等方式测量零件的尺寸，两者进行结合可以在一次输入中同时测量零件的多维信息，从而实现零件的错装漏装检测，在极大得提高装配检测效率的同时，还可以提高装配检测的准确率。目前还没有相应的文献公开。

技术实现思路

[0004]为了克服上述现有技术的缺点，本专利技术的目的在于提供了一种飞机翼面连接件错装漏装可视化检测方法，实现对零件的精准识别和测量、装配错误的高效定位与检测以及算法的性能验证测试，提高装配检测效率的同时，还提高装配检测的准确率。
[0005]为了达到上述目的，本专利技术采取的技术方案为：
[0006]一种飞机翼面连接件错装漏装可视化检测方法，包括以下步骤：
[0007]步骤1)，基于深度学习的零件识别定位：搭建深度学习网络框架，采用公开数据集训练模型作为预训练权重；采集零件数据集并进行标注，采用图像增强方式丰富零件数据集；采用迁移学习方式在预训练权重上对深度学习网络进行训练与测试，识别零件的像素坐标、种类信息；
[0008]步骤2)，基于图像分割的零件测量算法构建：对图像进行预处理，采用深度优先搜索算法进行连通区域分析，并对零件和背景进行标记；对每个标记采用图像分割算法，获取零件实例分割区域；对每个零件实例分割区域计算最小外接圆，以最小外接圆半径作为尺度特征描述子；
[0009]步骤3)，算法集成与验证：将步骤1)与步骤2)所述两种算法进行集成，形成零件识别定位测量一体化算法，一次输入同时得到零件的像素坐标、类别信息、最小外接圆尺寸；
并进行实验分别验证零件种类识别率与召回率、尺寸测量精确度区间的指标；
[0010]步骤4)，基于透射变换的图像归一化处理：对步骤3)的零件识别定位测量一体化算法得到零件的像素坐标，通过透射投影变换方式实现坐标转换；对装配体区域进行分割，分割出区域进行四边形拟合，利用拟合四边形的角点信息求解透射变换矩阵的参数；利用透射变换矩阵进行运算实现图像归一化处理，同时实现像素坐标系与物体坐标系的转换；
[0011]步骤5)，基于数据匹配的装配错误识别算法：建立数据库，定义零件信息，并在数据库中预存正确装配零件信息模板；开发算法与数据库的信息传输接口，实现算法与数据库实时数据交互；将步骤4)测量得到的零件信息实时存储至数据库中，与数据库中模板信息进行匹配，将匹配失败的零件信息返回，定义装配错误信息；
[0012]步骤6)，装配体位姿估计：对薄壁状弱纹理目标进行位姿估计，采用端到端深度学习的方式，利用图像的RGB
‑
D信息进行直接位姿估计。
[0013]本专利技术的有益效果为：
[0014](1)本专利技术提出一种基于图像分割的图像测量算法，从而解决了深度学习无法对目标进行高精度测量的缺陷，并与深度学习算法进行集成，形成一种一体化算法，再一次输入中可以计算零件多维度信息；
[0015](2)本专利技术提出基于透射变换的坐标转化方法，从而实现零件像素坐标与装配体物体坐标系之间的转换，有利于结合装配体模型快速定位零件的真实位置，并一定程度上实现输入图像的归一化处理；
[0016](3)本专利技术采用数据库模板匹配的方式，准确获取装配错误的位置信息，并可通过调节匹配算法中的参数值，自适应选择匹配精度，适应多种场景。
[0017](4)本专利技术分两步法分别计算装配错误相对装配体位置以及装配体相对相机位姿，可以间接并准确定位装配错误的空间位置。
附图说明
[0018]图1为本专利技术的流程示意图。
[0019]图2为本专利技术基于数据库模板匹配方法的流程示意图；
[0020]图3为零件识别定位测量一体化算法的输入输出图；(a)为输入图像，(b)为YOLO_v5算法输出图，(c)为零件测量算法输出图，(d)为集成算法输出图。
[0021]图4为基于透射变换的图像归一化处理变换过程图；(a)为输入图像；(b)为四边形拟合结果图；(c)为角点选取图；(d)为透射变换图。
具体实施方式
[0022]下面结合实施例和附图对本专利技术做详细说明，本专利技术可以以许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本专利技术公开透彻且完整，并且将向本领域技术人员充分表达本专利技术的范围。
[0023]如图1所示，一种飞机翼面连接件错装漏装可视化检测方法，包括以下步骤(装配体为飞机翼面部分，零件种类选取7种，每种有多种尺寸规格，共有32个连接孔)：
[0024]步骤1)，基于深度学习的零件识别定位：基于深度学习的零件识别定位：搭建深度学习网络框架，采用公开数据集训练模型作为预训练权重；采集零件数据集并进行标注，采
用图像增强方式丰富零件数据集；采用迁移学习方式在预训练权重上对深度学习网络进行训练与测试，识别零件的像素坐标、种类信息；具体步骤如下：
[0025]步骤1.1)，构建YOLO_v5算法框架，基于公开数据集训练模型进行训练，获取预训练权重，采用迁移学习方式将公开数据集训练模型移植到本场景；采集不同角度、不同光照条件下的照片作为零件数据集，采用LabelImg开源图像标注工具进行标注；标注信息包括目标种类和位置信息；
[0026]步骤1.2)，零件数据集种类信息包括8种：hole(孔)、black1、black2、red1、red2、yellow1、yellow2、blue，若算法识别结果为hole，表示此处零件没有装配，即为漏装状态；若算法识别结果为其他，表示该处装有零件；
[0027]步骤1.3)，将采集到的旧机械零件图片制作txt类的标签并储存；为了解决训练样本数量不足的问题，采用翻转、旋转、裁剪、遮挡、色调变换、亮度变换等图像增强方式丰富零件数据集，对深度学习网络进行再训练，最终实现零件像素坐标、种类的识别；
[0028]步骤2)，基于图像分割的零本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种飞机翼面连接件错装漏装可视化检测方法，其特征在于，包括以下步骤：步骤1)，基于深度学习的零件识别定位：搭建深度学习网络框架，采用公开数据集训练模型作为预训练权重；采集零件数据集并进行标注，采用图像增强方式丰富零件数据集；采用迁移学习方式在预训练权重上对深度学习网络进行训练与测试，识别零件的像素坐标、种类信息；步骤2)，基于图像分割的零件测量算法构建：对图像进行预处理，采用深度优先搜索算法进行连通区域分析，并对零件和背景进行标记；对每个标记采用图像分割算法，获取零件实例分割区域；对每个零件实例分割区域计算最小外接圆，以最小外接圆半径作为尺度特征描述子；步骤3)，算法集成与验证：将步骤1)与步骤2)所述两种算法进行集成，形成零件识别定位测量一体化算法，一次输入同时得到零件的像素坐标、类别信息、最小外接圆尺寸；并进行实验分别验证零件种类识别率与召回率、尺寸测量精确度区间的指标；步骤4)，基于透射变换的图像归一化处理：对步骤3)的零件识别定位测量一体化算法得到零件的像素坐标，通过透射投影变换方式实现坐标转换；对装配体区域进行分割，分割出区域进行四边形拟合，利用拟合四边形的角点信息求解透射变换矩阵的参数；利用透射变换矩阵进行运算实现图像归一化处理，同时实现像素坐标系与物体坐标系的转换；步骤5)，基于数据匹配的装配错误识别算法：建立数据库，定义零件信息，并在数据库中预存正确装配零件信息模板；开发算法与数据库的信息传输接口，实现算法与数据库实时数据交互；将步骤4)测量得到的零件信息实时存储至数据库中，与数据库中模板信息进行匹配，将匹配失败的零件信息返回，定义装配错误信息；步骤6)，装配体位姿估计：对薄壁状弱纹理目标进行位姿估计，采用端到端深度学习的方式，利用图像的RGB
‑
D信息进行直接位姿估计。2.根据权利要求1所述的方法，其特征在于，步骤1)具体为：步骤1.1)，构建YOLO_v5算法框架，基于公开数据集训练模型进行训练，获取预训练权重，采用迁移学习方式将公开数据集训练模型移植到本场景；采集不同角度、不同光照条件下的照片作为零件数据集，采用LabelImg开源图像标注工具进行标注；标注信息包括目标种类和位置信息；步骤1.2)，零件数据集种类信息包括8种：hole(孔)、black1、black2、red1、red2、yellow1、yellow2、blue，若算法识别结果为hole，表示此处零件没有装配，即为漏装状态；若算法识别结果为其他，表示该处装有零件；步骤1.3)，将采集到的旧机械零件图片制作txt类的标签并储存，采用翻转、旋转、裁剪、遮挡、色调变换、亮度变换的图像增强方式丰富零件数据集，对深度学习网络进行再训练，最终实现零件像素坐标、种类的识别。3.根据权利要求1所述的方法，其特征在于，步骤2)具体为：步骤2.1)，基于Open CV开源库函数，对预处理滤波去噪后的图像进行阈值分割，得到二值化图像，采用多次腐蚀膨胀迭代操作消除零件内部的像素空洞以及边界干扰；步骤2.2)，对步骤2.1)处理后的图像首先采用深度优先搜索算法，对背景和不同零件个体进行标记并排序；对每个标记采用图像分水岭算法进行分割，得到各零件实例分割区域；
步骤2.3)，用以下公式对上述零件实例分割区域边界进行修正：步骤2.3)，用以下公式对上述零件实例分割区域边界进行修正：其中，i是当前整数坐标边缘点横坐标，j是当前整数坐标边缘点纵坐标，R
左
是边缘点左边梯度值，R
右
是边缘点右边梯度值，R0是边缘点梯度值，ω是相邻像素到边缘点的距离，θ是梯度的方向；步骤2.4)，修正结果获取闭合的轮廓，提取各轮廓的最小外接圆，以最小外接圆半径作为零件的尺度特征描述子，实现零件的尺寸测量与排序。4.根据权利要求1所述的方法，其特征在于，步骤3)具体为：步骤3.1)，将步骤1)设计的零件种类识别定位算法，以及步骤2)设计的零件测量算法进行集成，采用并联集成的方式，输入图像首先经过YOLO_v5深度学习算法进行计算，在输出层送入步骤2)的零件测量算法...

【专利技术属性】
技术研发人员：杨军，连旭升，周振秋，张海龙，薛政杰，何强，陈儒琛，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：