一种视觉伺服飞机舱门缝隙自动化激光扫描方法和系统技术方案

本发明专利技术公开了一种视觉伺服飞机舱门缝隙自动化激光扫描方法，包括：基于全卷积神经网络搭建舱门缝隙特征提取模型，对舱门缝隙特征提取模型进行训练；将舱门缝隙的全局图像导入舱门缝隙特征提取模型，利用舱门缝隙特征提取模型提取舱门缝隙的全局特征图，利用路径生成算法得到全局扫描路径；获取机械臂所在位置的舱门缝隙局部图像，采用舱门缝隙特征提取模型提取舱门缝隙局部特征图，在全局扫描路径、视觉伺服以及垂直距离控制的综合作用下，控制机械臂沿全局扫描路径移动，同时采用机械臂末端挂载的激光扫描仪对舱门缝隙进行扫描。本发明专利技术能够成功解决现有技术对飞机舱门缝隙扫描自动化程度低以及传统算法边缘特征提取鲁棒性不够的问题。

An automatic laser scanning method and system for the gap of visual servo aircraft hatch

【技术实现步骤摘要】
一种视觉伺服飞机舱门缝隙自动化激光扫描方法和系统
本专利技术涉及计算机视觉
，具体而言涉及一种基于深度学习的视觉伺服飞机舱门缝隙自动化激光扫描方法和系统。
技术介绍
飞机舱门缝隙的检测是飞机舱门生产装配检测的重要环节之一。一方面，通过对缝隙的检测，可以确定飞机舱门与门框的配合精度是否达到要求；另一方面，在获取舱门缝隙扫描数据后，可应用于虚拟装配中，在零件制造前便可通过虚拟装配的方法确定舱门模型是否符合要求。近年来，数字化测量技术在航空制造中的应用越来月广泛，为飞机的检测提供了高效率、高精度的测量手段，正逐渐替代基于模拟量传递的传统检测方式。针对飞机舱门缝隙数字化测量来说，目前仍存在以下问题：大多数数字化测量设备的开发不够深入，自动化应用程度较低，未能形成统一的测量流程和测量规范，主要依靠人工手持三维扫描仪进行扫描，对人员技术熟练度的依赖程度较高。在自动化扫描路径规划中，常常需要根据缝隙特征取规划全局及局部扫描路径。传统的边缘特征提取算法主要有Roberts算法、Sobel算法以及Laplacian算法等等。但是Roberts算法对于噪声比较敏感，不适用于环境噪声较多的场景；Sobel算法对边缘定位不够稳定；Laplacian算法同样对噪声比较敏感。总的来说，传统的边缘特征提取算法鲁棒性有待增强。近年来，人工智能飞速发展，深度学习对计算机视觉起到了极大的推动作用，基于深度学习的特征提取具有很好的鲁棒性。例如专利号为CN108875740A的专利技术专利“一种应用于激光切割机的机器视觉切割方法”中公开了一种应用于激光切割机的机器视觉切割方法，包括图像畸变矫正模块、图像轮廓识别模块、基于监督式机器学习的参数优化模块和切割路径生成模块；图像畸变矫正模块对采集的图像进行处理获得原始图像，图像轮廓识别模块对原始图像进行轮廓识别，切割路径生成模块根据轮廓识别结果生成激光切割机的切割路径，通过基于监督式机器学习的参数优化模块对图像轮廓识别模块进行优化，使得图像轮廓识别模块识别轮廓提取更精确。本专利技术方法具有操作简单、识别精度高、识别速度快等优点，能够适应复杂的生产环境，提高了激光切割机的泛用性。通过使用机器学习技术，在处理图像判例越来越多的过程中，实现参数的自动优化，极大地提高了识别效果和环境适应能力。但此类现有技术通常是通过深度学习全局图像，生成切割机/机械臂的运动路径，进而驱使机械臂按照运动路径移动并执行对应的工作，对机械臂运动过程中的各种细节不再关注，更没有提及如何结合深度学习和视觉伺服对机械臂进行更高精度的操纵。尤其是对诸如飞机舱门缝隙的应用(包括特征提取、运动路径生成方法、结合图像深度学习和视觉伺服控制的工作原理等)未见有相应研究及报道。
技术实现思路
本专利技术目的在于提供一种视觉伺服飞机舱门缝隙自动化激光扫描方法和系统，通过深度学习全局原图实现路径规划，结合深度学习局部原图技术、视觉伺服技术、机械臂的细部控制技术实现机械臂的自动化操作过程，成功解决现有技术对飞机舱门缝隙扫描自动化程度低以及传统算法边缘特征提取鲁棒性不够的问题。为达成上述目的，结合图1，本专利技术提出一种视觉伺服飞机舱门缝隙自动化激光扫描方法，所述扫描方法包括：S1：基于全卷积神经网络搭建舱门缝隙特征提取模型，对舱门缝隙特征提取模型进行训练；S2：将舱门缝隙的全局图像导入舱门缝隙特征提取模型，利用舱门缝隙特征提取模型提取舱门缝隙的全局特征图，利用路径生成算法得到全局扫描路径；S3：获取机械臂所在位置的舱门缝隙局部图像，采用舱门缝隙特征提取模型提取舱门缝隙局部特征图，在全局扫描路径、视觉伺服以及垂直距离控制的综合作用下，控制机械臂沿全局扫描路径移动，同时采用机械臂末端挂载的激光扫描仪对舱门缝隙进行扫描。进一步的实施例中，步骤S1中，所述基于全卷积神经网络搭建舱门缝隙特征提取模型，对舱门缝隙特征提取模型进行训练的过程包括以下步骤：S11：通过相机获取舱门缝隙样本集(包括全局舱门缝隙图像和局部舱门缝隙图像)；S12：筛选有效图集，利用labelme工具对图像中的缝隙进行标注，标注类别包括背景和缝隙两种，将数据集划分为训练集和测试集；S13：搭建全卷积神经网络，网络整体架构采用语义分割网络deeplabv3+，数据集更换为舱门缝隙数据集；S14：利用训练集对全卷积神经网络进行训练，并利用测试集验证全卷积神经网络提取缝隙特征的效果；S15：经过以上步骤得到应用于本专利技术全卷积神经网络进一步的实施例中，所述方法还包括：采用设置在机械臂上的相机以获取舱门缝隙的全局图像或机械臂所在位置的舱门缝隙局部图像。进一步的实施例中，步骤S2中，所述利用路径生成算法得到全局扫描路径的过程包括以下步骤：S21：将全局特征图转化为全局二值图，属于背景部分像素值设为0，属于缝隙特征部分像素值设为255；S22：将全局二值图划分为50x50的网格，对于每个含有缝隙特征的网格，利用公式求得该网格缝隙特征的中心；设Pi(Xi,Yi)为该网格缝隙特征中心坐标，为该网格像素值是255的像素坐标，将该网格的缝隙特征整合为一个点Pi(Xi,Yi)；对所有带缝隙特征的网格进行此操作，以使缝隙特征最终简化为一系列点集Q(P1,P2,…,Pn)；S23：设定点间最小距离Dmin，求点P1与其余点的距离d1i,若d1i<Dmin,把Pi移出点集Q；S24：依次选取点集Q中剩余点重复步骤S23，直至处理完成所有点Pn；S25：选取点集Q中点Pi(Xi,Yi)，作为第一个元素L1储存在链表L中；S26：利用距离公式选出点集Q中距离点Pi(Xi,Yi)最近的特征点的PK,将其插入链表L的尾端，作为第二个元素L2；S27：在点集Q中选出不在链表L中，且与链尾元素点距离最近的点Pd，将其插入链尾；S28：重复操作S27，直到点集Q中所有点都被插入链表L，并将链尾标记Ln,end；S29：取出链表Ld+1位置的特征点Pm(Xm,Ym)，向量即为位于链表的Ld的特征点Pj(Xj,Yj)的方向，如果Ld位于链尾，则Ld+1为链头；S210：根据获取的每个特征点的方向，得到全局扫描路径。进一步的实施例中，步骤S3中，所述获取机械臂所在位置的舱门缝隙局部图像，采用舱门缝隙特征提取模型提取舱门缝隙局部特征图，在全局扫描路径、视觉伺服以及垂直距离控制的综合作用下，控制机械臂沿全局扫描路径移动，同时采用机械臂末端挂载的激光扫描仪对舱门缝隙进行扫描的过程包括以下步骤：S31：通过机械臂前端的相机获取舱门缝隙局部图像；S32：舱门缝隙局部图像利用opencv中的ORB算法与舱门缝隙的全局图像进行Match定位，确定舱门缝隙局部图像位于全局图像中的位置，其中下一次Match定位寻找范围为临近上一次Match定位确定位置处，将位置映射到带全局扫描路径信息的全局特征图，进而获取机械臂下一刻前进方向；S33：将舱门缝隙局部本文档来自技高网...

【技术保护点】
1.一种视觉伺服飞机舱门缝隙自动化激光扫描方法，其特征在于，所述扫描方法包括：/nS1：基于全卷积神经网络搭建舱门缝隙特征提取模型，对舱门缝隙特征提取模型进行训练；/nS2：将舱门缝隙的全局图像导入舱门缝隙特征提取模型，利用舱门缝隙特征提取模型提取舱门缝隙的全局特征图，利用路径生成算法得到全局扫描路径；/nS3：获取机械臂所在位置的舱门缝隙局部图像，采用舱门缝隙特征提取模型提取舱门缝隙局部特征图，在全局扫描路径、视觉伺服以及垂直距离控制的综合作用下，控制机械臂沿全局扫描路径移动，同时采用机械臂末端挂载的激光扫描仪对舱门缝隙进行扫描。/n

【技术特征摘要】
1.一种视觉伺服飞机舱门缝隙自动化激光扫描方法，其特征在于，所述扫描方法包括：
S1：基于全卷积神经网络搭建舱门缝隙特征提取模型，对舱门缝隙特征提取模型进行训练；
S2：将舱门缝隙的全局图像导入舱门缝隙特征提取模型，利用舱门缝隙特征提取模型提取舱门缝隙的全局特征图，利用路径生成算法得到全局扫描路径；
S3：获取机械臂所在位置的舱门缝隙局部图像，采用舱门缝隙特征提取模型提取舱门缝隙局部特征图，在全局扫描路径、视觉伺服以及垂直距离控制的综合作用下，控制机械臂沿全局扫描路径移动，同时采用机械臂末端挂载的激光扫描仪对舱门缝隙进行扫描。


2.根据权利要求1所述的视觉伺服飞机舱门缝隙自动化激光扫描方法，其特征在于，步骤S1中，所述基于全卷积神经网络搭建舱门缝隙特征提取模型，对舱门缝隙特征提取模型进行训练的过程包括以下步骤：
S11：通过相机获取舱门缝隙样本集，包括全局舱门缝隙图像和局部舱门缝隙图像；
S12：筛选有效图集，利用labelme工具对图像中的缝隙进行标注，标注类别包括背景和缝隙两种，将数据集划分为训练集和测试集；
S13：搭建全卷积神经网络，网络整体架构采用语义分割网络deeplabv3+，数据集更换为舱门缝隙数据集；
S14：利用训练集对全卷积神经网络进行训练，并利用测试集验证全卷积神经网络提取缝隙特征的效果；
S15：经过以上步骤得到应用于本发明全卷积神经网络。


3.根据权利要求1所述的视觉伺服飞机舱门缝隙自动化激光扫描方法，其特征在于，所述方法还包括：
采用设置在机械臂上的相机以获取舱门缝隙的全局图像或机械臂所在位置的舱门缝隙局部图像。


4.根据权利要求1所述的视觉伺服飞机舱门缝隙自动化激光扫描方法，其特征在于，步骤S2中，所述利用路径生成算法得到全局扫描路径的过程包括以下步骤：
S21：将全局特征图转化为全局二值图，属于背景部分像素值设为0，属于缝隙特征部分像素值设为255；
S22：将全局二值图划分为50x50的网格，对于每个含有缝隙特征的网格，利用公式求得该网格缝隙特征的中心；
设Pi(Xi,Yi)为该网格缝隙特征中心坐标，为该网格像素值是255的像素坐标，将该网格的缝隙特征整合为一个点Pi(Xi,Yi)；
对所有带缝隙特征的网格进行此操作，以使缝隙特征最终简化为一系列点集Q(P1,P2,…,Pn)；
S23：设定点间最小距离Dmin，求点P1与其余点的距离d1i,若d1i<Dmin,把Pi移出点集Q；
S24：依次选取点集Q中剩余点重复步骤S23，直至处理完成所有点Pn；
S25：选取点集Q中点Pi(Xi,Yi)，作为第一个元素L1储存在链表L中；
S26：利用距离公式选出点集Q中距离点Pi(Xi,Yi)最近的特征点的PK,将其插入链表L的尾端，作为第二个元素L2；
S27：在点集Q中选出不...

【专利技术属性】
技术研发人员：汪俊，彭建林，杨建平，赵安安，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32