【技术实现步骤摘要】
本专利技术属于表面缺陷检测相关，更具体地，涉及一种基于深度学习的大型钣金件冲孔缺漏检测方法及系统。
技术介绍
1、钣金件以其良好的成形性能、低密度、高强度等优点，广泛应用于航空航天、汽车等高端制造业。在钣金件冲压成形的特征中，孔位是钣金件最为常见且重要的成形特征，是保障钣金件顺利装配与外形准确的基础。由于冲压工序缺失、模具冲头磨损、冲孔深度不足等原因，钣金件冲压成形过程可能会产生漏冲孔缺陷。冲孔缺漏可导致其装配无法顺利进行，从而不能满足设计功能，同时也提示模具达到磨损极限。因此在冲压工序环节，准确且及时地检测出冲孔缺漏，对于保证钣金件的生产质量具有十分重要的意义。
2、目前，钣金件冲孔缺漏检测主要分为人工检测和基于机器视觉的检测等两类方法，人工检测方法依赖人工目视检测和检具辅助的方式进行，该检测方式效率低，易计数错误，难以及时发现冲孔缺漏。基于机器视觉的检测方法，一般是通过钣金图像检测出孔位目标，通过计数孔位数量并与设计数量进行对照，从而检测出漏冲孔缺陷。受限于钣金件往往具备的结构尺寸大、形貌复杂、表面反光严重、生产环境干扰因素多等特性，以及传统的冲压孔位检测算法准确性不足，钣金件冲孔缺漏的检测准确率目前仍比较低。并且受限于相机视野，目前钣金件冲孔缺漏的检测尺寸范围有限，不适用于大型钣金件。
技术实现思路
1、针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于深度学习的大型钣金件冲孔缺漏检测方法及系统，其旨在解决现有大型钣金件的漏冲孔检测的效率及精度较低的问题。
2、为实现上述目的，按照本专利技术的一个方面，提供了一种基于深度学习的大型钣金件冲孔缺陷检测方法，该方法包括以下步骤：
3、(1)利用多相机阵列采集待测钣金件的多视角图像，得到的多张图像能够覆盖待测钣金件的全部孔位；
4、(2)采用得到的多张图像对深度学习孔位目标检测模型进行训练，进而基于训练好的深度学习孔位目标检测模型及采集到的待测测钣金件的图像得到待测钣金件上孔位的位置数据；其中，深度学习孔位目标检测模型的输入为待测钣金件的图像，输出为待测钣金件上孔位的位置；
5、(3)通过多视图几何原理进行不同相机图像之间的孔位匹配，检测出不同图像中的重复孔位；
6、(4)将经深度学习孔位目标检测模型得到的所有孔位去除重复孔位后进行计数并将得到的计数结果与设计孔位数量进行对比或者将孔位的位置与对应的孔位设计位置进行对比，进而根据对比结果来判断是否有孔位漏冲。
7、进一步地，图像采集之前需标定双相机机组之间的内外参，并计算双相机之间的本质矩阵e，本质矩阵e用于计算极线。
8、进一步地，计算本质矩阵e的公式为：
9、
10、其中，t为双相机外参的平移向量，t×为由t计算得到的反对称矩阵，r为双相机外参的旋转矩阵。
11、进一步地，所述深度学习孔位目标检测模型是一种用于目标检测的卷积神经网络，包含主干网络、neck层及检测头三部分。
12、进一步地，主干网络采用具有深度残差结构的resnet网络。
13、进一步地，neck层采用特征金字塔网络进行特征融合，通过在不同尺度上提取和融合图像特征，重用不同层次的特征图。
14、进一步地，检测头采用解耦头结构，其用于根据孔位检测效果来调整主干网络。
15、进一步地，孔位匹配的具体步骤为：
16、s4.1，任取具有重叠视野的两图像，其中左相机图像的孔位中心点集为pleft＝{pl|pl∈pleft,l＝1,2,…,m}，右相机图像下的孔位中心点集为pright＝{pr|pr∈pright,l＝1,2,…,n}；
17、s4.2，遍历左相机图像下的孔位中心像点pl，由本质矩阵计算pl在右相机图像中的外极线lr，遍历右相机图像中所有的孔位中心点，选取到外极线lr距离小于设定阈值的孔位中心各点，进一步计算孔位中心像点pl在左相机系下的外极线ll，如果pl到ll的距离也小于设定阈值，则将pl与各pr作为预配准孔位对；
18、s4.3，当同一pl有多个pr与之对应时，计算多个右相机图像孔位中心点pr中是否有点被某左相机图像孔位中心点唯一对应；如有，则剔除该pr点；如仍有歧义性，计算各pr与各已匹配孔位对在沿极线方向的左右关系，综合考虑孔位pl和多个pr的像素尺寸比值，排除歧义性，获得与孔位pl唯一对应的pr或排除孔位匹配关系；
19、s4.4，按照图像之间的重合孔位范围大小，由大到小依次计算全部存在孔位重叠区域的图像组合之间的孔位匹配结果。
20、本专利技术还提供了一种基于深度学习的大型钣金件冲孔缺陷检测系统，所述系统包括存储器及处理器，所述存储器储存有计算机程序，所述处理器执行所述计算机程序时执行如上所述的基于深度学习的大型钣金件冲孔缺陷检测方法。
21、本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现如上所述的基于深度学习的大型钣金件冲孔缺陷检测方法。
22、总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，本专利技术提供的基于深度学习的大型钣金件冲孔缺漏检测方法及系统主要具有以下有益效果：
23、1.通过深度学习孔位目标检测模型进行基于视觉的冲孔缺陷检测，可以提升冲压件漏冲孔检测的实时性和准确性，提升有关质检环境的智能化水平，满足生产节拍要求和冲孔工艺优化的数据需求。
24、2.通过基于多视图几何的多视角孔位匹配，可以有效解决大型钣金件单个视角覆盖不全的问题及图像边缘处孔位容易漏计错计的问题，实现对大型钣金件冲孔缺陷必检项的智能化高效准确检测。
25、3.主干网络采用具有深度残差结构的resnet网络，通过特征图的跳跃连接，可以使主干网络学习到更健壮的特征表示，提升深度学习孔位目标检测模型的检测性能和泛化性能，并且由于残差结构允许信息在网络中跳跃连接，可以在反向传播过程中更快地进行梯度传播，从而加速深度学习孔位目标检测模型的收敛。
26、4.neck层采用特征金字塔网络进行特征融合，通过在不同尺度上提取和融合图像特征，重用不同层次的特征图，在低层次的特征图上生成具有语义信息的特征表示，提升对钣金件各种尺度孔位的检测性能。
本文档来自技高网...【技术保护点】
1.一种基于深度学习的大型钣金件冲孔缺陷检测方法，其特征在于，该方法包括以下步骤：
2.如权利要求1所述的基于深度学习的大型钣金件冲孔缺陷检测方法，其特征在于：图像采集之前需标定双相机机组之间的内外参，并计算双相机之间的本质矩阵E，本质矩阵E用于计算极线。
3.如权利要求2所述的基于深度学习的大型钣金件冲孔缺陷检测方法，其特征在于：计算本质矩阵E的公式为：
4.如权利要求1所述的基于深度学习的大型钣金件冲孔缺陷检测方法，其特征在于：所述深度学习孔位目标检测模型是一种用于目标检测的卷积神经网络，包含主干网络、Neck层及检测头三部分。
5.如权利要求4所述的基于深度学习的大型钣金件冲孔缺陷检测方法，其特征在于：主干网络采用具有深度残差结构的ResNet网络。
6.如权利要求4所述的基于深度学习的大型钣金件冲孔缺陷检测方法，其特征在于：Neck层采用特征金字塔网络进行特征融合，通过在不同尺度上提取和融合图像特征，重用不同层次的特征图。
7.如权利要求4所述的基于深度学习的大型钣金件冲孔缺陷检测方法，其特征在于：检
8.如权利要求1-7任一项所述的基于深度学习的大型钣金件冲孔缺陷检测方法，其特征在于：孔位匹配的具体步骤为：
9.一种基于深度学习的大型钣金件冲孔缺陷检测系统，其特征在于：所述系统包括存储器及处理器，所述存储器储存有计算机程序，所述处理器执行所述计算机程序时执行权利要求1-8任一项所述的基于深度学习的大型钣金件冲孔缺陷检测方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现权利要求1-8任一项所述的基于深度学习的大型钣金件冲孔缺陷检测方法。
...【技术特征摘要】
1.一种基于深度学习的大型钣金件冲孔缺陷检测方法，其特征在于，该方法包括以下步骤：
2.如权利要求1所述的基于深度学习的大型钣金件冲孔缺陷检测方法，其特征在于：图像采集之前需标定双相机机组之间的内外参，并计算双相机之间的本质矩阵e，本质矩阵e用于计算极线。
3.如权利要求2所述的基于深度学习的大型钣金件冲孔缺陷检测方法，其特征在于：计算本质矩阵e的公式为：
4.如权利要求1所述的基于深度学习的大型钣金件冲孔缺陷检测方法，其特征在于：所述深度学习孔位目标检测模型是一种用于目标检测的卷积神经网络，包含主干网络、neck层及检测头三部分。
5.如权利要求4所述的基于深度学习的大型钣金件冲孔缺陷检测方法，其特征在于：主干网络采用具有深度残差结构的resnet网络。
6.如权利要求4所述的基于深度学习的大型钣金件冲孔缺陷检测方法，其特征在于：neck层采用特征金字塔网...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。