一种基于深度网络的3D点云焊点缺陷检测方法技术

本发明专利技术涉及一种基于深度网络的3D点云焊点缺陷检测方法，所述检测方法包括：在语义分割和特征提取时，采用基于双线性池化方法进行细粒度特征融合，有助于提高差异性较小样本的特征提取能力；限制兴趣区域搜索范围有助于提高检测速度同时降低误检率；使用基于代价敏感方法的改进交叉熵函数作为目标函数调整对正常焊点分类的严格程度，有助于提高正常焊点检测的精确率，降低假阳性率；设计预测焊点候选框位置与真实焊点的相对位置差异的计算方法，有助于减少焊点定位预测的误判、漏判等情况；本发明专利技术能对电路板中焊点进行有效定位和检测，有助于提高焊点质量检测的准确率，对工业电路板生产具有重要的现实意义。

【技术实现步骤摘要】
一种基于深度网络的3D点云焊点缺陷检测方法
本专利技术属于电路板焊点缺陷检测
，涉及一种基于深度网络的3D点云焊点缺陷检测方法。
技术介绍
现代社会发展迅猛，计算机视觉技术正在广泛地应用于各种工业生产的质量监控。传统的焊点缺陷分类与检测是通过人工视觉进行检测，检测人员在产线工位通过人眼识别判断焊点是否存在缺陷，若发现缺陷则进行标记、记录、拾捡和后续修改工作。人工视觉检测方法具有很多弊端，受限于人类视觉和大脑的生理机能，人工分类和检测效率不高，焊点缺陷检出标准难以量化和统一，稳定性差；同时增加劳动力成本和容易引起视觉相关职业疾病。采用自动检测系统则是通过对焊点图像进行处理和分析完成电路板中焊点的检测与分类，而整个系统的关键是基于图像处理的焊点缺陷检测与分类算法。在焊点缺陷检测与分类算法的研发过程中缺乏先验性，导致焊点缺陷检测算法适应性难以保证；同时，图像对于环境光线敏感，同一样本在不同光线下图像的差异性较大，基于边缘检测对图像进行焊点定位易受环境光线影响，导致焊点定位、检测精度下降。近年来，深度学习因其强大的特征提取和抽象能力得到了突破性的发展。点云以其最接近物理世界刻画的数据表征能力在工业界得到广泛应用，结合深度学习模型强大的学习能力，高效的特征表达能力，从像素级原始数据到抽象的语义概念逐层提取信息，这使得它在提取点云的全局特征和上下文信息方面具有明显的优势，这为解决一些传统的点云问题，如点云分类、分割、检测以及识别等，带来了新的思路。电路板中的焊点可能存在少锡、多锡、连锡、拉尖等焊接缺陷，正常焊点与缺陷焊点在形状上存在一定差异，由于点云对焊点形状良好的刻画能力，在电路板焊点缺陷检测背景下，采用深度学习和现有焊点缺陷检测和分类算法的结合，将具有巨大的应用前景和意义。经对现有技术的检索发现，目前还没有直接基于3D点云数据的深度神经网络方法对电路板焊点缺陷进行定位、检测和分类的相关专利和文献，只有部分采用传统的基于图像的统计学方法、边缘检测方法和基于模型的方法对电路板焊点缺陷检测的文献，其主要检测手段和思想与本专利技术还存在着较大的差别。专利CN109859181A中提出一种基于支持向量机的焊点缺陷检测方法，通过对采集的焊点图像进行特征提取和检测，准确率较高，但是方法本身并不具备对焊点进行定位的能力，仍需要获取对应焊点位置再进行焊点检测，同时使用的数据格式为图像，与本方法采用的3D点云数据区别较大。
技术实现思路
本专利技术的目的是解决现有技术中存在的上述问题，提供一种基于深度网络的3D点云焊点缺陷检测方法。为达到上述目的，本专利技术采用的技术方案如下：一种基于深度网络的3D点云焊点缺陷检测方法，包括如下步骤：(一)构建基于深度网络的点云检测网络模型；所述基于深度网络的点云检测网络模型包括语义分割与特征提取模块、兴趣区域推荐模块、兴趣区域池化与特征融合模块、兴趣区域筛选与精修模块以及目标分类模块；在语义分割与特征提取模块中，采用双线性池化方法实现点云细粒度特征融合；生产线中点云拍摄相机是固定的，检测工位上待检工件多次检测时位置变化范围较小，在兴趣区域推荐模块中，根据这一实际工况限定感兴趣区域推荐范围，，可减少候选框的数量，提高检测速度同时降低误检率；在目标分类模块中，使用基于代价敏感方法的改进交叉熵函数作为目标函数调整对正常焊点分类的严格程度，从而提高正常焊点检测的精确率，降低假阳性率；使用基于代价敏感方法的改进交叉熵函数作为目标函数调整对正常焊点分类的严格程度，具体如下：其中Loss表示目标函数的计算结果，也即基于深度网络的点云检测网络模型的优化目标，为Nbs个样本的焊点训练集焊点标签的one-hot结构编码，n＝2为焊点的类别数，yi表示y的第i个元素，为点云检测网络模型输出，y′i表示y′的第i个元素，为预设的代价矩阵，T表示矩阵的转置；(二)检测；(1)将基于深度网络的点云检测网络模型作为生产线检测流程中的一个环节，在生产线检测启动后，开始检测流程，进行系统初始化，生产线运行状态为正常运行，当点云相机拍摄得到一个待检工件的点云数据后，输入待检测点云数据；(2)对点云数据进行预处理，得到维度为N×3的点云数据，并将其输入训练完成得到的基于深度网络的点云检测网络模型中，得到m个预测的维度为1×3的焊点候选框3D空间位置和m个维度为1×3的候选框尺寸以及m个候选框内点云分类结果，构成维度为m×6的预测焊点候选框信息和维度为m×1的分类结果；(3)通过预设待检测工件中真实焊点数量m0和维度为m0×3的焊点相对空间位置，判断基于深度网络的点云检测网络模型预测的维度为m×3焊点候选框位置是否为真实焊点位置以及预测的焊点数量m是否与真实数量m0相同；(4)若预测焊点候选框位置的相对位置和真实焊点的相对位置差异不小于预设阈值q0时，则将该样本标记和记录，并在生产线对检测工件分流，用于拾捡和人工检测；若相对位置差异小于预设阈值q0时，则对预测候选框点云分类结果进行判断，当分类结果含有缺陷焊点时，则对该检测样本进行标记和记录，并在生产线对检测工件进行分流，用于拾捡和修复；当分类结果全部为正常样本时，则对该检测样本进行标记、记录，并在生产线对检测工件进行分流；分流完成后判断当前生产线状态是否为正常运行，若生产线状态为正常运行，则等待下一个点云相机拍摄待检测工件的点云数据，若生产线状态为异常停止或者正常停止则停止检测，结束检测流程；(三)判断；通过预设待检测工件中焊点数量和焊点相对3D空间位置，判断基于深度网络的点云检测网络模型预测的焊点候选框位置是否为真实焊点位置以及预测的焊点数量m是否与真实数量m0相同，先判断预测焊点数量m和真实焊点数量m0是否相等，在数量相等的条件下，根据预测焊点候选框位置的相对位置和真实焊点相对位置差异判断点云检测网络模型预测焊点是否为有效预测，具体如下：已知预测焊点候选框位置矩阵真实焊点候选框相对位置矩阵且预测焊点数m和真实焊点数m0相同，单个电路板待检焊点数多于3个，计算预测焊点m和真实焊点m0的候选框位置相对位置差异如下：其中，q为预测焊点m和真实焊点m0的候选框位置相对位置差异，Mavg，Mrp，Merr为中间变量，为正实数域，为实数域。作为优选的技术方案：如上所述的一种基于深度网络的3D点云焊点缺陷检测方法，采用双线性池化方法实现点云细粒度特征融合，具体如下：已知特征变换T1，其中，d1，d2，d3，d4为特征维度，表示实数域，双线性融合计算如下：其中其中，F11，F12，F2为中间变量，分别为F0，F11，F12，F2的第i个元素，分别为F11，F12在第i个维度上的第j(k)个元素，分别为T1，T2，T3第i个元素，所得Fout即为融合后的特征。如上所述的一种基于深度网络的3D点云焊点缺陷检测方法，实际工况为：点云相机垂直正对于待检电路本文档来自技高网...

【技术保护点】
1.一种基于深度网络的3D点云焊点缺陷检测方法，其特征在于包括如下步骤：/n(一)构建基于深度网络的点云检测网络模型；/n所述基于深度网络的点云检测网络模型包括语义分割与特征提取模块、兴趣区域推荐模块、兴趣区域池化与特征融合模块、兴趣区域筛选与精修模块以及目标分类模块；/n在语义分割与特征提取模块中，采用双线性池化方法实现点云细粒度特征融合；/n在兴趣区域推荐模块中，根据实际工况限定感兴趣区域推荐范围；/n在目标分类模块中，使用基于代价敏感方法的改进交叉熵函数作为目标函数调整对正常焊点分类的严格程度；/n使用基于代价敏感方法的改进交叉熵函数作为目标函数调整对正常焊点分类的严格程度，具体如下：/n

【技术特征摘要】
1.一种基于深度网络的3D点云焊点缺陷检测方法，其特征在于包括如下步骤：
(一)构建基于深度网络的点云检测网络模型；
所述基于深度网络的点云检测网络模型包括语义分割与特征提取模块、兴趣区域推荐模块、兴趣区域池化与特征融合模块、兴趣区域筛选与精修模块以及目标分类模块；
在语义分割与特征提取模块中，采用双线性池化方法实现点云细粒度特征融合；
在兴趣区域推荐模块中，根据实际工况限定感兴趣区域推荐范围；
在目标分类模块中，使用基于代价敏感方法的改进交叉熵函数作为目标函数调整对正常焊点分类的严格程度；
使用基于代价敏感方法的改进交叉熵函数作为目标函数调整对正常焊点分类的严格程度，具体如下：



其中Loss表示目标函数的计算结果，也即基于深度网络的点云检测网络模型的优化目标，为Nbs个样本的焊点训练集焊点标签的one-hot结构编码，n＝2为焊点的类别数，yi表示y的第i个元素，为点云检测网络模型输出，y′i表示y′的第i个元素，为预设的代价矩阵，T表示矩阵的转置；
(二)检测；
(1)将基于深度网络的点云检测网络模型作为生产线检测流程中的一个环节，在生产线检测启动后，开始检测流程，进行系统初始化，生产线运行状态为正常运行，当点云相机拍摄得到一个待检工件的点云数据后，输入待检测点云数据；
(2)对点云数据进行预处理，得到维度为N×3的点云数据，并将其输入训练完成得到的基于深度网络的点云检测网络模型中，得到m个预测的维度为1×3的焊点候选框3D空间位置和m个维度为1×3的候选框尺寸以及m个候选框内点云分类结果，构成维度为m×6的预测焊点候选框信息和维度为m×1的分类结果；
(3)通过预设待检测工件中真实焊点数量m0和维度为m0×3的焊点相对空间位置，判断基于深度网络的点云检测网络模型预测的维度为m×3焊点候选框位置是否为真实焊点位置以及预测的焊点数量m是否与真实数量m0相同；
(4)若预测焊点候选框位置的相对位置和真实焊点的相对位置差异不小于预设阈值q0时，则将该样本标记和记录，并在生产线对检测工件分流，用于拾捡和人工检测；若相对位置差异小于预设阈值q0时，则对预测候选框点云分类结果进行判断，当分类结果含有缺陷焊点时，则对该检测样本进行标记和记录，并在生产线对检测工件进行分流，用于拾捡和修复；当分类结果全部为正常样本时，则对该检测样本进行标记、记录，并在生产线对检测工件进行分流；分流完成后判断当前生产线状态是否为正常运行，若生产线状态为正常运行，则等待下一个点云相机拍摄待检测工件的点云数据，若生产线状态为异常停止或者正常停止则停止检测，结束检测流程；
(三)判断；
通过预设待检测工件中焊点数量和焊点相对3D空间位置，判断基于深度网络的点云检测网络模型预测的焊点候选框位置是否为真实焊点位置以及预测的焊点数量m是否与真实数量m0相同，先判断预测焊点数量m和真实焊点数量m0是否相等，在数量相等的条件下，根据预测焊点候选框位置的相对位置和真实焊点相对位置差异判断点云检测网络模型预测焊点是否为有效预测，具体如下：
已知预测焊点候选框位置矩阵真实焊点候选框相对位置矩阵且预测焊点数m和真实焊点数m0相同，单个电路板待检焊点数多于3个，计算预测焊点m和真实焊点m0的候选框位置相对位置差异如下：












其中，q为预测焊点m和真实焊点m0的候选框位置相对位置差异，Mavg，Mrp，Merr为中间变量，为正实数域，为实数域。


2.根据权利要求1所述的一种基于深度网络的3D点云焊点缺陷检测方...

【专利技术属性】
技术研发人员：郝矿荣，李海剑，隗兵，唐雪嵩，陈磊，刘肖燕，
申请(专利权)人：东华大学，
类型：发明
国别省市：上海;31