【技术实现步骤摘要】
本专利技术及pcba检测，具体为一种基于图像识别的pcba表面缺陷检测方法及系统。
技术介绍
1、印制电路板（printed circuit board，pcb）作为电子元器件安装和电路电气连接的载体，是各类型电子产品的重要组成部分，其生产制造的发展水平对计算机、消费电子、通信设备、汽车电子和工业装备等行业的技术进步发挥了基础性作用。在pcb生产制造中，pcb组装（printed circuit board assembly，pcba）的质量控制对于电子产品最终质量表现有着重要影响。随着当今 pcba加快朝着微型化、轻薄化和密集化方向发展，人工目视检测和在线电气检测由于视线和电气接触受限，已难以满足电子电路制造业对于pcba质量控制的需求。
2、pcba是电子电路制造中将电子元器件通过表面工艺组装在pcb裸板上这一制程的缩写，一般也可指代已完成元件组装的pcb。目前的主流表面工艺包括双列直插封装（dualinline package，dip）和表面贴装技术（surface mount technology，smt），由于smt在组装密度、抗震能力、高频特性和生产效率等方面的优势，已成为电子组装业中最流行的技术，推动和促进了电子设备的片式化、小型化和轻薄化。smt是借助贴片机和焊料将各种表面安装元件（surface mount device，smd）贴装在pcb基板表面，并经过焊接、清洗和测试实现组装的工艺过程。smt通常使用回流焊接工艺，受焊料和助焊剂质量、焊接温度、基板氧化状况、贴片机工作误差等因素影响，可能在贴片
3、目前，在pcba表面工艺缺陷检测的场景中，存在以下的限制条件：
4、受工控机安装空间、供电功率和散热等因素限制，难以使用高性能的gpu，计算资源有限；
5、pcba上元件种类多样，各类元件外形特征差异较大，如果通过一个网络实现多种元件的分类，不但网络学习难度过大，且不符合功能模块化、组合化的可扩展性设计理念。因而考虑对每种元件训练一个分类网络，在实际使用时系统根据元件类型自动调用对应的模型进行处理，这就对网络模型的参数规模和加载速度提出了较高要求。
6、很多算法已经研究了基于传统机器学习和深度学习的pcb裸板表面缺陷检测方法。一些方法包括提取pcb缺陷区域相关的边界像素，将梯度方向信息作为特征向量进行缺陷分类与识别。这种方法能够识别pcb表面划伤、毛刺等缺陷，但在缺陷与背景环境对比度较低时存在难以检测的问题。另一种方法利用形态学来提取pcb缺陷区域进行缺陷分类，降低了缺陷识别的误判率。然而，在基于形状特征提取缺陷时，对形状差异较大的同类缺陷可能无法很好地识别。
7、一些研究者提出了改进模板匹配的pcb缺陷多级检测算法，以提高pcb缺陷检测的准确性。但是，这也带来了在缺陷与模板差异较大时检测准确度降低的问题。还有基于加速鲁棒特征和随机森林的机器学习方法，可以在没有正常图像的情况下对pcb进行缺陷检测，但无法处理不同尺度的缺陷和复杂多变的外部光照环境。另外，基于残差学习的思想设计的方法利用图像下采样方法对图像感受野进行扩大，提高去噪效率，解决了pcb图像检测清晰度不够的问题。
8、将深度学习引入到pcb缺陷检测中也是目前pcb缺陷检一个主流方向。例如，现有技术提出一种双流卷积神经网络，通过使用两个焊料区域来检查表面贴装技术组装缺陷，但模型的复杂度和计算量也大大增加。还有一些研究者提出了构建一个基于特征金字塔网络的增强特征提取网络，用于检测 pcb缺陷，但检测精度受到一定限制。虽然深度学习已应用于pcb缺陷检测，但仍需进一步提高识别精度和识别速度。
技术实现思路
1、本专利技术要解决的技术问题是提供一种基于图像识别的pcba表面缺陷检测方法及系统，以解决
技术介绍
中所述现有技术的不足。
2、为解决上述技术问题，本专利技术的实施例提供如下技术方案：一种基于图像识别的pcba表面缺陷检测方法，包括以下步骤：
3、收集并构建不限于焊接缺陷、元器件缺陷、pcb板缺陷、其他缺陷的多类pcba整体缺陷图像数据集，并进行预处理；所述预处理包括随机旋转、裁剪、归一化；
4、构建预训练神经网络模型，对预处理后的pcba整体缺陷图像数据集进行分类；
5、针对整体缺陷分类结果，构建基于yolox网络的局部目标识别方法；
6、基于局部目标识别方法对pcba表面进行局部缺陷检测。
7、进一步的，所述构建预训练神经网络模型，对预处理后的pcba整体缺陷图像数据集进行分类，具体为：
8、根据imagenet数据集训练基于mobilenetv2、efficientnet-b0的分类网络；
9、使用训练好的mobilenetv2和efficientnet-b0网络作为预训练模型，并对预训练模型迁移训练，把最后的分类层设置为4类，然后设计3个轻量级cnn分支，将efficientnet-b0作为主分支对pcba图像提取全局特征信息，用两个mobilenetv2分支分别提取局部区域的缺陷特征和非缺陷特征；
10、利用concatenate函数对这些区域进行特征融合之后，连接全局平均池化层，再添加dropout层；
11、使用设置为4类的softmax分类器，从而完成pcba图像缺陷分类。
12、进一步的，还包括对预训练模型引入注意力机制，具体为在mobilenetv2的bottleneck层之前和之后分别添加一个cbam模块构成 attention-mobilenetv2网络。
13、进一步的，所述构建基于yolox网络的局部目标识别方法，具体为：
14、yolox网络包括输入端、主干特征提取网络、颈部网络和预测端；
15、在输入端使用不限于旋转、缩放、翻转、裁剪的方法对原始数据进行数据增强；
16、主干特征提取网络使用sdconv进行替换，负责图像的特征提取；包括多个bconv卷积层、e‐elan卷积层、mpconv卷积层和sppcspc融合层；其中，bconv卷积层提取不同尺度的图像特征，e-elan卷积层通过引导不同特征组的计算块学习更多样化的特征，mpconv卷积层融合正常bconv卷积处理的特征信息与maxpool扩张感受野的特征信息，sppcspc融合层解决了图像失真和重复特征提取的问题；
17、将颈部网络区域e-elan卷积层和mpconv卷积层中的bconv替换为sdconv；
18、在预测端通过repconv卷积层对pafpn输出的大、中、小三个不同尺度的特征进行图像通道数调整；
19、加入空间金字塔池化模块sppcspc中引入注意力机制；
20、将mish激活函数更换为swish激活函数。
21、进一步的，所述基于局部目标识别方法对pcba表面进本文档来自技高网...
【技术保护点】
1.一种基于图像识别的PCBA表面缺陷检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于图像识别的PCBA表面缺陷检测方法，其特征在于，所述构建预训练神经网络模型，对预处理后的PCBA整体缺陷图像数据集进行分类，具体为：
3.根据权利要求2所述的基于图像识别的PCBA表面缺陷检测方法，其特征在于，还包括对预训练模型引入注意力机制，具体为在MobileNetv2的Bottleneck层之前和之后分别添加一个CBAM模块构成Attention-MobileNetV2网络。
4.根据权利要求1所述的基于图像识别的PCBA表面缺陷检测方法，其特征在于，所述构建基于YOLOX网络的局部目标识别方法，具体为：
5.根据权利要求1所述的基于图像识别的PCBA表面缺陷检测方法，其特征在于，所述基于局部目标识别方法对PCBA表面进行局部缺陷检测，具体为：
6.根据权利要求5所述的基于图像识别的PCBA表面缺陷检测方法，其特征在于，所述二次预处理包括：
7.根据权利要求5所述的基于图像识别的PCBA表面缺陷检测方
8.根据权利要求4所述的基于图像识别的PCBA表面缺陷检测方法，其特征在于，所述YOLOX网络在颈部网络中，加入注意力机制模型CAM，具体为：输入为主干网络和SPP结构输出的3个特征图，CAM模块在拼接5次的3x3卷积层中，3张特征图经过都要经过同1个1x1卷积，输出PCBA缺陷特征图F1、F2和F3，特征图F2和 F3进行矩阵相乘操作，获得特征图F4，继续经过Softmax运算，得到通道注意力特征图F5，然后F5与只有经过1x1卷积运算的F1进行矩阵相乘得到特征图F6，最后将F6与原始图像进行加权求和计算，然后通过尺度变换，放大PCBA表面细节信息，获得更明确的特征权重。
9.根据权利要求8所述的基于图像识别的PCBA表面缺陷检测方法，其特征在于，还包括在SPP结构拼接的33的卷积中，引入深度可分离卷积，其中网络的输入为（M），输出（N），为其中网络输入大小为，M为卷积核的数量，输入PCBA板特征图经过卷积，卷积参数量为MN，卷积计算量为MN，应用深度可分离卷积同样大小的输入和输出，得到参数量为：M+MN，将卷积表示为深度可分离卷积，减少的计算为：
10.基于图像识别的PCBA表面缺陷检测系统，其特征在于，包括：
...【技术特征摘要】
1.一种基于图像识别的pcba表面缺陷检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于图像识别的pcba表面缺陷检测方法，其特征在于，所述构建预训练神经网络模型，对预处理后的pcba整体缺陷图像数据集进行分类，具体为：
3.根据权利要求2所述的基于图像识别的pcba表面缺陷检测方法，其特征在于，还包括对预训练模型引入注意力机制，具体为在mobilenetv2的bottleneck层之前和之后分别添加一个cbam模块构成attention-mobilenetv2网络。
4.根据权利要求1所述的基于图像识别的pcba表面缺陷检测方法，其特征在于，所述构建基于yolox网络的局部目标识别方法，具体为：
5.根据权利要求1所述的基于图像识别的pcba表面缺陷检测方法，其特征在于，所述基于局部目标识别方法对pcba表面进行局部缺陷检测，具体为：
6.根据权利要求5所述的基于图像识别的pcba表面缺陷检测方法，其特征在于，所述二次预处理包括：
7.根据权利要求5所述的基于图像识别的pcba表面缺陷检测方法，其特征在于，所述对基础yolox网络模型执行剪枝操作，具体包括：
【专利技术属性】
技术研发人员：罗雄，
申请(专利权)人：深圳市赋研星辰科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。