一种基于MAIRNet的PCB缺陷检测与识别方法技术

本发明专利技术公开了一种基于MAIRNet的PCB缺陷检测与识别方法，包括：采集PCB模板图像与待检测图像，构建数据集，并且划分成测试集图像和训练集图像；检测是否存在元器件缺失的情况，最终输出缺失元器件定位信息并在待检测图像中进行标注；输出对于极性元器件的定位情况、色环电阻种类及定位信息和焊点缺陷类别及定位信息；输出裁剪后的PCB极性元器件待检测图像与模板图像，构建一种PCB元器件极性判别方法，输出元器件极性接插情况；对获取的信息进行汇总显示。本发明专利技术能够检测识别出PCB表面常见的元器件缺失、元器件极性接插错误、焊点缺陷等问题，输出缺陷区域的位置信息、类别信息，并能够对色环电阻类别进行检测与识别，与人工检测的方式相比具有显著优势。检测的方式相比具有显著优势。检测的方式相比具有显著优势。

【技术实现步骤摘要】
一种基于MAIRNet的PCB缺陷检测与识别方法


[0001]本专利技术涉及机器视觉及深度学习的
，具体涉及一种基于MAIRNet的PCB缺陷检测与识别方法。

技术介绍

[0002]随着机器视觉及人工智能技术的飞速发展，深度学习、神经网络等技术逐渐应用到了工业化检测的过程当中。PCB具备高密度化、重量轻、集成度高等特点，这也使得PCB缺陷检测过程面临着目标元器件多样化、检测对象尺寸小，难以识别的问题。
[0003]当前PCB检测的主要方式主要分为人工目测、接触性检测及非接触性检测三类。人工目测存在着效率低下的问题，接触性检测又极易损伤PCB表面元器件，随着图像处理技术及视觉传感器的发展，基于视觉的PCB检测逐渐应用到实际生产当中，但目前常用的视觉检测方式无法同时识别检测多种元器件，仍需要相对复杂的人工操作过程，具有局限性。
[0004]基于传统图像处理技术的检测与识别方法不需要复杂昂贵的硬件，但具有一定局限性，对于目标种类众多的PCB复杂背景检测与识别精度较低，无法准确判别元器件类型与缺陷种类。当前基于深度学习的目标检测与识别技术没有针对PCB缺陷搭建的特定神经网络模型，针对PCB常见的各类缺陷，如：焊点连焊及虚焊、元器件缺失以及极性接反等问题的检测与识别技术相对还不够成熟，难以对PCB存在的多类缺陷进行针对性的检测与识别，同时深度神经网络由于网络结构复杂、层数加深，导致模型复杂，占用计算资源增加，难以移植到嵌入式开发板上应用到工业生产检测中。
[0005]所以，需要一个新的技术方案来解决这些问题。

技术实现思路

[0006]专利技术目的：为了克服现有技术中存在的不足，提供一种基于MAIRNet的PCB缺陷检测与识别方法，使用基于深度学习及机器视觉的检测方法取代传统检测方式，在实际应用场景下成本相对低廉，不需要昂贵的自动光学检测(AOI)系统，同时相较于人工检测和接触性检测来说，效率大幅提升，不易造成PCB表面元器件损伤，且本专利技术提供的方法基于神经网络模型搭建，模型复杂程度较低，便于移植到嵌入式开发板上应用到实际的工业生产检测中，同时能够在单次检测操作中实现多类缺陷目标的检测功能，提高生产的效率和可靠性，满足高性能、高复杂度产品的生产需求，能够极大程度地提高智能电网装备板件生产流水线上PCB整体的检测水平，具有重要的实际应用价值。
[0007]技术方案：为实现上述目的，本专利技术提供一种基于MAIRNet的PCB缺陷检测与识别方法，包括如下步骤：
[0008]S1：分别采集PCB正反两面的模板图像与待检测图像，构建数据集，并且划分成测试集图像和训练集图像，对训练集图像进行元器件类别以及缺陷情况的标注，生成对应的标签文件；
[0009]S2：将训练集中的待检测图像和模板图像全部输入到元器件存在性检测模块，检
测是否存在元器件缺失的情况，最终输出缺失元器件定位信息并在待检测图像中进行标注；
[0010]S3：将测试集中的PCB图像输入搭建和训练好的基于MAIRNet的PCB缺陷检测与识别模型进行检测和识别操作，输出对于极性元器件的定位情况、色环电阻种类及定位信息和焊点缺陷类别及定位信息；
[0011]S4：利用步骤S3中输出的极性元器件定位情况对待检测图像与模板图像进行裁剪筛选，输出裁剪后的PCB极性元器件待检测图像与模板图像，构建一种PCB元器件极性判别方法，利用元器件存在性检测模块进行操作，通过对极性元器件存在区域进行分割，单独对待检测图像与模板图像的极性元器件区域进行对比，将对比情况输入到极性检测模块中进行判别，最终输出元器件极性接插情况；
[0012]S5：对获取的缺失元器件定位信息与PCB图像上的标注情况、元器件极性接插情况、色环电阻种类及定位信息、焊点缺陷类别及定位信息进行汇总显示。
[0013]进一步地，所述步骤S2中元器件存在性检测模块的检测方法为：
[0014]D1：对输入的待检测图像进行预处理，使用ORB特征对待检测图像与原始图像进行图像配准操作，确保待检测图像与模板图像包含的相关特征尽可能位置相近；
[0015]D2：对于图像配准后的待检测图像与模板图像进行图像灰度化操作，生成待检测灰度图与模板灰度图；
[0016]D3：对于待检测灰度图与模板灰度图进行图像差分；
[0017]D4：对于步骤D3中得到的差分灰度图进行图像二值化处理，得到差分二值图，并进行图像形态学处理，采用腐蚀膨胀操作进一步减少PCB背景环境对元器件缺失区域定位带来的噪声及影响；
[0018]D5：对于步骤D4中进行图像形态学处理后的差分二值图进行像素筛选，筛选出图像中的最大连通区域；
[0019]D6：对于步骤D5中筛选出的最大连通区域进行矩形框标注，并将标注元器件缺失区域的矩形框映射到输入的待检测图像中，进而输出缺失元器件定位信息并实现标注。
[0020]进一步地，所述步骤S3中基于MAIRNet的PCB缺陷检测与识别模型的搭建方法包括如下步骤：
[0021]A1：构建基于MAIRNet用于提取训练集中PCB图像的特征，输出多种不同尺度的特征图，MAIRNet是一种多维注意力机制逆残差网络(Multidimensional Attention Inverse Residual Network)；
[0022]A2：对多种不同尺度的特征图进行PCB元器件目标检测与识别，目标所处的边界框bounding box位置信息目标对应的类别信息，类别信息包含目标元器件的具体类别以及缺陷情况。
[0023]进一步地，所述步骤A1具体包括如下步骤：
[0024]B1：MAIRNet由逆残差网络、多维注意力模块所组成，并且在网络搭建过程中使用了多尺度特征融合机制；
[0025]B2：在逆残差网络的基础上增加了一种多维注意力模块，使用多维注意力模块对于逆残差网络中的每一个逆残差模块进行优化，得到多维注意力模块优化的逆残差模块；
[0026]B3：按照多尺度特征融合机制搭建MAIRNet。
[0027]进一步地，所述步骤A2具体包括如下步骤：
[0028]C1：将经过多维注意力增强神经网络输出的5层特征图输入到PCB元器件目标检测与识别模块中分别进行极性元器件定位、色环电阻识别、焊点检测三类操作，每一类操作中5层特征图均通过了4组卷积神经网络；每组卷积神经网络包含卷积核为3
×
3、步长为1的卷积，群组归一化操作，最终使用ReLU激活函数进行激活；
[0029]C2：每一类操作中，对通过4组卷积神经网络卷积输出的特征图进行边界框回归，确定元器件目标所在区域，使用广义交并比函数GIoU(Generalized Intersection over Union)作为边界框回归损失函数；
[0030]C3：每一类操作中，对通过4组卷积神经网络卷积输出的特征图进行分类，确定元器件目标的种类及缺陷类别，使用焦点损失函数FocalLoss作为分类损失本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于MAIRNet的PCB缺陷检测与识别方法，其特征在于，包括如下步骤：S1：分别采集PCB正反两面的模板图像与待检测图像，构建数据集，并且划分成测试集图像和训练集图像，对训练集图像进行元器件类别以及缺陷情况的标注，生成对应的标签文件；S2：将训练集中的待检测图像和模板图像全部输入到元器件存在性检测模块，检测是否存在元器件缺失的情况，最终输出缺失元器件定位信息并在待检测图像中进行标注；S3：将测试集中的PCB图像输入搭建和训练好的基于MAIRNet的PCB缺陷检测与识别模型进行检测和识别操作，输出对于极性元器件的定位情况、色环电阻种类及定位信息和焊点缺陷类别及定位信息；S4：利用步骤S3中输出的极性元器件定位情况对待检测图像与模板图像进行裁剪筛选，输出裁剪后的PCB极性元器件待检测图像与模板图像，构建一种PCB元器件极性判别方法，利用元器件存在性检测模块进行操作，通过对极性元器件存在区域进行分割，单独对待检测图像与模板图像的极性元器件区域进行对比，将对比情况输入到极性检测模块中进行判别，最终输出元器件极性接插情况；S5：对获取的缺失元器件定位信息与PCB图像上的标注情况、元器件极性接插情况、色环电阻种类及定位信息、焊点缺陷类别及定位信息进行汇总显示。2.根据权利要求1所述的一种基于MAIRNet的PCB缺陷检测与识别方法，其特征在于，所述步骤S2中元器件存在性检测模块的检测方法为：D1：对输入的待检测图像进行预处理，使用ORB特征对待检测图像与原始图像进行图像配准操作；D2：对于图像配准后的待检测图像与模板图像进行图像灰度化操作，生成待检测灰度图与模板灰度图；D3：对于待检测灰度图与模板灰度图进行图像差分；D4：对于步骤D3中得到的差分灰度图进行图像二值化处理，得到差分二值图，并进行图像形态学处理，采用腐蚀膨胀操作进一步减少PCB背景环境对元器件缺失区域定位带来的噪声及影响；D5：对于步骤D4中进行图像形态学处理后的差分二值图进行像素筛选，筛选出图像中的最大连通区域；D6：对于步骤D5中筛选出的最大连通区域进行矩形框标注，并将标注元器件缺失区域的矩形框映射到输入的待检测图像中，进而输出缺失元器件定位信息并实现标注。3.根据权利要求1所述的一种基于MAIRNet的PCB缺陷检测与识别方法，其特征在于，所述步骤S3中基于MAIRNet的PCB缺陷检测与识别模型的搭建方法包括如下步骤：A1：构建基于MAIRNet用于提取训练集中PCB图像的特征，输出多种不同尺度的特征图；A2：对多种不同尺度的特征图进行PCB元器件目标检测与识别，目标所处的边界框bounding box位置信息目标对应的类别信息，类别信息包含目标元器件的具体类别以及缺陷情况。4.根据权利要求3所述的一种基于MAIRNet的PCB缺陷检测与识别方法，其特征在于，所述步骤A1具体包括如下步骤：B1：MAIRNet由逆残差网络、多维注意力模块所组成，并且在网络搭建过程中使用了多
尺度特征融合机制；B2：在逆残差网络的基础上增加了一种多维注意力模块，使用多维注意力模块对于逆残差网络中的每一个逆残差模块进行优化，得到多维注意力模块优化的逆残差模块；B3：按照多尺度特征融合机制搭建MAIRNet。5.根据权利要求3所述的一种基于MAIRNet的PCB缺陷检测与识别方法，其特征在于，所述步骤A2具体包括如下步骤：C1：将经过多维注意力增强神经网络输出的5层特征图输入到PCB元器件目标检测与识别模块中分别进行极性元器件定位、色环电阻识别、焊点检测三类操作，每一类操作中5层特征图均通过了4组卷积神经网络；每组卷积神经网络包含卷积核为3
×
3、步长为1的卷积，群组归一化操作，最终使用ReLU激活函数进行激活；C2：每一类操作中，对通过4组卷积神经网络卷积输出的特征图进行边界框回归，确定元器件目标所在区域，使用广义交并比函数GIoU作为边界框回归损失函数；C3：每一类操作中，对通过4组卷积神经网络卷积输出的特征图进行分类，确定元器件目标的种类及缺陷类别，使用焦点损失函数Focal Loss作为分类损失函数。6.根据权利要求5所述的一种基于MAIRNet的PCB缺陷检测与识别方法，其特征在于，所述步骤C2中广义交并比函数GIoU的具体计算过程为：L
GIoU
＝1

【专利技术属性】
技术研发人员：谢非，章悦，张瑞，杨嘉乐，夏光圣，吴佳豪，郑鹏飞，张培彪，王慧敏，
申请(专利权)人：南京师范大学，
类型：发明
国别省市：