基于深度学习PCB缺陷两阶段检测方法技术

本申请公开了一种基于深度学习PCB缺陷两阶段检测方法，包含：利用浅层神经网络作第一阶段的检测，包括获取PCB图像模块、CNN模块、FPN模块、PCB特征融合模块、特征掩膜模块、center

【技术实现步骤摘要】
基于深度学习PCB缺陷两阶段检测方法


[0001]本申请涉及缺陷检测
，特别涉及一种基于深度学习PCB缺陷两阶段检测方法。

技术介绍

[0002]印刷电路板(Printed Circuit Board，PCB)是电子设备必不可少的组成部分，如电脑、手机、冰箱等。现代电子设备性能的优劣，不但受电子元器件本身质量和性能的影响，而且在很大程度上取决于PCB质量的好坏，特别是二维PCB是整个电子电路的基础，是关系到后续电子产品质量的第一道关键环节，也关系到电子系统质量和生产周期的重要环节。随着电子信息领域的高速发展，各种设备生产厂商对于电路板的要求越来越高，不只是追求更高性能和效率，对电路板的良品率和产能还有更加严格的要求。
[0003]在对电路板的良品率和产能更加严格的场景下，PCB制造的精度和质量要求也越来越高。对视觉特征不太显著且通常微小稀疏的PCB缺陷数据，如何进行PCB缺陷检测亟需解决。
[0004]在相关技术中，二维PCB检测的传统做法是采用人工检测和飞针检测。人工检测是雇佣工人在生产线上对生产完毕的电路板在灯光下用眼睛观察电路板的各个区域，找出电路板的缺陷。人工检测的检测结果不稳定，容易产生漏检，并且效率低下、人工成本上升。飞针检测是按照设计图纸检测焊点之间的连通性，是一种物理检测方法。它用探针来取代针床，使用多个由马达驱动的、能够快速移动的电气探针同器件的引脚进行接触并进行电气测量。飞针检测测试时间长，并且可能对PCB造成损伤，精度和适应范围受限。
[0005]利用人工智能方法进行自动检测是当前工业智造的发展趋势，它不仅可以改进复杂的检测设备，也可以将工人从生产线的机械劳动中解放出来，将劳动力用于其他更需要的地方，目前需要一种可以将PCB检测与人工智能结合的技术。

技术实现思路

[0006]本申请提供一种基于深度学习PCB缺陷两阶段检测方法，充分利用PCB的标准板的信息，利用深度学习的神经网络技术，进行PCB缺陷两阶段的检测，得到PCB待测板的缺陷检测结果，检测速度快，准确性高。
[0007]本申请第一方面实施例提供一种基于深度学习PCB缺陷两阶段检测方法，包括以下步骤：获取PCB标准板图片和PCB待测板图片；参考所述PCB标准板图片，构建检测所述PCB待测板缺陷的PCB缺陷检测浅层神经网络；基于所述PCB缺陷检测浅层神经网络，进行所述PCB待测板的缺陷特征提取、特征融合、PCB板特征的掩模，对所述PCB待测板的缺陷进行初步检测、分类和回归；基于所述PCB待测板图片的缺陷，利用预先构建的浅层分类和分级网络对所述PCB待测板的缺陷进行分类和分级，生成所述PCB待测板缺陷的初步检测结果；构建检测所述PCB待测板缺陷的PCB缺陷检测深层神经网络，基于所述PCB缺陷检测浅层神经网络初步检测的所述PCB待测板图片缺陷，学习和强化弱的特征，消除模型对部分视图信息
的过拟合，融合特征提取，精化PCB待测板缺陷的分类与分级，生成所述PCB待测板缺陷检测的最终结果。
[0008]可选地，在本申请的一个实施例中，构建检测所述PCB待测板缺陷的浅层神经网络，基于所述浅层神经网络，进行所述PCB待测板的缺陷特征提取、特征融合、PCB板特征的掩模，对所述PCB待测板的缺陷进行初步检测、分类和回归，包括：对所述PCB标准板图片和所述PCB待测板图片进行预处理，得到处理后的PCB标准板图片和PCB待测板图片；对CNN网络和FPN网络进行剪枝优化，利用优化的浅层CNN网络和浅层FPN网络，在不同层级进行预测，得到所述处理后的PCB标准板图片和PCB待测板图片的多尺度的缺陷检测框；基于所述处理后的PCB标准板图片和PCB待测板图片，经过网络卷积后，得到标准板特征图与待测板特征图并进行比较，提取网络学习特征差异信息；根据所述网络学习特征差异信息、PCB板的视觉信息融合得到PCB融合特征；利用CGA将所述待测板特征图与所述标准板特征图进行通道拼接，对拼接的特征图分组融合，再进行分组多层卷积，输出注意力掩膜；将所述CGA与所述注意力掩膜前特征交互，加入特征残差信息部分，输出掩膜后特征；利用PCB缺陷标注系统，对PCB图像分割，缺陷进行框选、收集，并按照国际PCB板分类和分级原则对PCB板缺陷的类型和级别进行标记，构建PCB缺陷特征库；利用PCB板特征掩膜模块和CNN分类分支模块，构建浅层PCB板缺陷分类网络；利用PCB板特征掩膜模块和CNN回归分支模块，构建浅层PCB板缺陷回归网络；利用PCB板特征融合掩膜模块和NCC差异修正模块，对特定的点与区域进行归一化互相关，计算出所述待测PCB板图像缺陷特征在模板图内的最大响应，输出异常注意力掩码；利用所述浅层PCB板缺陷分类网络和所述PCB缺陷特征库，初步识别所述待测PCB板图片中缺陷的类型；利用CNN分类分支模块、Center
‑
ness模块和HCL模块，增强前景和背景区域特征，改进缺陷稀疏分布且目标特征不明显的PCB检测，提升网络对前景和背景区域的置信度区分度；利用所述浅层PCB板缺陷回归网络、所述Center
‑
ness模块和所述HCL模块，预测所述待测PCB板的缺陷中心，并确定所述待测PCB板的缺陷的框及位置；利用所述PCB缺陷分类模块与所述HCL模块交互，然后与所述缺陷回归框模块信息融合；利用所述非最大值抑制模块和所述NCC差异修正模块交互，过滤PCB缺陷的冗余检测框，给出待测PCB板缺陷的疑似预判，确定所述PCB待测板图片在第一阶段网络检测的缺陷。
[0009]可选地，在本申请的一个实施例中，构建检测所述PCB待测板缺陷的PCB缺陷检测深层神经网络，基于所述PCB缺陷检测浅层神经网络检测的所述PCB待测板图片缺陷，学习和强化弱的特征，消除模型对部分视图信息的过拟合，融合特征提取，精化PCB待测板缺陷的分类与分级，生成所述PCB待测板缺陷检测的最终结果，包括：利用所述PCB缺陷检测深层神经网络，将第一阶段网络检测的缺陷特征与所述PCB标准板特征和所述PCB待测板特征融合，提取所述PCB待测板的缺陷特征；利用DropMax模块提取网络多视图综合信息，学习和增强PCB缺陷的特征，消除模型对部分视图信息的过拟合；利用融合特征提取模块和DropMax模块，对融合后PCB特征使用全连接网络进一步提取PCB缺陷的精细化特征；利用所述融合特征提取模块和PCB缺陷分类模块，构建PCB板缺陷的深层分类网络；利用所述PCB缺陷分类层深层网络和分类Loss模块，对PCB板缺陷进行分类训练；利用所述融合特征提取模块和归一化模块，对PCB缺陷特征生成检索特征；利用PCB缺陷分类层深层网络训练的PCB缺陷精细分类和缺陷特征检索，对待测PCB板检测的缺陷精细分类，并与所述PCB缺陷分类特征库进行比对，得到待测PCB板缺陷识别和分类排序结果；利用所述PCB缺陷分级特征库，对识别的
待测PCB板的每一类型缺陷的严重程度进行分级标注，并与所述PCB缺陷分级特征库进行比对，得到待测PCB板检测缺陷的不同级别；利用第二阶段PCB缺陷检测深层神经网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习PCB缺陷两阶段检测方法，其特征在于，包括以下步骤：获取PCB标准板图片和PCB待测板图片；参考所述PCB标准板图片，构建检测所述PCB待测板缺陷的PCB缺陷检测浅层神经网络；基于所述PCB缺陷检测浅层神经网络，进行所述PCB待测板的缺陷特征提取、特征融合、PCB板特征的掩模，对所述PCB待测板的缺陷进行初步检测、分类和回归；基于所述PCB待测板图片的缺陷，利用预先构建的浅层分类和分级网络对所述PCB待测板的缺陷进行分类和分级，生成所述PCB待测板缺陷的初步检测结果；构建检测所述PCB待测板缺陷的PCB缺陷检测深层神经网络，基于所述PCB缺陷检测浅层神经网络初步检测的所述PCB待测板图片缺陷，学习和强化弱的特征，消除模型对部分视图信息的过拟合，融合特征提取，精化PCB待测板缺陷的分类与分级，生成所述PCB待测板缺陷检测的最终结果。2.根据权利要求1所述的方法，其特征在于，构建检测所述PCB待测板缺陷的浅层神经网络，基于所述浅层神经网络，进行所述PCB待测板的缺陷特征提取、特征融合、PCB板特征的掩模，对所述PCB待测板的缺陷进行初步检测、分类和回归，包括：对所述PCB标准板图片和所述PCB待测板图片进行预处理，得到处理后的PCB标准板图片和PCB待测板图片；对CNN网络和FPN网络进行剪枝优化，利用优化的浅层CNN网络和浅层FPN网络，在不同层级进行预测，得到所述处理后的PCB标准板图片和PCB待测板图片的多尺度的缺陷检测框；基于所述处理后的PCB标准板图片和PCB待测板图片，经过网络卷积后，得到标准板特征图与待测板特征图并进行比较，提取网络学习特征差异信息；根据所述网络学习特征差异信息、PCB板的视觉信息融合得到PCB融合特征；利用CGA将所述待测板特征图与所述标准板特征图进行通道拼接，对拼接的特征图分组融合，再进行分组多层卷积，输出注意力掩膜；将所述CGA与所述注意力掩膜前特征交互，加入特征残差信息部分，输出掩膜后特征；利用PCB缺陷标注系统，对PCB图像分割，缺陷进行框选、收集，并按照国际PCB板分类和分级原则对PCB板缺陷的类型和级别进行标记，构建PCB缺陷特征库；利用PCB板特征掩膜模块和CNN分类分支模块，构建浅层PCB板缺陷分类网络；利用PCB板特征掩膜模块和CNN回归分支模块，构建浅层PCB板缺陷回归网络；利用PCB板特征融合掩膜模块和NCC差异修正模块，对特定的点与区域进行归一化互相关，计算出所述待测PCB板图像缺陷特征在模板图内的最大响应，输出异常注意力掩码；利用所述浅层PCB板缺陷分类网络和所述PCB缺陷特征库，初步识别所述待测PCB板图片中缺陷的类型；利用CNN分类分支模块、Center
‑
ness模块和HCL模块，增强前景和背景区域特征，改进缺陷稀疏分布且目标特征不明显的PCB检测，提升网络对前景和背景区域的置信度区分度；利用所述浅层PCB板缺陷回归网络、所述Center
‑
ness模块和所述HCL模块，预测所述待测PCB板的缺陷中心，并确定所述待测PCB板的缺陷的框及位置；利用所述PCB缺陷分类模块与所述HCL模块交互，然后与所述缺陷回归框模块信息融合；
利用非最大值抑制模块和所述NCC差异修正模块交互，过滤PCB缺陷的冗余检测框，给出待测PCB板缺陷的疑似预判，确定所述PCB待测板图片在第一阶段网络检测的缺陷。3.根据权利要求2所述的方法，其特征在于，构建检测所述PCB待测板缺陷的PCB缺陷检测深层神经网络，基于所述PCB缺陷检测浅层神经网络检测的所述PCB待测板图片缺陷，学习和强化弱的特征，消除模型对部分视图信息的过拟合，融合特征提取，精化PCB待测板缺陷的分类与分级，生成所述PCB待测板缺陷检测的最终结果，包括：利用所述PCB缺陷检测深层神经网络，将第一阶段网络检测的缺陷特征与所述PCB标准板特征和所述PCB待测板特征融合，提取所述PCB待测板的缺陷特征；利用DropMax模块提取网络多视图综合信息，学习和增强PCB缺陷的特征，消除模型对部分视图信息的过拟合；利用融合特征提取模块和DropMax模块，对融合后PCB特征使用全连接网络进一步提取PCB缺陷的精细化特征；利用所述融合特征提取模块和PCB缺陷分类模块，构建PCB板缺陷的深层分类网络；利用所述PCB缺陷分类层深层网络和分类Loss模块，对PCB板缺陷进行分类训练；利用所述融合特征提取模块和归一化模块，对PCB缺陷特征生成检索特征；利用PCB缺陷分类层深层网络训练的PCB缺陷精细分类和缺陷特征检索，对待测PCB板检测的缺陷精细分类，并与所述PCB缺陷分类特征库进行比对，得到待测PCB板缺陷识别和分类排序结果；利用所述PCB缺陷分级特征库，对识别的待测PCB板的每一类型缺陷的严重程度进行分级标注，并与所述PCB缺陷分级特征库进行比对，得到待测PCB板检测缺陷的不同级别；利用第二阶段PCB缺陷检测深层神经网络对待测PCB板的缺陷进行精细的缺陷分类和分级，得到所述PCB待测板检测缺陷的类型和缺陷的级别。4.一种基于深度学习的PCB缺陷检测装置，其特征在于，包括：获取组件，用于获取PCB标准板图片和PCB待测板图片；第一检测组件，用...

【专利技术属性】
技术研发人员：罗贵明，黄正跃，
申请(专利权)人：清华大学，
类型：发明
国别省市：