一种SMT缺陷检测方法、系统技术方案

本发明专利技术涉及缺陷检测技术领域，公开了一种SMT缺陷检测方法、系统，通过缺陷检测模型对贴片元件的待测图像进行缺陷检测，得到缺陷检测结果；缺陷检测模型的训练过程包括：将贴片元件的模板图像与待测图像组成贴片元件样本；将贴片元件样本输入到两个相同的编码器网络中，得到深度特征，进而得到语义差异映射特征；语义差异映射特征与深度特征融合后，将得到的融合特征送入解码器网络进行缺陷分割，得到缺陷检测结果；通过损失函数对缺陷检测模型进行训练；本发明专利技术通过融合人的先验知识揭示检测数据的表示特征和统计规律，构建融合数据驱动与知识引导的有限监督标签检测模型，实现不完全标签样本条件下SMT缺陷的精准高效检测。签样本条件下SMT缺陷的精准高效检测。签样本条件下SMT缺陷的精准高效检测。

【技术实现步骤摘要】
一种SMT缺陷检测方法、系统


[0001]本专利技术涉及缺陷检测
，具体涉及一种SMT缺陷检测方法、系统。

技术介绍

[0002]在智能制造的大背景下，电子行业中的表面贴装技术（Surface Mounted Technology，简称SMT）成为一个重点关注对象。SMT是一种通过一定的工艺、材料将贴片元件贴装在印刷电路板（Printed Circuit Board，简称PCB）上的电子组装技术，是现代电子产品制造中的关键工艺技术之一。推进SMT生产线智能化发展，对企业提高其竞争力水平具有至关重要的作用。在元件贴装环节，电子贴片元件通过锡膏焊接在PCB板上后，需要对元件贴片的质量进行检测，如检查是否有立碑、位移、空焊等缺陷。检查这些缺陷是SMT生产线中非常重要的一步，因为电子元件的正确安装对主板功能有着至关重要的影响，甚至一个零件的缺失都会影响整个主板的使用。现有的工业缺陷检测主要分为人工目检和自动化光学检测（Automated Optical Inspection，简称AOI）。AOI的出现降低了很多场景下的人工目检成本，但AOI误检率很高，例如在某知名消费电子生产制造企业的实际产线上，有高达60%的贴片元件需要进行人工复检，而经过人工检查后实际有缺陷的贴片元件只占AOI检测出有缺陷贴片元件数量的2%。所以在检测精度要求较高的SMT产线中，行业内普遍采取二者联合的检验方式，即经过AOI检测之后，进行人工复判。由于SMT产线中的贴片缺陷通常较为微小，人工的复判常常会因为疲劳等因素，导致再次漏检，并且人工复判的平均处理时间为15秒/件/人，无法满足高速生产的现代化产线的要求。所以，如何提高自动贴片元件的检测效率，降低人工成本，成为SMT元件贴装环节主要的研究方向和目的。
[0003]近年来，人工智能技术与先进制造技术深度融合，成为新一轮工业革命的核心驱动力。随着大数据和高性能计算智能技术的快速发展，深度学习在计算机视觉，自然语言处理以及模式识别等领域取得重大进展。但是，以深度学习为代表的人工智能方法在持续泛化性、透明可信度和稳定可靠性方面还存在有明显不足，还无法应对制造业智能化升级过程中“由部分阶段性的经验性评估到可持续运行的数字化分析”、“由过程不可知的黑箱式设计到操作可解释的透明化决策”、“由可见性故障的响应式处理到潜在性风险的预测性维护”等方面的严峻挑战。

技术实现思路

[0004]为解决上述技术问题，本专利技术提供一种SMT缺陷检测方法、系统。
[0005]为解决上述技术问题，本专利技术采用如下技术方案：一种SMT缺陷检测方法，通过完成训练的缺陷检测模型对贴片元件的待测图像进行缺陷检测，得到缺陷检测结果；缺陷检测模型包括两个相同的编码器网络，以及解码器网络；缺陷检测模型的训练过程，包括以下步骤：步骤一：将贴片元件的模板图像与贴片元件的待测图像组成贴片元件样本，并根据贴片元件样本中的两个图像的类型，为贴片元件样本设置标签；
步骤二：将贴片元件样本中的两个图像分别输入到两个相同的编码器网络中，得到模板图像的深度特征、待测图像的深度特征，并得到模板图像和待测图像的语义差异映射特征；步骤三：语义差异映射特征与深度特征融合，将得到的融合特征F送入解码器网络进行缺陷分割，输出待测图像的缺陷检测结果；步骤四：通过损失函数对缺陷检测模型进行训练：；其中表示第i个贴片元件样本，为第i个贴片元件样本的标签，N为贴片元件样本的个数，、为常量，为特征空间距离阈值，为第i个贴片元件样本的语义差异映射特征。
[0006]具体地，步骤一中，从贴片元件的模板图像集中随机选择一张模板图像，与从贴片元件的待测图像集中随机选择的一张待测图像，组成贴片元件样本；如果贴片元件样本中两个图像对应的贴片元件属于同一类别，标签设置为0；如果贴片元件样本中两个图像对应的贴片元件不属于同一类别，标签设置为1。
[0007]具体地，步骤二具体包括：设置两个相同编码器网络，每个编码器网络包括四层卷积层，通过编码器网络分别提取模板图像的深度特征、待测图像的深度特征；通过对深度特征、应用一个相关操作模块，得到模板图像和待测图像的语义差异映射：；、分别为、的第i个特征维度，n为、的特征维度总数。
[0008]具体地，步骤三中，输出待测图像的缺陷检测结果时，通过待测图像与模板图像的相似概率判断缺陷检测结果，当相似概率大于阈值时，待测图像对应的贴片元件无缺陷。
[0009]一种SMT缺陷检测系统，通过完成训练的缺陷检测模型对贴片元件的待测图像进行缺陷检测，得到缺陷检测结果；缺陷检测模型包括两个相同的编码器网络，以及解码器网络；通过以下模块对缺陷检测模型进行训练：样本生成模块，将贴片元件的模板图像与贴片元件的待测图像组成贴片元件样本，并根据贴片元件样本中的两个图像的类型，为贴片元件样本设置标签；编码模块，将贴片元件样本中的两个图像分别输入到两个相同的编码器网络中，得到模板图像的深度特征、待测图像的深度特征，并得到模板图像和待测图像的语义差异映射特征；缺陷检测模块，将语义差异映射特征与深度特征融合，将得到的融合特征F送入解码器网络进行缺陷分割，输出待测图像的缺陷检测结果；训练模块，通过损失函数对缺陷检测模型进行训练：；
其中表示第i个贴片元件样本，Y为第i个贴片元件样本的标签，N为贴片元件样本的个数，、为常量，为特征空间距离阈值。
[0010]与现有技术相比，本专利技术的有益技术效果是：本专利技术通过融合人的先验知识揭示检测数据的表示特征和统计规律，构建融合数据驱动与知识引导的有限监督标签检测模型，实现不完全标签样本条件下SMT缺陷的精准高效检测。
附图说明
[0011]图1为本专利技术方法网络模型示意图。
具体实施方式
[0012]下面结合附图对本专利技术的一种优选实施方式作详细的说明。
[0013]本专利技术中的SMT缺陷检测方法，包括以下步骤：步骤一、将贴片元件的模板图像与贴片元件的待测图像组成贴片元件样本，并根据贴片元件样本中的两个图像的类型，为贴片元件样本设置标签。
[0014]具体地，从贴片元件的模板图像集中随机选择一张模板图像，与从贴片元件的待测图像集中随机选择的一张待测图像，组成贴片元件样本；如果贴片元件样本中两个图像对应的贴片元件属于同一类别，标签设置为0；如果贴片元件样本中两个图像对应的贴片元件不属于同一类别，标签设置为1。
[0015]每一张待测图像都可以与一张模板图像配对组成一个训练样本，所以这种方式能够大幅地增长训练样本的数据量。
[0016]步骤二：将贴片元件样本中的两个图像分别输入到两个相同的编码器网络中，得到模板图像的深度特征、待测图像的深度特征，并得到模板图像和待测图像的语义差异映射特征，具体步骤如下：S21：设计两个相同的编码器网络Encoder，每个编码器网络Encoder包含四层卷积层Conv0、Conv1、Conv2、Conv3。通过卷积等操作分别从模板图像和待测图像中提取深度特征、。
[0017]S22：通过对提取的深度特征、应用一个相本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种SMT缺陷检测方法，通过完成训练的缺陷检测模型对贴片元件的待测图像进行缺陷检测，得到缺陷检测结果；缺陷检测模型包括两个相同的编码器网络，以及解码器网络；缺陷检测模型的训练过程，包括以下步骤：步骤一：将贴片元件的模板图像与贴片元件的待测图像组成贴片元件样本，并根据贴片元件样本中的两个图像的类型，为贴片元件样本设置标签；步骤二：将贴片元件样本中的两个图像分别输入到两个相同的编码器网络中，得到模板图像的深度特征、待测图像的深度特征，并得到模板图像和待测图像的语义差异映射特征；步骤三：语义差异映射特征与深度特征融合，将得到的融合特征F送入解码器网络进行缺陷分割，输出待测图像的缺陷检测结果；步骤四：通过损失函数对缺陷检测模型进行训练：；其中表示第i个贴片元件样本，为第i个贴片元件样本的标签，N为贴片元件样本的个数，、为常量，为特征空间距离阈值，为第i个贴片元件样本的语义差异映射特征。2.根据权利要求1所述的SMT缺陷检测方法，其特征在于：步骤一中，从贴片元件的模板图像集中随机选择一张模板图像，与从贴片元件的待测图像集中随机选择的一张待测图像，组成贴片元件样本；如果贴片元件样本中两个图像对应的贴片元件属于同一类别，标签设置为0；如果贴片元件样本中两个图像对应的贴片元件不属于同一类别，标签设置为1。3.根据权利要求1所述的SMT缺陷检测方法，其特征在于，步骤二具体包括：设置两个相同编码器网络，每个编码器...

【专利技术属性】
技术研发人员：许镇义，康宇，柏鹏，曹洋，胡峰，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：