一种电子元器件X射线检查缺陷自动识别方法技术

本发明专利技术公开了一种电子元器件X射线检查缺陷自动识别方法，该方法对X射线图像进行预处理；人工半自动或自动对样本进行标注，根据电子元器件的封装和缺陷形式，将待检测的电子元器件的缺陷类型分为空洞类缺陷、一致性缺陷和角度缺陷三大类。利用基于卷积神经网络的语义分割方法实现对四类空洞缺陷的检测。通过大量的样本对卷积神经网络进行训练，实现对各类空洞缺陷的精确分割，极大提高了缺陷自动识别效率。同时，通过灰度投影法对芯片焊接区及密封区等进行检测，根据相应的判别准则对其合格性进行判别。解决了以往无法进行自动计算和单纯靠人工进行判别的问题，以及混合集成电路中的基板与管壳焊接界面空洞的干扰问题。基板与管壳焊接界面空洞的干扰问题。基板与管壳焊接界面空洞的干扰问题。

【技术实现步骤摘要】
一种电子元器件X射线检查缺陷自动识别方法


[0001]本专利技术涉及电子元器件X射线检测缺陷自动识别
，尤其涉及一种电子元器件X射线检查缺陷自动识别方法。

技术介绍

[0002]军用电子元器件是国防军工电子系统的基础元件，主要包括半导体分立器件和集成电路等微电子器件以及继电器、传感器等特种器件。军用电子元器件是核、航空、航天、船舶、兵器、电子等信息系统的物质保证，其稳定性和可靠性直接影响信息系统的功能和性能指标。
[0003]军用电子元器件的封装缺陷是影响其质量的主要因素之一。X射线检查是一种无损检测元器件内部缺陷的手段，可以快速检查出键合、焊接、密封等封装过程中出现的缺陷，在元器件筛选、鉴定检验、DPA、失效分析中均要求进行X射线检查。X射线检测对电子元器件进行X射线成像，其图像能反映电子元器件的内部缺陷，目前的X射线检查主要依靠人工识别，由检测人员浏览X射线图像，根据检测标准进行人工判读、分析。然而，随着电子元器件加工制造水平的不断发展，电子元器件封装形式越来越多、封装密度也越来越高，电子元器件的检测数量和任务也日益增多，人工识别的速度和准确度已无法满足，这种人工判读分析方式受试验人员经验和身体状况等主观因素的影响，检测效率和可靠性低，元器件检测质量难以有效保证，给元器件的使用带来风险与隐患，已无法满足军用电子系统日益增加的需求。因此，需要借助计算机视觉检测技术，形成电子元器件X射线检查缺陷自动识别方法。
[0004]随着计算机视觉和人工智能技术的发展，基于深度学习的计算机视觉检测技术因其模拟人脑视觉的处理机制，具有自动学习样本特征的特点，在目标检测识别领域比其他传统方法有更大的性能优势，已经广泛应用于航空、航天、电子、医学、工业制造等各种领域。
[0005]针对电子元器件X射线检查缺陷自动识别需求，深入研究基于深度学习视觉检测技术的电子元器件X射线检查缺陷自动识别方法，是军工电子元器件质量检测的迫切需求。
[0006]目前，国内对于电子元器件进行的缺陷检测，主要集中在印制电路板(PCB板)焊点缺陷检测、贴装元器件检测以及SMT表面封装等进行的相关研究，关于元器件芯片图像的检测方法很少。

技术实现思路

[0007]鉴于上述问题，针对现有电子元器件缺陷检测技术所存在的局限性，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的电子元器件X射线检查缺陷自动识别方法，主要利用深度学习视觉检测技术，获得不同缺陷形式的电子元器件X射线缺陷自动检测方法，实现对于电子元器件不同缺陷形式的自动检测功能。
[0008]本专利技术提供一种电子元器件X射线检查缺陷自动识别方法，
[0009]该方法包括如下步骤，步骤一：对X射线图像进行去噪、增强预处理；
[0010]对采集的电子元器件X射线图像通过直方图均衡和灰度变换的方法进行对比度增强。
[0011]步骤二：人工半自动或自动对样本进行标注，包括元器件类型、缺陷类型和缺陷位置；
[0012]步骤三：根据电子元器件的封装和缺陷形式，对待检测的电子元器件存在的缺陷类型进行分类。待检测的电子元器件的缺陷类型分为空洞类缺陷、一致性缺陷和角度缺陷三大类。
[0013]步骤四：利用基于卷积神经网络的语义分割方法实现对步骤三中四类空洞缺陷的检测。
[0014]空洞类缺陷包括单层芯片焊接区空洞和多层混合集成电路的芯片焊接区空洞；对于单层芯片焊接区空洞，采用基于卷积神经网络算法进行空洞区域的分割，通过灰度投影法对芯片焊接区进行检测，并应用像素统计的方法分别自动计算空洞和区域和焊接区域的面积，最后通过面积比，根据判别准则对其合格性进行判别:焊接区空洞超过整个焊接面积的1/2；或单个空洞横向或纵向贯穿芯片焊接区且空洞面积超过芯片焊接区的10％时，判定为不合格。
[0015]对于多层混合集成电路的芯片焊接区空洞，通过多角度X光图像相结合排除基板与管壳焊接界面空洞的干扰。通过精确标注图像，训练面向焊接区空洞分割的网络，对于不同角度图像实现焊接区空洞的分割。根据不同层空洞在多角度图像上的位置关系，排除基板粘接层空洞的干扰，得到分割结果。分别沿垂直方向和左45
°
以及右45
°
倾斜角度拍摄芯片的X光图像，采用基于卷积神经网络的方法分别检测不同角度图像的空洞区域。对倾斜图像通过透视变换进行校正，并与垂直方向的图像进行匹配分析，根据不同层的空洞在多角度拍摄时的差异性排除基板与管壳焊接界面空洞，检测出真实的芯片与基板焊接区空洞，进而根据相关判别规则对芯片的合格性进行判别。芯片与基板焊接区空洞在不同角度成像结果间的位移更为显著，基板与管壳焊接界面空洞在各图上的位置则比较固定。
[0016]对于密封区空洞检测，采用基于卷积神经网络的算法进行空洞区域的分割，同时采用灰度映射进行密封区检测，分别自动计算空洞区域和密封区的宽度；根据相应的规则对芯片的合格性进行判断:空洞区宽度超过密封区宽度的75％时，判定为不合格。
[0017]对于焊球空洞检测，进行基于卷积神经网络的空洞分割，采用Robinson边缘检测的算法提取焊球的轮廓，并计算其直径。通过对比空洞直径与焊球直径，对每个焊球的合格性进行判别。当空洞的直径超过焊球直径的25％时，该焊球被判为不合格。
[0018]步骤五：利用基于卷积神经网络的配准方法实现一致性缺陷检测。
[0019]通过对比分析待检测元件与标准合格元件之间的一致性，实现一致性缺陷的检测和判别；采取基于卷积神经网络的图像配准方法来实现。首先为每一种封装的器件选择标准的合格品图像，进而将待检测图像与标准图像进行精确配准，当待检测元件存在多余物、键合丝断裂、元件错误安装缺陷时，该待检测图像与配准后的合格品图像间仍会存在较大差异。通过对比分析差异，实现对缺陷位置及其类型的有效检测。通过大量的样本对卷积神经网络进行训练，实现对各类一致性缺陷的精确检测。
[0020]步骤六：芯片安装倾斜与凹切缺陷的检测与识别。
[0021]检测过程首先根据输入图像的特征对芯片区域进行检测，进而采用Robinson算法进行边缘检测和提取，根据所提取的边缘信息对芯片的安装角度和凹切角度进行分析，最后根据相关判别准则进行判别和输出。该类缺陷的判别准则为：安装和键合的半导体芯片，相对于正常安装面的倾斜不超过10
°
。
[0022]在该类缺陷的判别过程中，芯片的检测是首要环节。由于芯片与周围区域的差异性较小，检测难度比较大。研究中拟首先通过灰度变换的方法对芯片区域进行增强，再以此为基础进行相应的检测和分析。
[0023]实现该方法的检测系统包括：空洞类缺陷检测单元、一致性缺陷检测单元和角度类缺陷检测单元。
[0024]所述空洞类缺陷检测单元，采用基于卷积神经网络的语义分割算法，基于DeeplabV3+基本架构设计，与传统分割算法相比，具有更强的通用性。传统方法往往需要针对每一类缺陷问题设计相应的分割算法，并根据经验设定相关参数。利用基于卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电子元器件X射线检查缺陷自动识别方法，其特征在于：该方法包括如下步骤，步骤一：对X射线图像进行去噪、增强预处理；对采集的电子元器件X射线图像通过直方图均衡和灰度变换的方法进行对比度增强；步骤二：人工半自动或自动对样本进行标注，包括元器件类型、缺陷类型和缺陷位置；步骤三：根据电子元器件的封装和缺陷形式，对待检测的电子元器件存在的缺陷类型进行分类；待检测的电子元器件的缺陷类型分为空洞类缺陷、一致性缺陷和角度缺陷三大类；步骤四：利用基于卷积神经网络的语义分割方法实现对步骤三中四类空洞缺陷的检测；步骤五：利用基于卷积神经网络的配准方法实现一致性缺陷检测；通过对比分析待检测元件与标准合格元件之间的一致性，实现一致性缺陷的检测和判别；采取基于卷积神经网络的图像配准方法来实现；步骤六：芯片安装倾斜与凹切缺陷的检测与识别；检测过程首先根据输入图像的特征对芯片区域进行检测，进而采用Robinson算法进行边缘检测和提取，根据所提取的边缘信息对芯片的安装角度和凹切角度进行分析，最后根据相关判别准则进行判别和输出；该类缺陷的判别准则为：安装和键合的半导体芯片，相对于正常安装面的倾斜不超过10
°
；在该类缺陷的判别过程中，通过灰度变换的方法对芯片区域进行增强，再以此为基础进行相应的检测和分析。2.根据权利要求1所述的一种电子元器件X射线检查缺陷自动识别方法，其特征在于：步骤四中，空洞类缺陷包括单层芯片焊接区空洞和多层混合集成电路的芯片焊接区空洞；对于单层芯片焊接区空洞，采用基于卷积神经网络算法进行空洞区域的分割，通过灰度投影法对芯片焊接区进行检测，并应用像素统计的方法分别自动计算空洞和区域和焊接区域的面积，最后通过面积比，根据判别准则对其合格性进行判别:焊接区空洞超过整个焊接面积的1/2；或单个空洞横向或纵向贯穿芯片焊接区且空洞面积超过芯片焊接区的10％时，判定为不合格；对于多层混合集成电路的芯片焊接区空洞，通过多角度X光图像相结合排除基板与管壳焊接界面空洞的干扰；通过精确标注图像，训练面向焊接区空洞分割的网络，对于不同角度图像实现焊接区空洞的分割；根据不同层空洞在多角度图像上的位置关系，排除基板粘接层空洞的干扰，得到分割结果；分别沿垂直方向和左45
°
以及右45
°
倾斜角度拍摄芯片的X光图像，采用基于卷积神经网络的方法分别检测不同角度图像的空洞区域；对倾斜图像通过透视变换进行校正，并与垂直方向的图像进行匹配分析，根据不同层的空洞在多角度拍摄时的差异性，排除基板与管壳焊接界面空洞，检测出真实的芯片与基板焊接区空洞，进而根据相关判别规则对芯片的合格性进行判别；芯片与基板焊接区空洞在不同角度成像结果间的位移，基板与管壳焊接界面空洞在各图上的位置固定；对于密封区空洞检测，采用基于卷积神经网络的算法进行空洞区域的分割，同时采用灰度映射进行密封区检测，分别自动计算空洞区域和密封区的宽度；根据相应的规则对芯片的合格性进行判断:空洞区宽度超过密封区宽度的75％时，判定为不合格；对于焊球空洞检测，进行基于卷积神经网络的空洞分割，采用Robinson边缘检测的算
法提取焊球的轮廓，并计算其直径；通过对比空洞直径与焊球直径，对每个焊球的合格性进行判别；当空洞的直径超过焊球直径的25％时，该焊球被判为不合格。3.根据权利要求1所述的...

【专利技术属性】
技术研发人员：黄东巍，王爽，王素玉，张玉芹，周钦沅，张宏宇，麻力，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：