基于信息熵卷积神经网络的芯片表面缺陷识别方法技术

本发明专利技术涉及图像处理技术，一种基于信息熵卷积神经网络的芯片表面缺陷识别方法，构建数据集：利用芯片生产工艺获得芯片所属的预设类别，利用可见光成像设备拍照采集芯片样本晶圆表面的光学图像，以构建数据集，划分训练集和测试集，构建卷积神经网络初始模型并训练：将训练集的图像输入卷积神经网络初始模型中，以交叉熵损失函数作为优化目标进行训练，以获得卷积神经网络中间模型，构建信息熵卷积神经网络初始模型，训练信息熵卷积神经网络初始模型，芯片表面缺陷识别：将所属数据集中的测试集的图像输入信息熵卷积神经网络最终模型中，由输出层输出识别结果，以此方式完成芯片表面缺陷识别。缺陷识别。缺陷识别。

【技术实现步骤摘要】
基于信息熵卷积神经网络的芯片表面缺陷识别方法


[0001]本专利技术涉及图像处理技术，具体涉及一种基于信息熵卷积神经网络的芯片表面缺陷识别方法。

技术介绍

[0002]芯片表面缺陷识别对于控制其产能和其产品质量至关重要。利用卷积神经网络对芯片表面光学图像进行处理替代传统生产工艺中的芯片性能测试可以提高芯片表面缺陷识别的效率。
[0003]然而卷积神经网络的性能严重依赖样本质量。受工业成本和工艺精度的影响，芯片表面光学图像分辨率低，缺陷特征不明显，可供模型学习的特征信息少；难以采集大量的缺陷样本，无缺陷样本数目远多于缺陷样本数目，误导模型学习方向。目前的卷积神经网络模型尚没有针对性解决芯片样本特征带来的影响。因此，研究设计一个新的卷积神经网络模型成为了本领域亟待解决的问题。

技术实现思路

[0004]为了解决现有技术的不足，本专利技术提供了一种基于信息熵卷积神经网络的芯片表面缺陷识别方法，具有识别精度高、速度快的优点，鲁棒性好，可用于芯片生产过程中识别表面具有缺陷的不合格芯片。
[0005]为了实现上述目的，本专利技术提出了一种基于信息熵卷积神经网络的芯片表面缺陷识别方法，其包括以下步骤：
[0006](1)构建数据集：利用芯片生产工艺获得芯片所属的预设类别，利用可见光成像设备拍照采集芯片样本晶圆表面的光学图像，以构建数据集，划分训练集和测试集：
[0007](2)构建卷积神经网络初始模型并训练：构建包括输入层、卷积层、下采样、激活层、全连接层和输出层的卷积神经网络初始模型，所述输入层、卷积层、下采样、激活层、全连接层和输出层依次设置，所述卷积层、下采样层和激活层均为多个，并且交替设置，将步骤(1)中构建的所属数据集的训练集的图像输入卷积神经网络初始模型中，以交叉熵损失函数作为优化目标进行训练，以获得卷积神经网络中间模型；
[0008](3)构建信息熵卷积神经网络初始模型：在步骤(2)获得的卷积神经网络中间模型的基础上，增加以信息熵为指导的特征融合模块，以信息熵为指导的特征融合模块包括确定引入的边缘信息和纹理信息，使用特征熵一致性选择待融合的特征和使用全局注意力机制进行特征融合，特征熵一致性是特征图信息熵的方差，构建信息熵卷积神经网络的初始模型；
[0009](4)训练信息熵卷积神经网络初始模型：将步骤(1)中构建的所属数据集中的训练集的图像输入步骤(3)构建的信息熵卷积神经网络初始模型中，以梯度加权的交叉熵损失函数为优化目标进行训练，以获得信息熵卷积神经网络最终模型；
[0010](5)芯片表面缺陷识别：将步骤(1)中构建的所属数据集中的测试集的图像输入步
骤(4)获得的信息熵卷积神经网络最终模型中，经过卷积层、下采样层、激活层、特征融合模块和全连接层完成图像的特征提取，由输出层输出识别结果，以此方式完成芯片表面缺陷识别。
[0011]利用可见光成像设备拍照采集芯片样本晶圆表面的光学图像获得待识别的图像，将待识别的图像输入步骤(4)获得的信息熵卷积神经网络最终模型中，经过卷积层、下采样层、激活层、特征融合模块和全连接层完成图像的特征提取，由输出层输出识别结果，以此方式完成芯片表面缺陷识别。
[0012]作为进一步优选的，步骤(1)中所述的预设类别包括如下两类：正常芯片和缺陷芯片。
[0013]作为进一步优选的，步骤(2)中所述的交叉熵损失函数具体为：对于总共有2个类别的数据集中的每个样本，i是2个类别中的其中一个，i＝0表示正常芯片类别，i＝1表示缺陷芯片类别，j为该样本真实类别，y为该样本的标签描述，当样本标签的第i个分量y
i
是该样本的真实标签时，其值取1，否则其值取0，即：
[0014][0015]样本输入模型得到特征描述符z，z
i
是特征描述符z的第i个分量，a是特征描述符z经过softmax函数后的结果，e是自然对数，a的第i个分量a
i
表示模型预测该样本属于i类别的类别置信度：
[0016][0017]单个样本的交叉熵损失loss
ce
计算为：
[0018][0019]作为进一步优选的，步骤(2)中所述将步骤(1)中构建的所属数据集中的训练集的图像输入卷积神经网络初始模型中，以交叉熵损失函数作为优化目标进行训练，以获得卷积神经网络中间模型具体为：
[0020]将训练集中的图像随机排序，并按照预设的批数分成多批；
[0021]将步骤(2)中构建的卷积神经网络初始模型的参数初始化，然后将训练集中的图像分批以此输入参数初始化后的卷积神经网络模型中，以交叉熵损失函数为优化目标进行迭代训练，迭代训练完毕后得到卷积神经网络最终模型。
[0022]作为进一步优选的，步骤(3)中所述确定引入的边缘信息和纹理信息，具体为：采用拉普拉斯算子和局部二值模式算子分别提取输入图像的边缘信息F
e
和纹理信息F
t
作为引入的边缘信息和纹理信息。
[0023]作为进一步优选的，步骤(3)中所述使用特征熵一致性选择待融合的特征，特征熵一致性是特征图信息熵的方差，具体为：
[0024]首先构造边缘信息F
e
和纹理信息F
t
的L+1层特征金字塔，L是步骤(2)所述的卷积神经网络初始模型中的下采样层数，高斯核K在边缘信息F
e
和纹理信息F
t
卷积后经过L次下采样pool(
·
)，以获得F
e
和F
t
在特征金字塔中任意层l(0≤l≤L)的特征和计算式，pool
l
(
·
)表示连续进行l次下采样：
[0025][0026]然后构建卷积神经网络特征列表List
cnn
和边缘与纹理信息的特征列表List
e，t
，卷积神经网络特征列表List
cnn
由所述步骤(2)中卷积神经网络中间模型的所有卷积层、下采样层和激活层共k层的层特征集合构成，即满足h
t
表示第t(0≤t≤k
‑
1)层的通道个数，第t层的层特征集合由该层的h
t
个通道提取到的特征图组合而成，既满足合而成，既满足表示第t层的第h(0≤h≤h
t
)通道的特征图，第t层的特征图具有相同的尺寸边缘与纹理信息的特征列表List
e，t
由边缘信息F
e
和纹理信息F
t
的L+1层特征金字塔中的所有层的层特征集合构成，即满足的L+1层特征金字塔中的所有层的层特征集合构成，即满足第l层的边缘与纹理信息层特征集合由该层对应的边缘信息和纹理信息的特征图组合而成，既满足边缘信息和纹理信息具有相同的尺寸
[0027]最后使用特征熵一致性从卷积神经网络特征列表List
cnn
和边缘与纹理信息的特征列表List
e，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于信息熵卷积神经网络的芯片表面缺陷识别方法，其特征在于，该方法包括以下：(1)构建数据集：利用芯片生产工艺获得芯片所属的预设类别，利用可见光成像设备拍照采集芯片样本晶圆表面的光学图像，以构建数据集，划分训练集和测试集：(2)构建卷积神经网络初始模型并训练：构建包括输入层、卷积层、下采样、激活层、全连接层和输出层的卷积神经网络初始模型，所述输入层、卷积层、下采样、激活层、全连接层和输出层依次设置，所述卷积层、下采样层和激活层均为多个，并且交替设置，将步骤(1)中构建的所属数据集的训练集的图像输入卷积神经网络初始模型中，以交叉熵损失函数作为优化目标进行训练，以获得卷积神经网络中间模型；(3)构建信息熵卷积神经网络初始模型：在步骤(2)获得的卷积神经网络中间模型的基础上，增加以信息熵为指导的特征融合模块，以信息熵为指导的特征融合模块包括确定引入的边缘信息和纹理信息，使用特征熵一致性选择待融合的特征和使用全局注意力机制进行特征融合，特征熵一致性是特征图信息熵的方差，构建信息熵卷积神经网络的初始模型；(4)训练信息熵卷积神经网络初始模型：将步骤(1)中构建的所属数据集中的训练集的图像输入步骤(3)构建的信息熵卷积神经网络初始模型中，以梯度加权的交叉熵损失函数为优化目标进行训练，以获得信息熵卷积神经网络最终模型；(5)芯片表面缺陷识别：将步骤(1)中构建的所属数据集中的测试集的图像输入步骤(4)获得的信息熵卷积神经网络最终模型中，经过卷积层、下采样层、激活层、特征融合模块和全连接层完成图像的特征提取，由输出层输出识别结果，以此方式完成芯片表面缺陷识别。2.如权利要求1所述的基于信息熵卷积神经网络的芯片表面缺陷识别方法，其特征在于：步骤(1)中所述预设类别包括如下两类：正常芯片和缺陷芯片。3.如权利要求1所述的基于信息熵卷积神经网络的芯片表面缺陷识别方法，其特征在于：步骤(2)中所述交叉损失函数具体为：对于总共有2个类别的数据集中的每个样本，i是2个类别中的其中一个，i＝0表示正常芯片类别，i＝1表示缺陷芯片类别，j为该样本真实类别，y为该样本的标签描述，当样本标签的第i个分量y
i
是该样本的真实标签时,其值取1，否则其值取0，即：样本输入模型得到特征描述符z，z
i
是特征描述符z的第i个分量，a是特征描述符z经过softmax函数后的结果，e是自然对数，a的第i个分量a
i
表示模型预测该样本属于i类别的类别置信度：单个样本的交叉熵损失loss
ce
计算为：4.如权利要求1所述的基于信息熵卷积神经网络的芯片表面缺陷识别方法，其特征在于：步骤(2)中所述将步骤(1)中构建的所属数据集中的训练集图像输入卷积神经网络初始
0≤l≤L计算特征集合和中共h
t
+2个的特征图的信息熵和平均信息熵并计算这些特征图之间的特征熵一致性Ec：记录特征组及其对应的特征熵一致性，以获得具有最优(最小)特征熵一致性的特征集合组G<...

【专利技术属性】
技术研发人员：褚洁，王宇翔，张呈恺，温凯林，李天红，孔亮，张靖晨，蔡觉平，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：