一种生产线芯片爬胶高度在线监控方法和系统技术方案

一种生产线芯片爬胶高度在线监控方法，包括：采集同一时刻四个方向的爬胶图像；将图像数据集的图像进行图像预处理，将预处理后的爬胶图像进行人工标注；将预处理后的刻爬胶图像作为训练集输入生成式对抗网络，得到生成式对抗网络；将待检测的图像输入优化后的生成式对抗网络得到预测硅胶边框；对由生成式对抗网络预测得到的硅胶区域预测框内的区域，由Canny算子提取硅胶边界；计算经由Canny算子提取的硅胶区域边界上任意两像素点间的距离，获取芯片爬胶高度；比较获取的爬胶高度与经验总结的该芯片贴合时的爬胶高度极限值，输出信号及时调节机械臂。本发明专利技术相比于现有技术，具有更精确、不易疲劳的优点，节省人力减少损耗和降低成本的优点。成本的优点。成本的优点。

【技术实现步骤摘要】
一种生产线芯片爬胶高度在线监控方法和系统


[0001]本专利技术涉及的是芯片生产测量领域,特别涉及一种生产线芯片爬胶高度在线监控方法和系统。

技术介绍

[0002]芯片生产过程中贴合时的爬胶高度是芯片质量高低的重要评判指标之一。根据一线生产工人的经验可知，芯片的爬胶高度可以由爬胶轮廓线与芯片底座边线的最大距离来确定，控制好适宜的爬胶高度对于芯片质量意义重大。传统的利用肉眼观察或者普通光学设备观察爬胶高度的方法存在费时费力的情况，目前已经不合时宜。基于人工智能的图像处理具有高精度、低延时的优点，可以将其应用于芯片爬胶高度的实时监测中，同时依靠监测结果实时调控机械臂进而控制适宜的爬胶高度。

技术实现思路

[0003]鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种生产线芯片爬胶高度在线监控方法和系统。
[0004]为了解决上述技术问题，本申请实施例公开了如下技术方案：
[0005]一种生产线芯片爬胶高度在线监控方法，包括：
[0006]S100.爬胶图像捕捉单元采集同一时刻四个方向的爬胶图像，并传输至图像处理系统构建图像数据集；
[0007]S200.将图像数据集中每个方位每个采集时刻的图像进行图像预处理，得到预处理后的每个方位每个采集时刻的爬胶图像，将预处理后的每个方位每个采集时刻的爬胶图像进行人工标注，得到每个方位每个采集时刻对应的爬胶图像的硅胶边框；
[0008]S300.将S200预处理后的每个方位每个采集时刻爬胶图像作为训练集输入生成式对抗网络，将每个方位的图像对应的硅胶边框作为图像标签，进一步结合生成式对抗网络预测的硅胶边框构建生成式对抗网络的损失函数模型，进一步对网络优化训练后，得到生成式对抗网络；
[0009]S400.将待检测的图像输入优化后的生成式对抗网络得到预测硅胶边框；
[0010]S500.对由生成式对抗网络预测得到的硅胶区域预测框内的区域，由Canny算子提取硅胶边界；
[0011]S600.计算经由Canny算子提取的硅胶区域边界上任意两像素点间的距离，取距离为最大值的两像素点确定芯片侧面底边线的位置，计算此边界上任意两像素点间的距离，取最大值为芯片爬胶高度；
[0012]S700.比较爬胶高度与经验总结所得的该种芯片贴合时的爬胶高度极限值对比，若小于该极限值，则输出信号令芯片贴合机器的机械臂继续下压，贴合过程继续，同时若发现四边的爬胶高度出现倾斜现象，则输出信号及时调节机械臂方位使之对正；反之，则输出信号令芯片贴合机器的机械臂停止下压，贴合过程停止。
[0013]进一步的，S100中，图像数据集为：
[0014]picture
k,d
(i,j)
[0015]k∈[1,K],d∈[1,D],i∈[1,M],j∈[1,N][0016]其中，picture
k,d
为第k个采集时刻第d个方位采集的图像，picture
k,d
(i,j)为第k个采集时刻第d个方位采集的图像上第i行第j列的像素，K＝1500为采集时刻的数量，D＝4为方位的数量，M＝1080为图像像素行的数量，N＝2160为图像像素列的数量。
[0017]进一步的，S200中，图像预处理具体为：图像预处理系统对每个方位每个采集时刻的爬胶图像进行灰度化处理、平滑滤波；具体的，灰度化处理，即将每个方位每个采集时刻的爬胶图像转化为每个方位每个采集时刻的灰度图像；平滑滤波，即消除每个方位每个采集时刻的灰度图像中的干扰噪声，得到预处理后的每个方位每个采集时刻的爬胶图像。
[0018]进一步的，S200中，预处理后的每个方位每个采集时刻的爬胶图像为：
[0019]Climbing
‑
glue
k,d
(i,j)
[0020]k∈[1,K],d∈[1,D],i∈[1,M],j∈[1,N][0021]其中，Climbing
‑
glue
k,d
为第k个采集时刻第d个方位采集的图像，Climbing
‑
glue
k,d
(i,j)为第k个采集时刻第d个方位采集的灰度图像上第i行第j列的像素，K＝1500为采集时刻的数量，D＝4为方位的数量，M＝1080为图像像素行的数量，N＝2160为图像像素列的数量。
[0022]进一步的，S200中，经由人工标注得到的每个方位每个采集时刻的爬胶图像对应的硅胶边框定义为：
[0023]RG
‑
gjbk
k,d
＝(RG
‑
gjbk
k,d,l,b
,RG
‑
gjbk
k,d,r,t
)
[0024]RG
‑
gjbk
k,d,l,b
＝(X
k,d,l,b
，Y
k,d,l,b
)
[0025]RG
‑
gjbk
k,d,r,t
＝(X
k,d,r,t
，Y
k,d,r,t
)
[0026]k∈[1,K],d∈[1,D][0027]其中，RG
‑
gjbk
k,d
为第k个采集时刻第d个方位的人工标记硅胶边框线，K＝1500为采集时刻的数量，D＝4为方位的数量；RG
‑
gjbk
k,d,l,b
为人工标记硅胶边框的左下角像素点，X
k,d,l,b
为人工标记硅胶边框的左下角像素点的横坐标，Y
k,d,l,b
为人工标记硅胶边框的左下角像素点的纵坐标；RG
‑
gjbk
k,d,r,t
为人工标记硅胶边框的右上角像素点，X
k,d,r,t
为人工标记硅胶边框的右上角像素点的横坐标，Y
k,d,r,t
为人工标记硅胶边框的右上角像素点的纵坐标；人工标记硅胶边框是由左下角与右上角两像素点确定的矩形边框。
[0028]进一步的，S300中，生成式对抗网络由生成器模块和判断器模块级联组成；其中，生成器模块由输入层、噪化层依次级联构成；具体的，输入层将第k个采集时刻的芯片爬胶图像即picture
k,d
(i,j)通过均值零化、方差归一化方法，将得到第k个采集时刻的标准化图像输出至噪化层；噪化层对标准化图像给予3
×
3区域内的像素进行3
×
3，步长取3的最大噪化运算，构成特征图(M4×
M4×
C4)；判别器模块由降噪层、softmax层级联构成；其中，降噪层对特征图(M4×
M4×
C4)进行横向、纵向叠加运算，在噪化图像中心位置3
×
3，步长取1的上采样，扩大图像维度，还原输入的特征对应的图像，3...

【技术保护点】

【技术特征摘要】
1.一种生产线芯片爬胶高度在线监控方法，其特征在于，包括：S100.爬胶图像捕捉单元采集同一时刻四个方向的爬胶图像，并传输至图像处理系统构建图像数据集；S200.将图像数据集中每个方位每个采集时刻的图像进行图像预处理，得到预处理后的每个方位每个采集时刻的爬胶图像，将预处理后的每个方位每个采集时刻的爬胶图像进行人工标注，得到每个方位每个采集时刻对应的爬胶图像的硅胶边框；S300.将S200预处理后的每个方位每个采集时刻爬胶图像作为训练集输入生成式对抗网络，将每个方位的图像对应的硅胶边框作为图像标签，进一步结合生成式对抗网络预测的硅胶边框构建生成式对抗网络的损失函数模型，进一步对网络优化训练后，得到生成式对抗网络；S400.将待检测的图像输入优化后的生成式对抗网络得到预测硅胶边框；S500.对由生成式对抗网络预测得到的硅胶区域预测框内的区域，由Canny算子提取硅胶边界；S600.计算经由Canny算子提取的硅胶区域边界上任意两像素点间的距离，取距离为最大值的两像素点确定芯片侧面底边线的位置，计算此边界上任意两像素点间的距离，取最大值为芯片爬胶高度；S700.比较爬胶高度与经验总结所得的该种芯片贴合时的爬胶高度极限值对比，若小于该极限值，则输出信号令芯片贴合机器的机械臂继续下压，贴合过程继续，同时若发现四边的爬胶高度出现倾斜现象，则输出信号及时调节机械臂方位使之对正；反之，则输出信号令芯片贴合机器的机械臂停止下压，贴合过程停止。2.如权利要求1所述的一种生产线芯片爬胶高度在线监控方法，其特征在于，S100中，图像数据集为：picture
k,d
(i,j)k∈[1,K],d∈[1,D],i∈[1,M],j∈[1,N]其中，picture
k,d
为第k个采集时刻第d个方位采集的图像，picture
k,d
(i,j)为第k个采集时刻第d个方位采集的图像上第i行第j列的像素，K＝1500为采集时刻的数量，D＝4为方位的数量，M＝1080为图像像素行的数量，N＝2160为图像像素列的数量。3.如权利要求1所述的一种生产线芯片爬胶高度在线监控方法，其特征在于，S200中，图像预处理具体为：图像预处理系统对每个方位每个采集时刻的爬胶图像进行灰度化处理、平滑滤波；具体的，灰度化处理，即将每个方位每个采集时刻的爬胶图像转化为每个方位每个采集时刻的灰度图像；平滑滤波，即消除每个方位每个采集时刻的灰度图像中的干扰噪声，得到预处理后的每个方位每个采集时刻的爬胶图像。4.如权利要求1所述的一种生产线芯片爬胶高度在线监控方法，其特征在于，S200中，预处理后的每个方位每个采集时刻的爬胶图像为：Climbing
‑
glue
k,d
(i,j)k∈[1,K],d∈[1,D],i∈[1,M],j∈[1,N]其中，Climbing
‑
glue
k,d
为第k个采集时刻第d个方位采集的图像，Climbing
‑
glue
k,d
(i,j)为第k个采集时刻第d个方位采集的灰度图像上第i行第j列的像素，K＝1500为采集时刻的数量，D＝4为方位的数量，M＝1080为图像像素行的数量，N＝2160为图像像素列的数量。
5.如权利要求1所述的一种生产线芯片爬胶高度在线监控方法，其特征在于，S200中，经由人工标注得到的每个方位每个采集时刻的爬胶图像对应的硅胶边框定义为：RG
‑
gjbk
k,d
＝(RG
‑
gjbk
k,d,l,b
,RG
‑
gjbk
k,d,r,t
)RG
‑
gjbk
k,d,l,b
＝(X
k,d,l,b
，Y
k,d,l,b
)RG
‑
gjbk
k,d,r,t
＝(X
k,d,r,t
，Y
k,d,r,t
)k∈[1,K],d∈[1,D]其中，RG
‑
gjbk
k,d
为第k个采集时刻第d个方位的人工标记硅胶边框线，K＝1500为采集时刻的数量，D＝4为方位的数量；RG
‑
gjbk
k,d,l,b
为人工标记硅胶边框的左下角像素点，X
k,d,l,b
为人工标记硅胶边框的左下角像素点的横坐标，Y
k,d,l,b
为人工标记硅胶边框的左下角像素点的纵坐标；RG
‑
gjbk
k,d,r,t
为人工标记硅胶边框的右上角像素点，X
k,d,r,t
为人工标记硅胶边框的右上角像素点的横坐标，Y
k,d,r,t
为人工标记硅胶边框的右上角像素点的纵坐标；人工标记硅胶边框是由左下角与右上角两像素点确定的矩形边框。6.如权利要求1所述的一种生产线芯片爬胶高度在线监控方法，其特征在于，S300中，生成式对抗网络由生成器模块和判断器模块级联组成；其中，生成器模块由输入层、噪化层依次级联构成；具体的，输入层将第k个采集时刻的芯片爬胶图像即picture
k,d
(i,j)通过均值零化、方差归一化方法，将得到第k个采集时刻的标准化图像输出至噪化层；噪化层对标准化图像给予3
×
3区域内的像素进行3
×
3，步长取3的最大噪化运算，构成特征图(M4×
M4×
C4)；判别器模块由降噪层、softmax层级联构成；其中，降噪层对特征图(M4×
M4×
C4)进行横向、纵向叠加运算，在噪化图像中心位置3
×
3，步长取1的上采样，扩大图像维度，还原输入的特征对应的图像，3
×
3降噪核遍历整个输入特征图得到的所有输出值构成复原图img(M
×
M)；softmax层对输入的特征图的N个特征构建N
×
1的列向量矩阵，对各值网络输出指数运算后输出另一个N
×
1的矩阵，其中列向量各元素为softmax层判定所输入特征分属各类别的概率，从而获知是否是硅胶边界线和芯片侧面底边线的判定值。7.如权利要求6所述的一种生产线芯片爬胶高度在线监控方法，其特征在于，softmax层内的soft_max函数计算类别θ的概率值φ
θ
定义如下：其中为要计算的类别θ的网络输出的指数，分母上为网络输出的所有类别的指数之和，一共α＝2个类别，α0指硅胶边框不存在，判定值为0，α1指硅胶边框存在，判定值为1；以此得到类别θ的概率值。8.如权利要求1所述的一种生产线芯片爬胶高度在线监控方法，其特征在于，S300中，经由生成器生成的每个方位每个采集时刻的芯片爬胶图样对应的预测硅胶边框定义为：YC
‑
gjbk
k,d
＝(YC
‑
gjbk
k,d,l,b
,YC
...

【专利技术属性】
技术研发人员：李辉，刘胜，张亿凯，岳浩文，申胜男，朱文康，
申请(专利权)人：岳阳珞佳智能科技有限公司，
类型：发明
国别省市：