半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及系统技术方案

本发明专利技术公开了一种半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及系统，方法包括：在固定区域中获取编带中的半导体芯片图像；对立体视觉测量系统中拍摄的图像进行特征提取和分析，通过提取芯片上每个管脚外侧的两个关键角点特征以及芯片表面特征点；对图像的管脚特征点以及芯片塑封体表面特征点进行特征匹配，实现像机坐标系下管脚特征点以及塑封体表面特征点的三维重建；通过计算每个管脚角点之间的三维几何尺寸及塑封体表面的三维特征点，可以实现对芯片管脚是否合格的检测。本发明专利技术的方法不仅可以计算芯片管脚的宽度距离、相邻管脚间隔距离以及管脚共面度，还可以实现管脚是否出现翘脚等常见故障检测。

【技术实现步骤摘要】
半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及系统
本专利技术属于芯片封装检测
，具体涉及一种基于双目立体视觉技术的半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及系统。
技术介绍
半导体芯片制造工艺中，包括利用膜技术及细微加工技术，将芯片及其他要素在框架或基板上布局，粘贴固定及连接，引出接线端子并通过可塑性绝缘介质灌封固定，构成整体立体结构的封装流程。随着半导体芯片检测技术的快速发展，当今市场对半导体芯片产品质量的要求也越来越高。计算机视觉技术的应用与推广，给当前芯片封装以及质量智能检测技术的提供了一种思路。其中，半导体芯片管脚关键几何尺寸的测量，包含管脚宽度距离、相邻管脚之间的间隔距离以及管脚的高度(有无出现翘脚、塌脚等故障)等关键尺寸，是当前芯片封装过程中亟需要解决的一个问题。在常见的解决方案中，通常是提取管脚关键特征点，求取特征点的像素坐标点信息，再利用像素的换算比例求得实际几何尺寸。这种方法需要准确知道像机每个像素代表的实际物理距离，对像机视野内平面目标之间的求解具有较好的效果。而在芯片实际封装过程中，编带中的芯片总有一些倾斜，造成上述方法求解有一定的误差。另外，上述方法不能度量像机视野内目标的深度方向的三维信息，而这又是芯片封装过程中一项重要的参数指标。
技术实现思路
技术目的：针对现有技术的不足，提出一种半导体芯片管脚关键三维几何尺寸的在线、高精度的视觉测量方法及系统，通过实时检测芯片封装过程中芯片管脚的宽度、高度以及共面度等三维信息，实现芯片产品质量的在线检测。技术方案：为实现上述技术目的，本专利技术采用了如下技术方案：一种半导体芯片管脚三维几何尺寸的在线精密视觉测量方法，其特征在于，芯片设有塑封表面和芯片引脚，包括步骤：S1、初始图像采集：由两台像机在同一时刻对传输到测量位置上的同一个芯片进行拍摄，分别得到左眼初始图像和右眼初始图像；两台像机均能拍摄到位于测量位置上芯片的完整图像；S2、特征点提取：对左眼初始图像和右眼初始图像分别进行预处理，截图各图像的感兴趣区域，得到对应的左眼图像和右眼图像；从左眼图像和右眼图像中提取出芯片管脚以及塑封表面特征点的坐标信息，塑封表面特征点包括字符；S3、特征点匹配及三维坐标获取：获取同一特征点P在同一时刻，在左眼图像和右眼图像上的两个坐标，求得两个坐标之间的视差关系，根据坐标及坐标之间的视差关系，求出特征点P在像机坐标系下的三维坐标；通过计算每个管脚角点之间的三维几何尺寸，计算出芯片管脚宽度以及相邻管脚之间的距离。优选地，还包括步骤：S4、判断芯片的管脚是否合格：对塑封体表面的三维特征点进行平面拟合，以塑封表面三维平面为基准面，分别求取芯片管脚的角点到基准面的三维几何距离，判断计算得到的三维几何距离是否在预设范围内，预进而判断芯片的管脚是否合格。优选地，所述两个像机设置于同一竖直位置上，步骤S3包括：S3.1、获取同一特征点P在左眼图像和右眼图像上的坐标，分别为：Pleft＝(Xleft,Yleft),Pright＝(Xright,Yright)；S3.2、当两个像机的图像在同一平面上时，则特征点P的图像坐标的Y坐标相同，则由几何关系得到：其中，B为基线距，即两个像机的投影中心连线的距离；S3.3、计算出特征点P在摄像机坐标系下的三维坐标为：其中，f为像机的焦距，Disparity＝Xleft-Xright；Disparity表示视差。优选地，所述步骤S4包括：S4.1、在双目立体视觉系统中，待测空间点记为点P,两台像机的光心分别记为Cl和Cr，两台像机光心的连线为基线，基线与左眼图像和右眼图像的交点为图像的极点，左眼图像中的极点与投影点的连线对应右眼图像中的投影点的极线，记为右图像中的极点与投影点的连线对应于左图像中投影点的极线，记为S4.2、在双目立体视觉系统中，任意空间点P在左眼图像和右眼图像中的投影点pl和pr满足如下关系：左图像投影点pl在右图像上的对应点pr一定在右图像平面中的极线上，右图像投影点pr在左图像上的对应点pl一定在左图像平面中的极线上；根据所述关系，求得立体视觉测量系统中各像机之间的内、外参数；S4.3、根据摄像机的透视投影关系，即可求出左右极线在对应图像中的方程：其中，F为基础矩阵，Al和Ar分别为左、右像机的内参数矩阵，R为两摄像机坐标系外参数中的旋转矩阵，S为两摄像机坐标系外参数中的平移矩阵T的反对称矩阵；S4.4、利用最小二乘法，拟合塑封表面方程，得到像机坐标系下的芯片塑封表面方程。优选地，所述步骤S2中，采用基于梯度相关矩阵的角点检测方法，确定芯片管脚的角点在图像中的位置。优选地，采用SURF算法对芯片塑封表面特征点进行提取。优选地，若编带内承载不同类型的芯片，则依次执行步骤S1-S3，完成对各芯片管脚的检测；若编带内载有同一类型的芯片，利用先验信息确定图像的感兴趣区域。一种半导体芯片管脚三维几何尺寸的在线精密视觉测量系统，其特征在于：包括搭建于芯片封装生产线上的双目立体视觉测量系统，芯片封装生产线上设置载待检测芯片的编带，测量系统包括测量位置、两个像机和图像处理模块，编带传输时每次移动一个芯片到测量位置上，两个像机均能拍摄到位于测量位置上芯片的图像，图像处理模块用于执行所述方法。优选地，所述测量系统中设置的像机包括左像机和右像机，各相机设有配套的远焦镜头。有益效果：由于采用了上述技术方案，本专利技术具有如下技术效果：本专利技术公开了一种基于双目立体视觉技术的半导体芯片管脚关键三维尺寸精密在线测量方法，通过在半导体芯片封装生产流水线上，通过安装和搭建双目立体视觉测量系统，对编带中的半导体芯片进行图像抓取，在固定区域中获取编带的半导体芯片图像。本专利技术的方法不仅可以计算芯片管脚的宽度距离、相邻管脚间隔距离以及管脚共面度，还可以实现管脚是否出现翘脚等常见故障检测。附图说明图1为本专利技术的半导体芯片管脚三维几何尺寸的在线精密视觉测量方法的流程图；图2为三个专利技术方法所适用的测量系统的结构示意图；图3为一个平视双目立体成像的原理示意图；图4为双目立体视觉测量系统的极线几何约束关系；图5为像机坐标系下塑封表面平面方程、塑封表面字符特征点及管脚角点的三维位置结构示意图。具体实施方式本专利技术中利用立体视觉测量技术，结合芯片封装过程中的特点，研究出一种可以实现芯片管脚的关键部位的三维尺寸的在线测量方法，完成芯片封装过程中关键几何尺寸的在线测量以及芯片封装质量的在线检测。包括步骤：首先，对立体视觉测量系统中拍摄的图像进行特征提取和分析，通过提取芯片上每个管脚外侧的两个关键角点特征以及芯片表面特征点。然后，利用标定好的双目立体视觉测量系统，对测量系统中两幅图像的管脚特征点以及芯片塑封体表面特征点进行特征匹配，实现像机坐标系下管脚特征点本文档来自技高网...

【技术保护点】
1.一种半导体芯片管脚三维几何尺寸的在线精密视觉测量方法，其特征在于，芯片设有塑封表面和芯片引脚，包括步骤：/nS1、初始图像采集：由两台像机在同一时刻对传输到测量位置上的同一个芯片进行拍摄，分别得到左眼初始图像和右眼初始图像；两台像机均能拍摄到位于测量位置上芯片的完整图像；/nS2、特征点提取：对左眼初始图像和右眼初始图像分别进行预处理，截图各图像的感兴趣区域，得到对应的左眼图像和右眼图像；从左眼图像和右眼图像中提取出芯片管脚以及塑封表面特征点的坐标信息，塑封表面特征点包括字符；/nS3、特征点匹配及三维坐标获取：获取同一特征点P在同一时刻，在左眼图像和右眼图像上的两个坐标，求得两个坐标之间的视差关系，根据坐标及坐标之间的视差关系，求出特征点P在像机坐标系下的三维坐标；通过计算每个管脚角点之间的三维几何尺寸，计算出芯片管脚宽度以及相邻管脚之间的距离。/n

【技术特征摘要】
1.一种半导体芯片管脚三维几何尺寸的在线精密视觉测量方法，其特征在于，芯片设有塑封表面和芯片引脚，包括步骤：
S1、初始图像采集：由两台像机在同一时刻对传输到测量位置上的同一个芯片进行拍摄，分别得到左眼初始图像和右眼初始图像；两台像机均能拍摄到位于测量位置上芯片的完整图像；
S2、特征点提取：对左眼初始图像和右眼初始图像分别进行预处理，截图各图像的感兴趣区域，得到对应的左眼图像和右眼图像；从左眼图像和右眼图像中提取出芯片管脚以及塑封表面特征点的坐标信息，塑封表面特征点包括字符；
S3、特征点匹配及三维坐标获取：获取同一特征点P在同一时刻，在左眼图像和右眼图像上的两个坐标，求得两个坐标之间的视差关系，根据坐标及坐标之间的视差关系，求出特征点P在像机坐标系下的三维坐标；通过计算每个管脚角点之间的三维几何尺寸，计算出芯片管脚宽度以及相邻管脚之间的距离。


2.根据权利要求1所述的一种半导体芯片管脚三维几何尺寸的在线精密视觉测量方法，其特征在于，还包括步骤：
S4、判断芯片的管脚是否合格：对塑封体表面的三维特征点进行平面拟合，以塑封表面三维平面为基准面，分别求取芯片管脚的角点到基准面的三维几何距离，判断计算得到的三维几何距离是否在预设范围内，预进而判断芯片的管脚是否合格。


3.根据权利要求1所述的一种半导体芯片管脚三维几何尺寸的在线精密视觉测量方法，其特征在于，所述两个像机设置于同一竖直位置上，步骤S3包括：
S3.1、获取同一特征点P在左眼图像和右眼图像上的坐标，分别为：
Pleft＝(Xleft,Yleft),Pright＝(Xright,Yright)；
S3.2、当两个像机的图像在同一平面上时，则特征点P的图像坐标的Y坐标相同，则由几何关系得到：



其中，f为像机的焦距，B为基线距，即两个像机的投影中心连线的距离；
S3.3、计算出特征点P在摄像机坐标系下的三维坐标为：



其中，Disparity＝Xleft-Xright；Disparity表示视差。


4.根据权利要求1所述的一种半导体芯片管脚三维几何尺寸的在线精密视觉测量方法，其特征在于，所述步骤S4包括：
S4.1、在双目立体视觉系统中，待测空间点记为点P,两台像机的...

【专利技术属性】
技术研发人员：路绳方，张健，何睿清，焦良葆，陈烨，高阳，曹雪虹，史金飞，
申请(专利权)人：南京工程学院，
类型：发明
国别省市：江苏;32