【技术实现步骤摘要】
本专利技术涉及芯片定位，特别涉及一种基于多聚焦图像融合的芯片定位方法及系统。
技术介绍
1、近年来，随着芯片在高精度领域的广泛应用，例如精密制造、导航系统和自动化控制，芯片定位作为芯片检测中的基础问题，其重要性愈发突出。芯片定位的目标是从芯片俯视图中提取基本信息，如芯片大小、类型(sop、qfp、mbf)及与水平面的角度。然而，人工操作中常出现的引脚损伤问题，会直接影响芯片使用并削弱系统性能，迫切需要一种智能化芯片定位与抓取解决方案。
2、现有芯片定位技术主要分为传统方法和基于深度学习的方法。传统方法通过图像的形状与灰度特征进行筛选，但面对复杂多样的芯片，难以满足精度和效率需求。基于深度学习的方法通过构建数据集与选择适宜的网络模型，在图像融合、图像分割及显著性目标检测领域取得了广泛应用。当前，这类方法的优势逐步显现，例如改进的yolov8-seg模型可实现芯片的实时检测与分割，降低计算负荷的同时保持较高的精度和速度，满足工业自动化检测需求。
3、然而，在实际应用中，现有技术仍存在不足。上料台上常混合不同类型、厚度不一的芯片，导致取像设备的景深无法同时聚焦所有芯片，部分芯片图像失焦，使得现有算法难以准确分割芯片主体。这种失焦问题成为制约深度学习算法在芯片定位领域进一步发展的关键瓶颈。此外，随着芯片设计复杂度的提升，传统布局方法难以应对性能、功耗和面积(ppa)优化需求。例如，基于深度强化学习(drl)的布局优化方法，能够通过经验学习动态调整网表布局，但未能有效解决失焦导致的芯片定位精度问题。
4
技术实现思路
1、为了解决上述至少一个技术问题，本专利技术提出了一种基于多聚焦图像融合的芯片定位方法及系统。
2、本专利技术第一方面提供了一种基于多聚焦图像融合的芯片定位方法，包括：
3、实时监测芯片的来料信号，根据所述芯片的来料信息采集芯片图像；
4、根据所述芯片图像构建芯片图像数据集，对所述芯片图像数据集进行预处理，并构建训练集图像数据和测试集图像数据，得到预处理图像数据；
5、构建基于多聚焦图像融合的网络模型，基于所述预处理图像数据对所述网络模型进行训练；
6、根据训练完成后的网络模型进行多聚焦芯片图像融合，对融合后的图像进行芯片主体与背景分割，根据分割后的主体和背景对芯片进行定位。
7、本方案中，所述实时监测芯片的来料信号，根据所述芯片的来料信息采集芯片图像，具体为：
8、获取取像设备的景深可调范围数据，根据所述景深可调范围数据将取像设备景深调整至最大值，并调整取像设备焦距，获取取像设备的聚焦区域；
9、获取两组预设厚度芯片进行图像采集，实时监测芯片的来料信号，根据所述芯片的来料信号识别芯片位置信息，当芯片到达所述聚焦区域时，根据取像设备采集芯片图像。
10、本方案中，所述根据所述芯片图像构建芯片图像数据集，对所述芯片图像数据集进行预处理，并构建训练集图像数据和测试集图像数据，得到预处理图像数据，具体为：
11、将采集的芯片图像构建芯片图像数据集，将所述芯片图像数据集按照预设比例划分为训练集图像数据和测试集图像数据，所述预设比例分别为80％和20％；
12、将所述训练集图像数据中的每个图像剪裁为多个不重叠的预设像素大小的图像块，得到预处理图像数据。
13、本方案中，所述构建基于多聚焦图像融合的网络模型，基于所述预处理图像数据对所述网络模型进行训练，具体为：
14、构建基于多聚焦图像融合的网络模型，将所述预处理图像数据导入所述网络模型的强化稠密连接模块中提取增强的高频与低频特征；
15、分别将所述增强的高频与低频特征混合输入至强化网络中提取强化高频特征和强化低频特征；
16、基于deeplabv3先验的交叉注意力模块将所述强化高频特征和强化低频特征进行融合；
17、实时对训练过程中的网络模型进行计算损失函数，并优化所述网络模型的权重参数。
18、本方案中，所述将所述预处理图像数据导入所述网络模型的强化稠密连接模块中提取增强的高频与低频特征，具体为：
19、将预处理图像数据导入强化稠密连接模块中，所述强化稠密连接模块包括一个密集卷积层、一个变换层以及一个强化模块层，所述密集卷积层与变换层并行连接；
20、所述密集卷积层和变化层通过接收导入的预处理图像数据进行加权拼接，将加权拼接后的预处理图像数据输入至所述强化模块层中；
21、所述强化模块层根据空间注意力机制对所述预处理图像数据的低频与高频特征进行强化操作，得到预设维度增强的高频与低频特征。
22、本方案中，所述分别将所述增强的高频与低频特征混合输入至强化网络中提取强化高频特征和强化低频特征，具体为：
23、将增强的高频和低频特征图混合输入至强化网络中，提取强化高频特征和强化低频特征，所述强化网络计算公式如下：
24、feh＝e(fh+fl)×fh，
25、fel＝e(fh+fl)×fl，
26、其中，feh表示增强后的高频特征，fel表示增强后的低频特征，fh表示增强前的高频特征，fl表示增强前的低频特征，e表示空间注意力增强操作。
27、本方案中，所述基于deeplabv3先验的交叉注意力模块将所述强化高频特征和强化低频特征进行融合，具体为：
28、将强化高频特征和强化低频特征导入基于deeplabv3先验的交叉注意力模块中，所述交叉注意力模块的注意力计算公式如下：
29、
30、其中，q,k,v分别表示查询、键和值，所述查询、键和值由输入的强化高频特征和强化低频特征分别乘以trainable的矩阵计算出来的，dk是k的维数，b是可相对学习的位置编码，softmax是归一化函数；
31、通过执行h次注意力函数，并将结果连接到多头注意力，根据多头注意力层生成的特征标记由两个具有gelu激活层的多层感知器层进行细化；
32、在执行多头注意力之后和多层感知器之前，对强化高频特征和强化低频特征导入归一化层中进行归一化操作，归一化操作表示为：
33、
34、给定来自不同域的两个局部窗口特征x1和x2，跨不同窗口共享的权重矩阵wq、wv根据归一化操作投影到q、k和v中，将归一化后的强化高频特征和强化低频特征基于交叉注意力模块进行融合，融合过程为：
35、
36、对于来自焦距1的q1，其通过对来自焦距2的k2和v2执行注意力加权来合并跨域信息，同时通过残差连接来保留焦距1中的信息，其中mha为多头注意力层；
37、当不同焦距的互补信息融合完成后，基于cnn的图像重建单元将融合后的强化高本文档来自技高网...
【技术保护点】
1.一种基于多聚焦图像融合的芯片定位方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多聚焦图像融合的芯片定位方法，其特征在于，所述实时监测芯片的来料信号，根据所述芯片的来料信息采集芯片图像，具体为：
3.根据权利要求1所述的一种基于多聚焦图像融合的芯片定位方法，其特征在于，所述根据所述芯片图像构建芯片图像数据集，对所述芯片图像数据集进行预处理，并构建训练集图像数据和测试集图像数据，得到预处理图像数据，具体为：
4.根据权利要求1所述的一种基于多聚焦图像融合的芯片定位方法，其特征在于，所述构建基于多聚焦图像融合的网络模型，基于所述预处理图像数据对所述网络模型进行训练，具体为：
5.根据权利要求4所述的一种基于多聚焦图像融合的芯片定位方法，其特征在于，所述将所述预处理图像数据导入所述网络模型的强化稠密连接模块中提取增强的高频与低频特征，具体为：
6.根据权利要求4所述的一种基于多聚焦图像融合的芯片定位方法，其特征在于，所述分别将所述增强的高频与低频特征混合输入至强化网络中提取强化高频特征和强化低频特征，具体
7.根据权利要求4所述的一种基于多聚焦图像融合的芯片定位方法，其特征在于，所述基于DeepLabv3先验的交叉注意力模块将所述强化高频特征和强化低频特征进行融合，具体为：
8.根据权利要求4所述的一种基于多聚焦图像融合的芯片定位方法，其特征在于，所述实时对训练过程中的网络模型进行计算损失函数，并优化所述网络模型的权重参数，具体为：
9.根据权利要求1所述的一种基于多聚焦图像融合的芯片定位方法，其特征在于，所述根据训练完成后的网络模型进行多聚焦芯片图像融合，对融合后的图像进行芯片主体与背景分割，根据分割后的主体和背景对芯片进行定位，具体为：
10.一种基于多聚焦图像融合的芯片定位系统，其特征在于，所述系统包括存储器以及处理器，所述存储器中包括基于多聚焦图像融合的芯片定位方法程序，所述基于多聚焦图像融合的芯片定位方法被所述处理器执行时，实现如权利要求1-9任一项所述的基于多聚焦图像融合的芯片定位方法的步骤。
...【技术特征摘要】
1.一种基于多聚焦图像融合的芯片定位方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多聚焦图像融合的芯片定位方法，其特征在于，所述实时监测芯片的来料信号，根据所述芯片的来料信息采集芯片图像，具体为：
3.根据权利要求1所述的一种基于多聚焦图像融合的芯片定位方法，其特征在于，所述根据所述芯片图像构建芯片图像数据集，对所述芯片图像数据集进行预处理，并构建训练集图像数据和测试集图像数据，得到预处理图像数据，具体为：
4.根据权利要求1所述的一种基于多聚焦图像融合的芯片定位方法，其特征在于，所述构建基于多聚焦图像融合的网络模型，基于所述预处理图像数据对所述网络模型进行训练，具体为：
5.根据权利要求4所述的一种基于多聚焦图像融合的芯片定位方法，其特征在于，所述将所述预处理图像数据导入所述网络模型的强化稠密连接模块中提取增强的高频与低频特征，具体为：
6.根据权利要求4所述的一种基于多聚焦图像融合的芯片定位方法，其特征在于，所述分别将所述增强的高频与低...
【专利技术属性】
技术研发人员：夏振平，王宇轩，胡雨佳，刘进军，胡伏原，吴彦澍，
申请(专利权)人：苏州科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。