【技术实现步骤摘要】
本专利技术涉及陶瓷芯片表面缺陷，具体地说是基于多模态大模型的芯片陶瓷封装基板表面缺陷检测方法。
技术介绍
1、封装基板可为芯片提供电连接、保护、支撑、散热以及组装等功效，以实现多引脚化、缩小封装产品体积、改善电性能及散热性、超高密度或多芯片模块化的目的。陶瓷封装基板是一种基于陶瓷材料制造的电子元件封装材料，具有热导率高、耐热性好、机械强度高、热膨胀系数低等优势，是数字封装常用的基板材料。
2、然而，由于制造工艺的水平较低，会导致陶瓷封装基板上出现开路、破损、鼠咬、溢出等表面缺陷，这些缺陷对后续阶段的产品质量构成威胁。为实现芯片陶瓷封装基板表面缺陷的高效准确检测，通常以深度学习模型作为基础技术手段，并借助大量精细化标注的图像数据进行训练，从而确保算法的精度。
3、中国专利“cn117474928b一种基于元学习模型的陶瓷封装基板表面缺陷检测方法”所述的技术方案提出一种基于元学习模型的芯片陶瓷封装基板表面缺陷检测方法，用以解决现有检测方法对数据需求量大且难以泛化的问题。该方法将数据划分为支持集和查询集，通过骨干网络进行图像特征提取，利用矩阵分解方法过滤无关背景特征，采用原型选择模块完成相似特征的采集，并使用边界优化模块完成特征优化，最后利用轻量级解码器实现表面缺陷的像素级预测。中国专利“cn118464827a一种fcbga封装基板检测装置及检测方法”所述的技术方案提出一种fcbga封装基板检测装置，通过将fcbga封装基板利用真空吸附装置实现在检测装置上固定，从而不会破坏fcbga封装基板，利用红外光谱设备
4、中国专利“cn117474928b一种基于元学习模型的陶瓷封装基板表面缺陷检测方法”所述的技术方案通过元学习模型构建矩阵分解机制，实现无关背景特征的过滤，并采用原型选择模块完成相似特征的采集。如果图像背景与缺陷前景区域的特征分布及其类似，会导致该方法出现错误识别的现象；如果缺陷品类逐步增多，该方法在泛化性和鲁棒性上会随着品类的增多而降低，且需要多次重复训练。
5、中国专利“cn118464827a一种fcbga封装基板检测装置及检测方法”通过红外光谱特征与预设光谱图库的对比以判断fcbga封装基板上是否存在感光性薄膜残留。如果产品材质及类型发生变化，红外光谱及预设光谱的值均需要进行重新设置，算法泛化性较差，难以覆盖多种品类的检测场景。
技术实现思路
1、针对现有技术的不足，本专利技术的目的在于提出基于多模态大模型的芯片陶瓷封装基板表面缺陷检测方法，包括：
2、步骤1：采集芯片陶瓷封装基板表面的多个图像数据，并获取每个图像数据对应的文本数据，所述芯片陶瓷封装基板表面的多个图像数据和每个图像数据对应的文本数据组成数据集，具体通过以下公式表示：
3、；
4、其中，表示数据集，为图像数据的总数，表示第个图像数据，其中，表示第个图像数据，表示第个文本数据；
5、步骤2：对每个所述图像数据进行编码，得到多个图像特征，对每个所述文本数据进行编码，得到一个文本特征；
6、步骤3: 通过多模态融合策略，针对每个图像特征，均与文本特征进行融合，以得到多个融合特征，具体通过以下公式实现：
7、；
8、其中，表示vit-b编码器对应的第个阶段的融合特征，表示1×1卷积层，表示特征拼接操作，表示vit-b编码器对应的第 j个阶段的图像特征，表示文本特征；
9、步骤4：通过轻量级解码器，对所有融合特征进行解码，以得到像素级预测结果，具体通过以下公式表示：
10、；
11、其中，为芯片陶瓷封装基板表面缺陷的像素级预测结果，为轻量级解码器，为特征像素级相加操作。
12、可选的，步骤2具体包括：
13、步骤2.1：针对每个所述图像数据，通过vit-b编码器进行编码，以得到图像特征，具体通过以下公式实现：
14、；
15、其中，表示vit-b编码器，为图像特征空间域， b表示批量， h表示图像数据的长， w表示图像数据的宽，表示图像数据的通道数；
16、步骤2.2：针对每个所述文本数据，通过clip编码器进行编码，以得到固定维度的文本特征，具体通过以下公式实现：
17、 =；
18、其中，表示clip编码器，为文本特征空间域。
19、可选的，还包括：
20、根据每个融合特征、文本特征和芯片陶瓷封装基板表面缺陷的像素级预测结果，对vit-b编码器、clip编码器和轻量级解码器中的参数进行更新优化，具体包括以下步骤：
21、步骤a1：在步骤3得到每个融合特征与文本特征之后，根据每个融合特征和文本特征，确定相似度损失函数；
22、步骤a2：在步骤4得到芯片陶瓷封装基板表面缺陷的像素级预测结果之后，根据像素级预测结果，确定分割损失函数；
23、步骤a3：根据相似度损失函数和分割损失函数，得到最终的损失函数，所述最终的损失函数用于对vit-b编码器、clip编码器和轻量级解码器中的参数进行更新优化。
24、可选的，步骤a1具体包括：
25、步骤a1.1：通过跨域知识迁移策略，计算每个融合特征与文本特征在隐空间内的特征分布相似度，具体通过以下公式实现：
26、；
27、其中，表示文本特征与图像编码器对应的第 j个阶段的图像特征在隐空间内的特征分布相似度，表示特征向量之间的点乘，表示特征的二范数；
28、步骤a1.2：根据所述特征分布相似度确定相似度损失函数，具体通过以下公式实现：
29、。
30、可选的，步骤a2中的所述分割损失函数通过以下公式表示：
31、；
32、其中，为第 i个图像数据对应的像素级标注信息。
33、可选的，步骤a3中所述最终的损失函数通过以下公式表示：
34、；
35、其中，为相似度损失函数的超参数。
36、可选的，步骤4之后还包括：
37、步骤5：对像素级预测结果做二值化阈值提取，获得每一个连通域的坐标和尺寸信息，具体通过以下公式实现：
38、；
39、其中，为像素级预测结果中第k个缺陷连通域的坐标信息，为像素级预测结果中第k个缺陷连通域的尺寸信息，为二值化提本文档来自技高网...
【技术保护点】
1.基于多模态大模型的芯片陶瓷封装基板表面缺陷检测方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态大模型的芯片陶瓷封装基板表面缺陷检测方法，其特征在于，步骤2具体包括：
3.根据权利要求1所述的基于多模态大模型的芯片陶瓷封装基板表面缺陷检测方法，其特征在于，还包括：
4.根据权利要求3所述的基于多模态大模型的芯片陶瓷封装基板表面缺陷检测方法，其特征在于，步骤A1具体包括：
5.根据权利要求3所述的基于多模态大模型的芯片陶瓷封装基板表面缺陷检测方法，其特征在于，步骤A2中的所述分割损失函数通过以下公式表示：；其中，为第i个图像数据对应的像素级标注信息。
6.根据权利要求3所述的基于多模态大模型的芯片陶瓷封装基板表面缺陷检测方法，其特征在于，步骤A3中所述最终的损失函数通过以下公式表示：；其中，为相似度损失函数的超参数。
7.根据权利要求1所述的基于多模态大模型的芯片陶瓷封装基板表面缺陷检测方法，其特征在于，步骤4之后还包括：
8.根据权利要求1所述的基于多模态大模型的芯片陶瓷封装基板表面
...【技术特征摘要】
1.基于多模态大模型的芯片陶瓷封装基板表面缺陷检测方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态大模型的芯片陶瓷封装基板表面缺陷检测方法，其特征在于，步骤2具体包括：
3.根据权利要求1所述的基于多模态大模型的芯片陶瓷封装基板表面缺陷检测方法，其特征在于，还包括：
4.根据权利要求3所述的基于多模态大模型的芯片陶瓷封装基板表面缺陷检测方法，其特征在于，步骤a1具体包括：
5.根据权利要求3所述的基于多模态大模型的芯片陶瓷封装基板表面缺陷检测方法，其特征在...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。