【技术实现步骤摘要】
本专利技术属于新型人工智能，具体涉及一种基于小目标增强特征金字塔的pcb缺陷的检测方法。
技术介绍
1、印制电路板(pcb)是各种电子元件的载体，在电子产品中扮演着至关重要的角色。随着pcb行业的快速进步，新一代的智能电子设备越来越小巧且功能更加强大，这无疑对pcb的生产制造提出了更严格的标准。若有缺陷的pcb进入到后续的生产流程，有可能会影响最终电子产品的性能和质量，造成不必要的资源浪费。
2、传统的pcb缺陷检测方法主要是人工检测，通过应用放大镜等一些仪器辅助检测，利用人眼来判别pcb缺陷。但该方法耗时耗力，人力成本较高，检测准确率受个人主观意识和工作时常影响，而且随着pcb越来越复杂，利用人眼来判别缺陷已经不太实际。
3、电气测试是通过探针接触pcb上的电路，然后通过测量电路上的电气量来判别缺陷，这种方法检测效率不高，而且还有可能对产品带来二次损害，目前使用的场景不是很多。自动光学检测(aoi)技术是它通过光学系统捕捉被检测物体的图像，然后使用图像处理技术分析这些图像，以识别和分类缺陷。检测结果易受光源与摄像头成像质量等因素影响，且对于某些隐藏或被遮挡的缺陷，aoi可能无法检测到。
4、随着深度学习的发展，目标检测算法开始应用在pcb缺陷检测上，从r-cnn系列为代表的二阶段算法，该类算法主要分为两个过程，第一步是提出几个可能包含对象的区域，第二步是在建议的区域上运行分类网络以获得每个区域内的对象类别。到yolo系列为代表的一阶段算法，直接分离特定类别并回归边界。其速度比两阶段检测法快，
5、由于以上pcb缺陷检测方法存在一些缺点：人工检测法依赖人工检查，但该方法耗时耗力，人力成本较高，且检测受人员主观影响。电气测试检测效率不高，而且还有可能对产品带来二次损害。自动光学检测技术检测结果易受光源与摄像头成像质量等因素影响，且对于某些隐藏或被遮挡的缺陷，可能无法检测到。基于深度学习的目标检测算法，在检测前需要大量图片学习缺陷特征，在复杂或恶劣的环境下，算法的性能可能会下降。
6、中国专利文献cn 118587188 a公开了一种基于改进yolov8s的pcb小目标缺陷检测方法，通过增设小目标检测层与检测头，提升小目标识别率。引入s-conv与cafm于骨干网络，融合多尺度特征，增强特征表示。设计高效空间金字塔池化层，结合可变形卷积与空间信息增强模块，提高目标特征表征能力。优化颈部结构，采用信息聚集-分发机制。采用vfwd-ciou损失函数，增强密集小目标检测性能。实现了pcb小目标缺陷的实时、高效检测，为深度学习在边缘端设备的应用奠定基础。通过改进yolov8s，解决了pcb缺陷检测中的识别率和准确率问题，提高了检测的效率和精度。虽然pcb缺陷检测精度和效率有所提高，但是仍有提升的空间。
7、因此，有必要提供一种基于小目标增强特征金字塔的pcb缺陷的检测方法，具有更高的准确性和鲁棒性。
技术实现思路
1、本专利技术要解决的技术问题是，提供一种基于小目标增强特征金字塔的pcb缺陷的检测方法，采用改进的rt-detr-r18模型算法，具有更高的准确性和鲁棒性；且改进后的网络结构也具有较强的硬件适配性和兼容性，可用于不同场景的pcb缺陷检测任务中。
2、为了解决上述技术问题，本专利技术采用的技术方案是：该基于小目标增强特征金字塔的pcb缺陷的检测方法，具体包括以下步骤：
3、s1数据采集与处理：下载pcb缺陷数据集进行筛选，对筛选的图片进行数据处理，并将处理后的数据集，划分为训练集和验证集；
4、s2构建并训练模型：构建改进的rt-detr-r18模型并进行模型训练，得到改进的rt-detr-r18模型的权重，再进行模型验证；
5、s3检测并可视化：将验证后的模型部署到可视化界面进行pcb缺陷的实时检测。
6、采用上述技术方案，采用的深度学习方法能够自动学习和提取特征，适应不同pcb缺陷和环境条件，且以rt-detr-r18模型作为基础进行改进，利用rt-detr-r18端到端的模型架构，具有结构简单、易于部署、参数量相对较少的优点，使其检测算法具有更高的准确性和鲁棒性。且改进后的网络结构也具有较强的硬件适配性和兼容性，可用于不同场景的pcb缺陷检测任务中。与其他图像检测算法及轻量级目标检测算法进行对比，本文的改进算法展示了其有效性和可行性。
7、优选地，所述步骤s1的具体步骤为：
8、s11：下载pcb缺陷数据集，从pcb缺陷数据集中获得图片，并对图片进行筛选，去除没有标注的数据，得到处理后的数据集；
9、s12：对于筛选的图片划分训练集、验证集；
10、s13：对于训练集的数据通过数据增强进行扩充。
11、其中，数据增强的操作包括仿射变换或裁剪或弹性变换或网格扭曲或透视变换。对于得到的数据通过一系列数据增强手段将训练集扩充，使得能提取到更丰富的pcb缺陷特征。
12、优选地，所述步骤s2的具体步骤为：
13、s21构建模型：构建改进的rt-detr-r18模型；
14、s22模型训练：通过设置训练超参数，使用步骤s1中处理后的训练集对改进的网络模型进行训练；
15、s23模型验证：设置验证参数，采用验证集对训练完成的模型进行验证。
16、优选地，所述步骤s21中对rt-detr-r18模型中的模块进行改进得到改进的rt-detr-r18模型，对模块进行改进的具体步骤为：
17、s211：首先将骨干网络替换为rmt网络，并将与空间距离相关的先验知识引入到模型中；采用沿图像的两个轴分解masa的方法将注意力沿水平和垂直进行分解，使得分解后的masa对全局信息的建模具有线性复杂度，并具有与原始masa相同的感受野形状；减少大量计算；
18、s212：首先将s2特征层通过spdconv得到富含小目标信息的特征，再转至步骤s213进行特征融合；
19、s213：将ccfm模块中的第二个fusion融合模块替换成设计的co-fusion融合模块，即在concat后加入设计的cspokm模块(csp omni-kernel module)模块，将s2特征层富含小目标信息的特征和s3特征层及上一层特征送入设计的融合模块进行特征融合。此处的小目标通常指的是尺寸较小、像素占比相对较少的目标物体。对于小的定义通常认为是尺寸小于32*32像素的小目标。
20、这样的操作是为了充分获得小目标信息，s2特征层通过spdconv进行下采样，保留通道维度中的所有信息，保留小目标所需细节信息；对于大部分网络通常将s3、s4、s5特征层输入进行进一步处理，然而小目标在s3、s4、s5特征层上较为吃力，因为经过丢失掉一部分细节信息，因此加入s2检测层并通过spdconv整合后减少了计算量大、后处理更加耗时等问题；同时为了有效地利用s2特征层通过spdc本文档来自技高网...
【技术保护点】
1.一种基于小目标增强特征金字塔的PCB缺陷的检测方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的基于小目标增强特征金字塔的PCB缺陷的检测方法，其特征在于，所述步骤S1的具体步骤为：
3.根据权利要求2所述的基于小目标增强特征金字塔的PCB缺陷的检测方法，其特征在于，所述步骤S2的具体步骤为：
4.根据权利要求3所述的基于小目标增强特征金字塔的PCB缺陷的检测方法，其特征在于，所述步骤S21中对RT-DETR-R18模型中的模块进行改进得到改进的RT-DETR-R18模型，对模块进行改进的具体步骤为：
5.根据权利要求4所述的基于小目标增强特征金字塔的PCB缺陷的检测方法，其特征在于，在所述步骤S211中RMT网络是基于曼哈顿自注意力MasA来构建的，构建后的RMT网络分为四个阶段，前三个阶段使用分解后的MaSA，最后一个阶段使用原始MaSA；在每个保留网络结合视觉变压器模块RMT block中，输入特征首先经过DWConv残差连接，然后经过层归一化LN和MaSA残差连接，最后经过一个层归一化LN及前向传播网络FFN
6.根据权利要求5所述的基于小目标增强特征金字塔的PCB缺陷的检测方法，其特征在于，在所述步骤S211中采用沿图像的两个轴分解MasA的方法具体为分别计算图像水平方向和垂直方向的注意力得分，获得注意权值，再将一维双向衰减矩阵应用于所述注意权值，一维衰减矩阵表示标记之间的水平和垂直距离；分解形式的MaSA_part的公式为：
7.根据权利要求4所述的基于小目标增强特征金字塔的PCB缺陷的检测方法，其特征在于，所述步骤S212中S2特征层通过SPDConv卷积后得到富含小目标信息的特征的具体步骤为：
8.根据权利要求7所述的基于小目标增强特征金字塔的PCB缺陷的检测方法，其特征在于，所述步骤S213的具体步骤为：
9.根据权利要求8所述的基于小目标增强特征金字塔的PCB缺陷的检测方法，其特征在于，所述步骤S213中所述CSPOKM模块是将OKM模块与CSP结构相结合，输入特征通过一个1×1的卷积后分为两部分，一部分占0.25输入到OKM模块分支中，一部分占0.75最后通过concat残差连接两部分特征，OKM模块的数量n取为1，再将融合后的特征送入一个1×1的卷积来调整输出通道数；给定输入特征X∈RC×H×W，经过1×1的卷积处理后，特征被分别送到三个分支，即局部分支、大分支和全局分支，以增强多尺度表示；三个分支的结果最后相加融合，并通过另一个1×1卷积调整通道；其中，大分支通过应用核大小K×K的廉价深度卷积来获得大的接受域，并且还使用1×K和K×1深度卷积来获取条带状的上下文信息；
10.根据权利要求7所述的基于小目标增强特征金字塔的PCB缺陷的检测方法，其特征在于，所述步骤S23的具体步骤为：
...【技术特征摘要】
1.一种基于小目标增强特征金字塔的pcb缺陷的检测方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的基于小目标增强特征金字塔的pcb缺陷的检测方法，其特征在于，所述步骤s1的具体步骤为：
3.根据权利要求2所述的基于小目标增强特征金字塔的pcb缺陷的检测方法，其特征在于，所述步骤s2的具体步骤为：
4.根据权利要求3所述的基于小目标增强特征金字塔的pcb缺陷的检测方法，其特征在于，所述步骤s21中对rt-detr-r18模型中的模块进行改进得到改进的rt-detr-r18模型，对模块进行改进的具体步骤为：
5.根据权利要求4所述的基于小目标增强特征金字塔的pcb缺陷的检测方法，其特征在于，在所述步骤s211中rmt网络是基于曼哈顿自注意力masa来构建的，构建后的rmt网络分为四个阶段，前三个阶段使用分解后的masa，最后一个阶段使用原始masa；在每个保留网络结合视觉变压器模块rmt block中，输入特征首先经过dwconv残差连接，然后经过层归一化ln和masa残差连接，最后经过一个层归一化ln及前向传播网络ffn的残差连接；其中masa通过曼哈顿距离的空间衰减矩阵来增强自我注意，masa公式为：
6.根据权利要求5所述的基于小目标增强特征金字塔的pcb缺陷的检测方法，其特征在于，在所述步骤s211中采用沿图像的两个轴分解masa的方法具体为分别计算图像水平方向和垂直方向的注意力得...
【专利技术属性】
技术研发人员：陈大龙，王计斌，尹彤彤，陈晓芳，
申请(专利权)人：南京华苏科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。