【技术实现步骤摘要】
本专利技术涉及工业计算机领域，用于识别pcb表面缺陷，具体涉及一种基于光度立体和深度学习的pcb微小缺陷检测识别方法。
技术介绍
1、在工业生产中，材料表面常常会出现各种缺陷，例如折痕、划痕、异物等，这些缺陷会对产品的质量和外观造成不良影响。为了避免这些缺陷产品进入市场，影响企业声誉，必须对其进行检测。然而，由于产品的形状和外观受到多种因素的影响，例如材料、加工方式和环境等，因此产品外观和形状的变异性非常大，这使得质量检测变得更加困难。
2、传统的人工缺陷检测方法成本较高，当下流行的基于深度学习的自动化缺陷检测方法存在以下技术问题：
3、(1)由于工业相机直接拍摄的图像难以捕捉到不同光线方向下产生的特征，因此检测精度往往较低，识别不够准确。这会导致漏检和误检的情况发生，影响缺陷检测的效果。
4、(2)深度学习算法的关键在于从数据中提取出有效的特征来解决分类和检测问题。然而，对于缺陷的多样性，算法往往受到光照不足和背景干扰等因素的影响，导致特征提取过程中的鲁棒性较低，从而影响分类和检测效果的准确性和稳定性。
5、因此，有必要提供一种高效可靠的缺陷检测设备及检测方法。
技术实现思路
1、为了解决上述问题，本专利技术提供一种基于光度立体和深度学习的pcb微小缺陷检测识别方法，旨在解决工业相机直接拍摄图像检测精度低、识别准确性不足等技术问题，该方法具有高效、准确、鲁棒性强等优势，可有效解决当前物体缺陷检测领域的挑战。
2、本专利技
3、s1：采用多尺度聚合生成对抗网络，这是一种基于生成对抗网络的图像生成模型，包括特征提取模块、多尺度特征融合模块、生成器模块、判别器模块和对抗训练，以生成高质量且多样性的图像；
4、s2：将pcb物体的光度立体图输入深度学习目标检测模型，获取待测物体的缺陷检测结果；
5、s3：使用剔除装置进行剔除操作，该剔除装置由剔除控制装置和剔除识别模块组成，其中剔除识别模块内置有对焦相机和杂物对焦策略，剔除控制模块根据剔除识别模块的信号对待测pcb进行剔除。
6、作为优选的技术方案，特征提取模块：采用参考darknet53模型的特征提取模块，包括依次连接的第一卷积层、第二卷积层、第一残差结构、第二残差结构和第一反卷积层，其中，第一残差结构和第二残差结构之间设有第三卷积层，用于完成下采样的操作，第一残差结构和第二残差结构包括依次连接的第四卷积层和第五卷积层，其中第五卷积层的输出特征通过残差连接与第四卷积层的输入特征融合；
7、作为优选的技术方案，多尺度特征融合模块：将生成器的输出特征和判别器的特征进行多尺度融合，通过将生成器的输出特征和判别器的特征分别送入不同的卷积层和池化层，得到多个不同尺度的特征图，然后将这些特征图进行通道维度上的拼接和叠加，得到最终的多尺度特征表示，从而提高生成图像的质量和多样性。
8、作为优选的技术方案，生成器模块：采用基于多尺度特征融合的生成器模块，以生成高质量的图像；该模块包括多个残差块和上采样层，其中每个残差块由两个卷积层和一个残差连接组成，用于提取特征并保留图像的细节信息，上采样层通过反卷积操作将特征图的尺寸放大，从而实现高分辨率的图像生成。
9、作为优选的技术方案，判别器模块：采用基于patchgan的判别器模块，用于判别生成的图像是否真实，该模块将输入的图像切分成多个小块，然后将每个小块送入不同的卷积层和池化层，得到多个小块的特征图，最终通过汇总这些特征图的结果进行真伪判别。
10、作为优选的技术方案，对抗训练模块：使用对抗训练策略，通过生成器和判别器之间的对抗博弈来优化模型的参数，生成器的目标是尽可能生成逼真的图像。
11、作为优选的技术方案，目标检测模型：包括增加spp-block模块的yolov4模型，所述目标检测模型中，将cspdarknet53作为特征提取网络，将所述待测物体的光度立体图输入所述特征提取网络进行特征提取，得到第一特征，将所述第一特征输入到3个卷积层和所述spp-block模块，在所述spp-block模块中分别采用13×13、9×9、5×5、1×1四个不同尺度池化核进行最多尺度池化处理，得到第二特征，根据所述第二特征进行预测，得到预测结果，对所述预测结果进行解码，得到所述待测物体的缺陷检测结果。
12、作为优选的技术方案，在训练过程中，所述msagan光度立体图生成模型和所述yolov4目标检测模型同时训练，损失函数为msagan光度立体图的对抗损失和yolov4目标检测总损失之和。
13、作为优选的技术方案，对焦策略还涉及图像割分逻辑，其中包括将复杂的摊开图像分割成标准的网格区域；
14、分割方法包括：
15、先测量图像的长度和宽度，然后在图像上沿着长度和宽度方向画出若干等分线，这些等分线形成一个棋盘状的网格，将图像划分为标准网格区域。
16、作为优选的技术方案，对焦相机内配置了一个预设的对焦广角，在执行pcb物体表面缺陷对焦策略时，当需要使用对焦相机获取对焦图像时，会根据剔除标记位置、所得范围阈值和对焦广角生成相机高度，并将该相机高度发送至剔除控制模块，剔除控制模块会控制剔除装置移动，使得对焦相机处于相应的相机高度位置，同时，对焦相机的准心会对准剔除标记位置，以便对焦相机能够捕捉到对焦图像，通过这种方法，能够使用对焦相机获取对焦图像，从而实现pcb物体表面缺陷对焦策略。
17、作为优选的技术方案，在剔除识别模块中，还设置了遍历轨迹和遍历高度；
18、在执行对焦策略时，如果在复摊图像中没有检测到pcb物体表面缺陷或形成剔除标记，会生成遍历信号，此时，剔除控制模块会控制对焦相机移动至预设的遍历高度，并按照预设的遍历轨迹对复摊图像进行遍历，以识别pcb物体表面是否存在缺陷；
19、如果检测到缺陷，则会对其进行剔除处理，通过这种方式，能够实现对存在表面缺陷的物体的自动剔除，并提高对焦效率。
20、本专利技术的有益效果是：本专利技术提出了一种缺陷检测方法，它基于光度立体和深度学习算法。该方法使用现有的数据集样本来训练光度立体图生成模型和目标检测模型，从而获得高置信度的权重，并实现高精度的缺陷检测。相对于传统的图像识别和机器学习方法，这种方法具有更快的检测速度、更高的识别准确率、更低的部署成本和更高的工作效率；
21、本专利技术提出的缺陷检测方法采用了基于光度立体和深度学习算法的技术，并利用更高性能的光度立体图生成模型，能够在图像采集和融合过程中获得更为细致的高精度细节图像。这种方法可以显著提高缺陷检测的准确性。相比传统方法，本方法具有更优异的性能；
22、该专利技术采用了光度立体视觉技术和深度学习算法，并将其应用于缺陷检测领域中的目标检测模型，为解决缺陷检测问题提供了全新的方法，这本文档来自技高网...
【技术保护点】
1.一种基于光度立体和深度学习的PCB微小缺陷检测识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于光度立体和深度学习的PCB微小缺陷检测识别方法，其特征在于：
3.根据权利要求1所述的基于光度立体和深度学习的PCB微小缺陷检测识别方法，其特征在于：多尺度特征融合模块：将生成器的输出特征和判别器的特征进行多尺度融合，通过将生成器的输出特征和判别器的特征分别送入不同的卷积层和池化层，得到多个不同尺度的特征图，然后将这些特征图进行通道维度上的拼接和叠加，得到最终的多尺度特征表示，从而提高生成图像的质量和多样性。
4.根据权利要求1所述的基于光度立体和深度学习的PCB微小缺陷检测识别方法，其特征在于：
5.根据权利要求1所述的基于光度立体和深度学习的PCB微小缺陷检测识别方法，其特征在于：
6.根据权利要求1所述的基于光度立体和深度学习的PCB微小缺陷检测识别方法，其特征在于：
7.根据权利要求1所述的基于光度立体和深度学习的PCB微小缺陷检测识别方法，其特征在于：目标检测模型：
8.根
9.根据权利要求1所述的基于光度立体和深度学习的PCB微小缺陷检测识别方法，其特征在于：对焦策略还涉及图像割分逻辑，其中包括将复杂的摊开图像分割成标准的网格区域；
10.根据权利要求1所述的基于光度立体和深度学习的PCB微小缺陷检测识别方法，其特征在于：对焦相机内配置了一个预设的对焦广角，在执行PCB物体表面缺陷对焦策略时，当需要使用对焦相机获取对焦图像时，会根据剔除标记位置、所得范围阈值和对焦广角生成相机高度，并将该相机高度发送至剔除控制模块，剔除控制模块会控制剔除装置移动，使得对焦相机处于相应的相机高度位置，同时，对焦相机的准心会对准剔除标记位置，以便对焦相机能够捕捉到对焦图像，通过这种方法，能够使用对焦相机获取对焦图像，从而实现PCB物体表面缺陷对焦策略。
11.根据权利要求1所述的基于光度立体和深度学习的PCB微小缺陷检测识别方法，其特征在于：在剔除识别模块中，还设置了遍历轨迹和遍历高度；
...【技术特征摘要】
1.一种基于光度立体和深度学习的pcb微小缺陷检测识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于光度立体和深度学习的pcb微小缺陷检测识别方法，其特征在于：
3.根据权利要求1所述的基于光度立体和深度学习的pcb微小缺陷检测识别方法，其特征在于：多尺度特征融合模块：将生成器的输出特征和判别器的特征进行多尺度融合，通过将生成器的输出特征和判别器的特征分别送入不同的卷积层和池化层，得到多个不同尺度的特征图，然后将这些特征图进行通道维度上的拼接和叠加，得到最终的多尺度特征表示，从而提高生成图像的质量和多样性。
4.根据权利要求1所述的基于光度立体和深度学习的pcb微小缺陷检测识别方法，其特征在于：
5.根据权利要求1所述的基于光度立体和深度学习的pcb微小缺陷检测识别方法，其特征在于：
6.根据权利要求1所述的基于光度立体和深度学习的pcb微小缺陷检测识别方法，其特征在于：
7.根据权利要求1所述的基于光度立体和深度学习的pcb微小缺陷检测识别方法，其特征在于：目标检测模型：
8.根据权利要求1所述的基于光度立体和深度学习的pcb微...
【专利技术属性】
技术研发人员：梅浩，
申请(专利权)人：上海才匠智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。