【技术实现步骤摘要】
本专利技术涉及缺陷检测领域，尤其涉及一种基于深度学习的多模态印刷电路板缺陷检测方法、装置及存储介质。
技术介绍
1、印刷电路板的制造过程包含多个复杂的步骤，如曝光、蚀刻、电镀、焊接等。在每一个生产阶段中，工艺细节的差异都可能导致缺陷的产生，这些缺陷包括划痕、短路、开路等，这些缺陷都可能直接对印刷电路板的电气性能和产品质量造成影响，从而导致产品无法正常工作，最终被判定为报废。为了提高生产效率，缺陷检测是关键环节，及时准确地检测并识别这些缺陷，可以在生产的早期阶段发现潜在的缺陷，进而减少次品流入后续环节，从而降低返工和材料浪费。通过缺陷检测，不仅能够保障产品质量还可以减少返工和废品率，这对于保障产品质量和提高生产效率具有重要意义。如何有效地利用收集到的数据实现准确的缺陷检测是当前需要解决的主要问题。
2、缺陷检测主要有以下几种方法：
3、（1）基于规则的传统图像处理的方法，通过依赖于一些经典的图像处理算法，主要通过设计特定的规则来识别图像中的缺陷。例如基于边缘检测，使用sobel、canny等边缘检测算法来识别图像中的边缘不连续性，检测出例如裂纹或断裂等缺陷。
4、（2）基于传统机器学习的方法，通过使用手工设计的特征，结合传统机器学习模型进行缺陷检测。例如基于手工设计特征，该方法对印刷电路板的特性有深入的理解，通过人工提取图像的特定特征（如hog、sift等）并输入到传统分类器（如svm、knn等）中进行缺陷识别。
5、（3）基于深度学习的方法，通过让模型自动地从数据中学习特征，进而处
6、在传统的印刷电路板缺陷检测技术中，由于这类方法依赖于手动设计的特征和启发式的目标区域生成方式，导致其适应性和鲁棒性较差。在处理复杂且变化多样的场景时，这些方法往往难以达到理想的检测效果，且无法有效应用于不同类型的印刷电路板。目前，基于深度学习的方法是最常用的缺陷检测技术，但在处理小目标时存在一些显著问题。由于在进行缺陷检测使用的往往只有二维图像数据，而小目标在图像中的面积相对较小，其细节特征在特征提取过程中可能会模糊或消失。此外在特征融合的过程中，经过多个卷积层后小目标的特征容易被高层特征覆盖，从而导致重要信息被忽略或丢失。这些因素使得往往难以提取足够的小目标特征信息，尤其是在高噪声环境或低对比度条件下，进而使得检测的准确性和可靠性受到严重影响。
技术实现思路
1、本专利技术提供基于深度学习的多模态印刷电路板缺陷检测方法、装置及存储介质，旨在至少解决现有技术中存在的技术问题之一。
2、本专利技术的技术方案为基于深度学习的多模态印刷电路板缺陷检测方法、装置和存储介质，所述的基于深度学习的多模态印刷电路板缺陷检测方法应用在基于深度学习的多模态印刷电路板缺陷检测装置上，所述的基于深度学习的多模态印刷电路板缺陷检测装置包括：采集模块，用于采集、配准、对齐及预处理三维点云数据和二维图像数据；双视图融合模块，用于映射并对三维点云数据进行一次特征提取和插值，所述双视图融合模块包括鸟瞰图卷积子模块和前视图卷积子模块；注意力模块，包括与双视图融合模块连接的点云特征提取子模块、与采集模块连接的图像特征提取子模块和分别与点云特征提取子模块和图像特征提取子模块连接的注意力融合子模块；检测模块，用于输出缺陷种类和边界框的预测结果，所述的基于深度学习的多模态印刷电路板缺陷检测方法包括以下步骤：
3、s100、采集三维点云数据和二维图像数据，并分别对三维点云数据和二维图像数据进行配准、对齐和预处理；
4、s200、将三维点云数据输入到双视图融合模块，映射生成鸟瞰图bv和前视图fv，分别对鸟瞰图bv和前视图fv进行一次特征提取和插值，最后融合得到多视图融合特征信息；
5、s300、将多视图融合特征信息和二维图像数据多次重复输入到注意力模块，生成融合特征；
6、s400、将融合特征输入检测模块，输出缺陷种类和边界框的预测结果。
7、进一步，所述步骤s100包括：
8、s110、分别采集三维点云数据和二维图像数据，所述三维点云数据包含空间坐标信息，所述二维图像数据包含rgb信息；
9、s120、对三维点云数据和二维图像数据进行配准和对齐，确保三维点云数据和二维图像数据相互对应；
10、s130、分别对三维点云数据和二维图像数据进行预处理，所述预处理至少包括对三维点云数据进行去噪、过滤和下采样操作，以及对二维图像数据进行降噪和图像增强操作。
11、进一步，所述步骤s120包括：
12、s121、通过特征点计算激光雷达坐标系和相机坐标系之间的转换矩阵；
13、s122、通过转换矩阵将三维点云数据投影到相机坐标系中，实现三维点云数据和二维图像数据在空间上的一致化。
14、进一步，所述步骤s200包括：
15、s210、将三维点云数据映射到第一平面生成鸟瞰图bv和将三维点云数据映射到第二平面生成前视图fv，所述第一平面为x-y平面，所述第二平面为x-z平面；
16、s220、分别通过鸟瞰图卷积子模块和前视图卷积子模块提取鸟瞰图bv和前视图fv中的特征，得到鸟瞰特征图和前视特征图；
17、s230、对鸟瞰特征图和前视特征图分别进行双线性插值操作，得到空间尺寸一致的鸟瞰特征图和前视特征图；
18、s240、通过concat操作拼接融合鸟瞰特征图和前视特征图，得到多视图融合特征信息。
19、进一步，所述步骤s220中，所述鸟瞰图卷积模块和所述前视图卷积模块的结构一致，所述鸟瞰图卷积模块或所述前视图卷积模块包括依次连接的第一卷积层conv1、批量归一化bn、relu和第一加法器，所述第一卷积层conv1的输入与所述第一加法器的第二输入端连接。
20、进一步，所述步骤s300包括：
21、s310、将二维图像数据输入到点云特征提取子模块，将多视图融合特征信息输入到图像特征提取子模块中，分别进行二次特征提取，得到对应的三维点云特征和二维图像特征，其中，注意力模块包括点云特征提取子模块和图像特征提取子模块；
22、s320、将三维点云特征和二维图像特征分别与原始特征结合；
23、s330、将结合了原始特征的三维点云特征和二维图像特征重新输入到点云特征提取子模块和图像特征提取子模块，并重复步骤s310和步骤s320预设的次数，得到包含有三维点云最终特征和二维图像最终特征的最终特征；
24、s340、将包含有三维点云最终特征和二维图像最终特征的最终特征输入到注意力融合子模块中，得到融合特征，其中，所述注意力模块包括注意力融合子模块。
25、进一步，所述步骤s310中，
26、所述点云特征提取模本文档来自技高网...
【技术保护点】
1.基于深度学习的多模态印刷电路板缺陷检测方法，所述的基于深度学习的多模态印刷电路板缺陷检测方法应用在基于深度学习的多模态印刷电路板缺陷检测装置上，所述的基于深度学习的多模态印刷电路板缺陷检测装置包括：采集模块，用于采集、配准、对齐及预处理三维点云数据和二维图像数据；双视图融合模块，用于映射并对三维点云数据进行一次特征提取和插值，所述双视图融合模块包括鸟瞰图卷积子模块和前视图卷积子模块；注意力模块，包括与双视图融合模块连接的点云特征提取子模块、与采集模块连接的图像特征提取子模块和分别与点云特征提取子模块和图像特征提取子模块连接的注意力融合子模块；检测模块，用于输出缺陷种类和边界框的预测结果，其特征在于，所述的基于深度学习的多模态印刷电路板缺陷检测方法包括以下步骤：
2.根据权利要求1所述的基于深度学习的多模态印刷电路板缺陷检测方法，其特征在于，所述步骤S100包括：
3.根据权利要求2所述的基于深度学习的多模态印刷电路板缺陷检测方法，其特征在于，所述步骤S120包括：
4.根据权利要求1所述的基于深度学习的多模态印刷电路板缺陷检测方法，其特征在
5.根据权利要求4所述的基于深度学习的多模态印刷电路板缺陷检测方法，其特征在于，所述步骤S220中，所述鸟瞰图卷积模块和所述前视图卷积模块的结构一致，所述鸟瞰图卷积模块或所述前视图卷积模块包括依次连接的第一卷积层Conv1、批量归一化BN、激活函数Relu和第一加法器，所述第一卷积层Conv1的输入与所述第一加法器的第二输入端连接。
6.根据权利要求1所述的基于深度学习的多模态印刷电路板缺陷检测方法，其特征在于，所述步骤S300包括：
7.根据权利要求6所述的基于深度学习的多模态印刷电路板缺陷检测方法，其特征在于，所述步骤S310中，
8.根据权利要求6所述的基于深度学习的多模态印刷电路板缺陷检测方法，其特征在于，所述步骤S340中，注意力融合子模块包括：
9.基于深度学习的多模态印刷电路板缺陷检测装置，用于执行如权利要求1至8任一所述的基于深度学习的多模态印刷电路板缺陷检测方法，其特征在于，所述的基于深度学习的多模态印刷电路板缺陷检测装置包括：
10.一种计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施如权利要求1至8中任一项所述的方法。
...【技术特征摘要】
1.基于深度学习的多模态印刷电路板缺陷检测方法，所述的基于深度学习的多模态印刷电路板缺陷检测方法应用在基于深度学习的多模态印刷电路板缺陷检测装置上，所述的基于深度学习的多模态印刷电路板缺陷检测装置包括：采集模块，用于采集、配准、对齐及预处理三维点云数据和二维图像数据；双视图融合模块，用于映射并对三维点云数据进行一次特征提取和插值，所述双视图融合模块包括鸟瞰图卷积子模块和前视图卷积子模块；注意力模块，包括与双视图融合模块连接的点云特征提取子模块、与采集模块连接的图像特征提取子模块和分别与点云特征提取子模块和图像特征提取子模块连接的注意力融合子模块；检测模块，用于输出缺陷种类和边界框的预测结果，其特征在于，所述的基于深度学习的多模态印刷电路板缺陷检测方法包括以下步骤：
2.根据权利要求1所述的基于深度学习的多模态印刷电路板缺陷检测方法，其特征在于，所述步骤s100包括：
3.根据权利要求2所述的基于深度学习的多模态印刷电路板缺陷检测方法，其特征在于，所述步骤s120包括：
4.根据权利要求1所述的基于深度学习的多模态印刷电路板缺陷检测方法，其特征在于，所述步骤s200包括：
5...
【专利技术属性】
技术研发人员：王睿，牛源晨，李芃，彭思危，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。