基于深度学习的工业零件缺陷检测方法、系统及电子设备技术方案

本发明专利技术提供一种基于深度学习的工业零件缺陷检测方法、系统及电子设备；所述方法包括以下步骤：获取数据集；构建用于检测目标工业零件表面缺陷的深度神经网络；利用所述数据集训练所述深度神经网络，获取训练好的目标神经网络，以基于所述目标神经网络对所述目标工业零件进行表面缺陷检测；本发明专利技术提供了一种基于深度学习的工业零件缺陷检测方法，通过以卷积神经网络和Transformer为理论基础实现对工业零件表面缺陷的检测，结合了卷积神经网络与Transformer的优势，提高了分割精度，同时采用了并行分支的设计，保证了对深度神经网络训练时的收敛速度以及推理测试时的时间要求。时的收敛速度以及推理测试时的时间要求。时的收敛速度以及推理测试时的时间要求。

【技术实现步骤摘要】
基于深度学习的工业零件缺陷检测方法、系统及电子设备


[0001]本专利技术涉及物理领域，尤其涉及工业零件表面缺陷检测技术，特别是一种基于深度学习的工业零件缺陷检测方法、系统及电子设备。

技术介绍

[0002]在工业生产过程中，现有技术、工作条件等因素的局限性会严重降低制成品的质量；其中，表面缺陷是产品质量降低的一种典型表现，因此，为了保证合格率和可靠的质量，必须进行产品表面缺陷检测。
[0003]“缺陷”一般可以理解为与正常样品相比的缺失、缺陷或面积；表面缺陷检测是指检测样品表面的划痕、缺陷、异物遮挡、颜色污染、孔洞等缺陷，从而获得被测样品表面缺陷的类别、轮廓、位置、大小等一系列相关信息；人工缺陷检测曾经是主流方法，工人接受培训以识别复杂的表面缺陷，但这种方法效率低下；检测结果容易受人为主观因素的影响，不能满足实时检测的要求；因此，实现缺陷检测自动化是一项具有重要意义，并且具有很大挑战的工作。
[0004]传统的机器视觉方法必须人工提取特征以适应特定领域，然后按照人工制定的规则或可学习的分类器(如SVM、决策树等)做出决策，这种方式十分依赖于人工经验，并且开发周期较长，难以跟上产品的迭代速度。

技术实现思路

[0005]本专利技术的目的在于提供一种基于深度学习的工业零件缺陷检测方法、系统及电子设备，用于解决现有产品表面缺陷检测技术存在的上述问题。
[0006]为实现上述目的及其他相关目的，本专利技术提供一种基于深度学习的工业零件缺陷检测方法，包括以下步骤：获取数据集；所述数据集包括工业零件的目标表面缺陷图像；构建用于检测目标工业零件表面缺陷的深度神经网络；所述深度神经网络包括：融合模块、Transformer分支、CNN分支及解码器；所述Transformer分支、所述CNN分支及所述解码器均与所述融合模块连接；其中，所述融合模块用于对所述Transformer分支输出的第一结果和所述CNN分支输出的第二结果进行融合，所述解码器用于对所述融合模块输出的第三结果进行解码，所述解码器的输出作为所述深度神经网络的输出；利用所述数据集训练所述深度神经网络，获取训练好的目标神经网络，以基于所述目标神经网络对所述目标工业零件进行表面缺陷检测。
[0007]于本专利技术的一实施例中，所述获取数据集包括以下步骤：获取工业零件的原始表面缺陷图像；对所述原始表面缺陷图像进行预处理，获取目标表面缺陷图像。
[0008]于本专利技术的一实施例中，所述融合模块还用于对所述第一结果和所述第二结果融合后产生的第四结果进行增强，产生第五结果，及用于对所述第五结果、所述第一结果和所述第二结果进行拼接。
[0009]于本专利技术的一实施例中，所述融合模块的数量为三；所述解码器包括：第一注意力
模块、第二注意力模块、第一卷积层、第二卷积层及分割头，所述解码器对所述第三结果进行解码的过程包括：将一所述融合模块输出的第三结果和另一所述融合模块输出的第三结果输入至所述第一注意力模块；将所述第一注意力模块输出的第六结果输入至所述第一卷积层，获取第七结果；将所述第七结果和又一所述融合模块输出的第三结果输入至所述第二注意力模块；将所述第二注意力模块输出的第八结果输入至所述第二卷积层，获取第九结果；将所述第九结果输入至所述分割头；所述分割头的输出作为所述解码器的输出。
[0010]于本专利技术的一实施例中，所述分割头包括：第三卷积层和双线性差值层；其中，在将所述第九结果输入至所述分割头的过程中，先将所述第九结果输入至所述第三卷积层，然后经所述双线性差值层将所述第三卷积层的输出恢复至原分辨率。
[0011]于本专利技术的一实施例中，所述利用所述数据集训练所述深度神经网络包括以下步骤：从所述数据集中选取训练图像；将所述训练图像输入至所述深度神经网络，以训练所述深度神经网络；在训练所述深度神经网络过程中，通过最小化损失函数对所述深度神经网络进行训练。
[0012]于本专利技术的一实施例中，在训练所述深度神经网络过程中，通过迭代训练对所述深度神经网络进行训练；所述利用所述数据集训练所述深度神经网络还包括以下步骤：利用交并比评分和/或Dice评分对所述深度神经网络进行评估。
[0013]本专利技术提供一种基于深度学习的工业零件缺陷检测系统，包括：获取模块，用于获取数据集；所述数据集包括工业零件的目标表面缺陷图像；构建模块，用于构建用于检测目标工业零件表面缺陷的深度神经网络；所述深度神经网络包括：融合模块、Transformer分支、CNN分支及解码器；所述Transformer分支、所述CNN分支及所述解码器均与所述融合模块连接；其中，所述融合模块用于对所述Transformer分支输出的第一结果和所述CNN分支输出的第二结果进行融合，所述解码器用于对所述融合模块输出的第三结果进行解码，所述解码器的输出作为所述深度神经网络的输出；训练模块，用于利用所述数据集训练所述深度神经网络，获取训练好的目标神经网络，以基于所述目标神经网络对所述目标工业零件进行表面缺陷检测。
[0014]本专利技术提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的基于深度学习的工业零件缺陷检测方法。
[0015]本专利技术提供一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行上述的基于深度学习的工业零件缺陷检测方法。
[0016]如上所述，本专利技术所述的基于深度学习的工业零件缺陷检测方法、系统及电子设备，具有以下有益效果：
[0017](1)与现有技术相比，本专利技术的目的是在于解决仅使用卷积神经网络的情况下，难以捕获远距离的依赖信息的问题，提出一种基于深度学习的工业零件缺陷检测方法，引入Transformer以及注意力模块，提高了分割精度。
[0018](2)本专利技术提供了一种基于深度学习的工业零件缺陷检测方法，通过以卷积神经网络和Transformer为理论基础实现对工业零件表面缺陷的检测，结合了卷积神经网络与Transformer的优势，提高了分割精度，同时采用了并行分支的设计，保证了对深度神经网络训练时的收敛速度以及推理测试时的时间要求。
附图说明
[0019]图1显示为本专利技术的基于深度学习的工业零件缺陷检测方法于一实施例中的流程图。
[0020]图2显示为本专利技术的深度神经网络于一实施例中的框架图。
[0021]图3显示为本专利技术的融合模块于一实施例中的结构示意图。
[0022]图4显示为本专利技术的AttentionGate模块于一实施例中的结构示意图。
[0023]图5显示为本专利技术的SCSE模块于一实施例中的结构示意图。
[0024]图6显示为本专利技术的ViT于一实施例中的结构示意图。
[0025]图7显示为本专利技术的ResNet34于一实施例中的结构示意图。
[0026]图8显示为本专利技术的基于深度学习的工业零件缺陷检测方法于另一实施例中的流程图。
[0027]图9本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的工业零件缺陷检测方法，其特征在于，包括以下步骤：获取数据集；所述数据集包括工业零件的目标表面缺陷图像；构建用于检测目标工业零件表面缺陷的深度神经网络；所述深度神经网络包括：融合模块、Transformer分支、CNN分支及解码器；所述Transformer分支、所述CNN分支及所述解码器均与所述融合模块连接；其中，所述融合模块用于对所述Transformer分支输出的第一结果和所述CNN分支输出的第二结果进行融合，所述解码器用于对所述融合模块输出的第三结果进行解码，所述解码器的输出作为所述深度神经网络的输出；利用所述数据集训练所述深度神经网络，获取训练好的目标神经网络，以基于所述目标神经网络对所述目标工业零件进行表面缺陷检测。2.根据权利要求1所述的基于深度学习的工业零件缺陷检测方法，其特征在于，所述获取数据集包括以下步骤：获取工业零件的原始表面缺陷图像；对所述原始表面缺陷图像进行预处理，获取目标表面缺陷图像。3.根据权利要求1所述的基于深度学习的工业零件缺陷检测方法，其特征在于，所述融合模块还用于对所述第一结果和所述第二结果融合后产生的第四结果进行增强，产生第五结果，及用于对所述第五结果、所述第一结果和所述第二结果进行拼接。4.根据权利要求1所述的基于深度学习的工业零件缺陷检测方法，其特征在于，所述融合模块的数量为三；所述解码器包括：第一注意力模块、第二注意力模块、第一卷积层、第二卷积层及分割头，所述解码器对所述第三结果进行解码的过程包括：将一所述融合模块输出的第三结果和另一所述融合模块输出的第三结果输入至所述第一注意力模块；将所述第一注意力模块输出的第六结果输入至所述第一卷积层，获取第七结果；将所述第七结果和又一所述融合模块输出的第三结果输入至所述第二注意力模块；将所述第二注意力模块输出的第八结果输入至所述第二卷积层，获取第九结果；将所述第九结果输入至所述分割头；所述分割头的输出作为所述解码器的输出。5.根据权利要求4所述的基于深度学习的工业零件缺陷检测方法，其特征在于，所述分割头包括：第三卷积层和双线性差值层；...

【专利技术属性】
技术研发人员：蒋学芹，陈齐航，周树波，潘峰，
申请(专利权)人：东华大学，
类型：发明
国别省市：