基于边界引导的工件表面缺陷分割方法、装置及设备制造方法及图纸

本发明专利技术涉及一种基于边界引导的工件表面缺陷分割方法、装置及设备，属于工件表面缺陷划分技术领域，该方法中预先设置工件表面缺陷分割网络，在获取到表面图像后，将表面图像输入到预先设置的工件表面缺陷分割网络中，得到缺陷精细化分割结果。其中，分割网络采用边缘感知模块集成了低级局部边缘信息和高级全局位置信息，在显式边界监督下探索与目标边界相关的边缘语义；边缘引导特征模块，将边缘特征与各级主干特征相结合，以引导特征学习，强制网络更加关注目标的结构和细节，将多层融合特征自上而下地逐渐聚合，以预测分割结果。采用本申请提供的技术方案，提升工件表面缺陷区域分割结果边缘轮廓准确性，适应工业场景的实际应用。应用。应用。

【技术实现步骤摘要】
基于边界引导的工件表面缺陷分割方法、装置及设备


[0001]本专利技术涉及工件表面缺陷划分
，具体涉及一种基于边界引导的工件表面缺陷分割方法、装置及设备。

技术介绍

[0002]检测工件表面是否达标识保证工件产品质量的重要手段，相关技术中通常通过基于深度学习的工件表面缺陷精细化分割算法来对工件表面缺陷进行检测。其中，基于深度学习的工件表面缺陷精细化分割算法多采用编码器
‑
解码器架构，在这个架构中，编码器使用多个层级的卷积层和池化层，提取分类能力更强的特征，同时特征的空间分辨率逐渐降低，导致特征的空间定位能力变弱；之后的解码器利用多次转置卷积，对特征进行逐层级的上采样，逐渐恢复特征的空间分辨率，并在此过程中融合编码器的多层级特征（深层级的分类能力强的特征、浅层级的定位能力强的特征）。
[0003]现有的基于编码器
‑
解码器架构的方法通过编码不同尺度的空间上下文信息来改善目标的分割效果，但是连续的卷积池化操作造成的空间细节信息损失，使得输入图像缺陷区域的分割准确度降低，导致最终的工件表面缺陷区域分割结果边缘轮廓粗糙，难以适应工业场景的实际应用。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于边界引导的工件表面缺陷分割方法、装置及设备，以克服目前工件表面缺陷区域分割结果边缘轮廓粗糙，难以适应工业场景的实际应用的技术问题。
[0005]为实现以上目的，本专利技术采用如下技术方案：一方面，一种基于边界引导的工件表面缺陷分割方法，包括：获取目标工件的表面图像；将所述目标工件的表面图像输入工件表面缺陷分割网络中，得到所述目标工件的表面图像的缺陷精细化分割结果；其中，所述工件表面缺陷分割网络包括主干卷积神经网络及附加在所述主干卷积神经网络上的边缘感知模块、边缘引导特征模块和上下文聚合模块；所述边缘感知模块的输出作为输入，输入到所述边缘引导特征模块中；所述边缘引导特征模块的输出作为输入，输入到所述上下文聚合模块中。
[0006]可选的，所述主干卷积神经网络在所述表面图像中提取多级特征；所述边缘感知模块用于在所述多级特征中获取包含局部边缘细节的低级特征和包含目标边界监督下的全局位置信息的高级特征，并确定目标工件的表面边缘特征；所述边缘引导特征模块用于将所述表面边缘特征分别与所述主干卷积神经网络中每个层次的主干特征进行特征融合，得到语义增强后特征；所述上下文聚合模块用于通过自下而上的方式逐步聚合多层所述语义增强后特
征，并预测得到所述目标工件的表面图像的缺陷精细化分割结果。
[0007]可选的，所述边缘感知模块，具体用于通过两个1*1卷积层分别将所述包含局部边缘细节的低级特征和包含目标边界监督下的全局位置信息的高级特征的通道改为64和256，得到卷积低级特征和卷积高级特征；通过concat运算将通过64通道和256通道的卷积低级特征和卷积高级特征进行融合，得到融合卷积特征；将所述融合卷积特征通过两个3
×
3卷积、一个1
×
1卷积和一个Sigmoid函数得到所述目标工件的表面边缘特征。
[0008]可选的，所述边缘引导特征模块，具体用于：分别将所述表面边缘特征与每个层次的主干特征使用附带跳跃连接的元素级相乘和3*3卷积层卷积，得到初始融合特征；将初始融合特征经过通道全局平均池化聚合卷积特征；通过一维卷积和Sigmoid函数获得对应的通道注意力权重；将所述通道注意力权重与所述初始融合特征相乘，通过1*1卷积层卷积减少通道数，得到所述语义增强后特征。
[0009]可选的，所述上下文聚合模块，具体用于：通过自下而上的方式将相邻的两层所述语义增强后特征，通过concat运算，进行1*1卷积层卷积获得初始聚集特征；沿通道维将所述初始聚集特征划分为四个特征映射；将所述特征映射进行跨尺度交互学习，预测得到所述目标工件的表面图像的缺陷精细化分割结果。
[0010]可选的，所述主干卷积神经网络包括ResNet
‑
50。
[0011]可选的，所述低级特征为非首层特征。
[0012]又一方面，一种基于边界引导的工件表面缺陷精细化分割装置，包括：获取模块，用于获取目标工件的表面图像；分割模块，用于将所述目标工件的表面图像输入工件表面缺陷分割网络中，得到所述目标工件的表面图像的缺陷精细化分割结果；其中，所述工件表面缺陷分割网络包括主干卷积神经网络及附加在所述主干卷积神经网络上的边缘感知模块、边缘引导特征模块和上下文聚合模块；所述边缘感知模块的输出作为输入，输入到所述边缘引导特征模块中；所述边缘引导特征模块的输出作为输入，输入到所述上下文聚合模块中。
[0013]可选的，所述分割模块输入的工件表面缺陷分割网络的所述主干卷积神经网络用于在所述表面图像中提取多级特征；所述边缘感知模块用于在所述多级特征中获取包含局部边缘细节的低级特征和包含目标边界监督下的全局位置信息的高级特征，并确定目标工件的表面边缘特征；所述边缘引导特征模块用于将所述表面边缘特征分别与所述主干卷积神经网络中每个层次的主干特征进行特征融合，得到语义增强后特征；所述上下文聚合模块用于通过自下而上的方式逐步聚合多层所述语义增强后特征，并预测得到所述目标工件的表面图像的缺陷精细化分割结果。
[0014]又一方面，一种基于边界引导的工件表面缺陷精细化分割设备，包括处理器和存储器，所述处理器与存储器相连：其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储所述程序，所述程序至少用于执行上述任一项所述的基于边界引导的工件表面缺陷精细化分割方法。
[0015]本专利技术提供的技术方案至少具备如下有益效果：本专利技术实施例提供的基于边界引导的工件表面缺陷分割方法、装置及设备，预先
设置工件表面缺陷分割网络，在工件表面缺陷分割网络中设置主干卷积神经网络及附加在所述主干卷积神经网络上的边缘感知模块、边缘引导特征模块和上下文聚合模块；所述边缘感知模块的输出作为输入，输入到所述边缘引导特征模块中；所述边缘引导特征模块的输出作为输入，输入到所述上下文聚合模块中。采用本申请提供的技术方案，在获取到表面图像后，将表面图像输入到预先设置的工件表面缺陷分割网络中，得到缺陷精细化分割结果，其中，采用边缘感知模块集成了低级局部边缘信息和高级全局位置信息，在显式边界监督下探索与目标边界相关的边缘语义；边缘引导特征模块，将边缘特征与各级主干特征相结合，以引导特征学习，强制网络更加关注目标的结构和细节，将多层融合特征自上而下地逐渐聚合，以预测分割结果。采用本申请提供的技术方案，提升工件表面缺陷区域分割结果边缘轮廓准确性，适应工业场景的实际应用。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边界引导的工件表面缺陷分割方法，其特征在于，包括：获取目标工件的表面图像；将所述目标工件的表面图像输入工件表面缺陷分割网络中，得到所述目标工件的表面图像的缺陷精细化分割结果；其中，所述工件表面缺陷分割网络包括主干卷积神经网络及附加在所述主干卷积神经网络上的边缘感知模块、边缘引导特征模块和上下文聚合模块；所述边缘感知模块的输出作为输入，输入到所述边缘引导特征模块中；所述边缘引导特征模块的输出作为输入，输入到所述上下文聚合模块中。2.根据权利要求1所述的方法，其特征在于，所述主干卷积神经网络在所述表面图像中提取多级特征；所述边缘感知模块用于在所述多级特征中获取包含局部边缘细节的低级特征和包含目标边界监督下的全局位置信息的高级特征，并确定目标工件的表面边缘特征；所述边缘引导特征模块用于将所述表面边缘特征分别与所述主干卷积神经网络中每个层次的主干特征进行特征融合，得到语义增强后特征；所述上下文聚合模块用于通过自下而上的方式逐步聚合多层所述语义增强后特征，并预测得到所述目标工件的表面图像的缺陷精细化分割结果。3.根据权利要求2所述的方法，其特征在于，所述边缘感知模块，具体用于通过两个1*1卷积层分别将所述包含局部边缘细节的低级特征和包含目标边界监督下的全局位置信息的高级特征的通道改为64和256，得到卷积低级特征和卷积高级特征；通过concat运算将通过64通道和256通道的卷积低级特征和卷积高级特征进行融合，得到融合卷积特征；将所述融合卷积特征通过两个3
×
3卷积、一个1
×
1卷积和一个Sigmoid函数得到所述目标工件的表面边缘特征。4.根据权利要求3所述的方法，其特征在于，所述边缘引导特征模块，具体用于：分别将所述表面边缘特征与每个层次的主干特征使用附带跳跃连接的元素级相乘和3*3卷积层卷积，得到初始融合特征；将初始融合特征经过通道全局平均池化聚合卷积特征；通过一维卷积和Sigmoid函数获得对应的通道注意力权重；将所述通道注意力权重与所述初始融合特征相乘，通过1*1卷积层卷积减少通道数，得到所述语义增强后特征。5.根据权利要求4所述的方法，其特征在于，所述上下文...

【专利技术属性】
技术研发人员：李朋超，刘惠妹，
申请(专利权)人：北京矩视智能科技有限公司，
类型：发明
国别省市：