一种基于深度学习的铝型材表面缺陷分类方法及装置制造方法及图纸

本申请公开了一种基于深度学习的铝型材表面缺陷分类方法及装置，用于提升对铝型材表面缺陷分类的检测性能。本申请方法包括将缺陷样本图像输入到初始模型，通过残差网络第一段对缺陷样本图像进行特征提取获取第一特征图；通过带权非局部模块和残差网络第二段对第一特征图进行特征增强得到第二特征图；将第二特征图输入残差网络第三段进行特征提取得到第三特征图；通过特征融合辅助分类器对第二特征图和第三特征图进行特征融合得到第四特征图；对第三特征图和第四特征图进行损失计算并利用反向传播算法对模型参数优化；执行上述步骤进行迭代训练直至损失收敛或达到预设迭代次数，得到缺陷分类模型，该模型用于进行铝型材表面缺陷的分类检测。表面缺陷的分类检测。表面缺陷的分类检测。

【技术实现步骤摘要】
一种基于深度学习的铝型材表面缺陷分类方法及装置


[0001]本申请涉及图像检测领域，尤其涉及一种基于深度学习的铝型材表面缺陷分类方法及装置。

技术介绍

[0002]目前，缺陷检测是工业生产中不可或缺的一环，其中，铝型材作为工业产品中的基础材料。在铝型材生产过程中会因为多种原因形成缺陷，形成了多种不同缺陷的缺陷类型，例如“擦花”、“桔皮”、“漏底”、“喷流”、“漆泡”、“起坑”、“杂色”、“脏点”等。为保证产品质量，就需要对铝型材进行表面缺陷检测，以便根据检测出的不同缺陷类型再经过不同的加工处理。
[0003]早前的铝材表面检测主要通过人工进行肉眼目测或传统无损检测。然而，铝材的表面自身会含有纹路，与瑕疵的区分度不高，人工肉眼检查比较费力，不能及时准确的判断出表面缺陷，质检的效率难以把控。传统无损检测包括涡流检测分类、红外检测分类、漏磁检测分类、激光检测分类等,但是这些方法检出的缺陷种类少,并且检测分类的实时性不强。
[0004]随着深度学习的发展，特别是卷积神经网络在计算机视觉中的图像识别、图像检测和图像分割等方面的应用，所取得的效果是过往使用传统算法无法比拟的。图像检测处于图像识别和图像分割的衔接阶段，是一种能够检测出图像中特定类别的物体的位置并给出相应的类别置信度。目前通用的铝材缺陷检测算法例如二分类算法和支持向量机分类法，通过对图像或者像素点进行二分类实现铝材缺陷检测。
[0005]但是由于铝材表面缺陷存在缺陷面积大小不一，形状不固定、极端长宽比等原因，通用的检测算法对于铝材表面缺陷的检测性能并不近乎人意。

技术实现思路

[0006]本申请提供了一种基于深度学习的铝型材表面缺陷分类方法及装置，用于加强缺陷分类模型对铝型材缺陷分类的检测效果，提升模型对铝材表面缺陷的分类性能。
[0007]本申请第一方面提供了一种基于深度学习的铝型材表面缺陷分类方法，包括：
[0008]从铝型材图像训练集中获取携带缺陷标签的缺陷样本图像；
[0009]将所述缺陷样本图像输入到初始模型，所述初始模型包括残差网络、带权非局部模块、特征融合辅助分类器和特征映射模块；
[0010]通过所述残差网络的第一段对所述缺陷样本图像进行特征提取，获取所述第一段输出的第一特征图；
[0011]通过所述带权非局部模块和所述残差网络的第二段对所述第一特征图进行特征增强，得到第二特征图；
[0012]将所述第二特征图输入所述残差网络的第三段进行特征提取，得到第三特征图；
[0013]通过所述特征融合辅助分类器对所述第二特征图和所述第三特征图进行特征融
合，得到第四特征图；
[0014]通过所述特征映射模块对所述第三特征图和所述第四特征图进行损失计算，并根据损失结果利用反向传播算法对模型参数进行更新优化；
[0015]输入所述铝型材图像训练集中的缺陷样本图像到所述初始模型中并执行上述步骤进行迭代训练直至损失收敛或达到预设迭代次数，得到训练后的缺陷分类模型，所述缺陷分类模型用于进行铝型材表面缺陷的分类检测。
[0016]可选地，所述残差网络包括主干模块、第一阶段模块、第二阶段模块、第三阶段模块和第四阶段模块，所述第一阶段模块、所述第二阶段模块、第三阶段模块和第四阶段模块依次由3、4、6、3个残差结构模块构成；
[0017]所述通过所述残差网络的第一段对所述缺陷样本图像进行特征提取，获取所述第一段输出的第一特征图包括：
[0018]将所述缺陷样本图像依次输入所述主干模块和第一阶段模块中进行图像特征提取，得到第一特征图；
[0019]所述通过所述带权非局部模块和所述残差网络的第二段对所述第一特征图进行特征增强，得到第二特征图包括：
[0020]将所述第一特征图输入所述带权非局部模块中进行特征增强，得到目标特征图；
[0021]将所述目标特征图输入所述第二阶段模块中进行特征提取，得到第二特征图；
[0022]所述将所述第二特征图输入所述残差网络的第三段进行特征提取，得到第三特征图包括：
[0023]将所述第二特征图依次输入第三阶段模块和第四阶段模块中进行图像特征提取，得到第三特征图；
[0024]所述通过所述特征映射模块对所述第三特征图和所述第四特征图进行损失计算包括：
[0025]通过所述特征映射模块对所述第三特征图进行展平、全连接和softmax归一化操作，确定所述第三特征图的第一预测概率向量；根据所述第一预测概率向量和标签真实值计算交叉熵损失，得到第一损失；
[0026]对所述第四特征图进行展平、全连接和softmax归一化操作，确定所述第四特征图的第二预测概率向量；根据所述第二预测概率向量和标签真实值计算交叉熵损失，得到第二损失；
[0027]根据所述第一损失和所述第二损失计算总损失。
[0028]可选地，所述残差结构模块包括两个1
×
1卷积模块和一个3
×
3卷积模块，所述主干模块为7
×
7卷积模块。
[0029]可选地，所述带权非局部模块包括通道注意力模块，所述将所述第一特征图输入所述带权非局部模块中进行特征增强，得到目标特征图包括：
[0030]向所述带权非局部模块中输入大小为H
×
W
×
C的第一特征图，并分别经过θ线性变换、线性变换和g线性变换得到特征图X
θ
、特征图和特征图X
g
；
[0031]将所述特征图X
θ
输入到通道注意力模块获取通道注意力权重向量λ＝[λ1,λ2,
…
,λ
k
,
…
,λ
C
]，其中，C为所述特征图X
θ
的通道数，k为索引值；
[0032]将所述通道注意力权重向量λ与特征图X
θ
进行对应元素相乘，再与特征图进行矩
阵乘法获取相似度矩阵S
M
；
[0033]将所述相似度矩阵S
M
进行Softmax归一化得到空间注意力图A
M
；
[0034]将所述空间注意力图A
M
与所述特征图X
g
进行矩阵乘法后使用1
×
1卷积模块进行卷积；
[0035]将卷积后得到的特征图与所述第一特征图进行对应元素的相加运算，得到目标特征图。
[0036]可选地，所述将所述特征图X
θ
输入到通道注意力模块获取通道注意力权重向量λ＝[λ1,λ2,
…
,λ
k
,
…
,λ
C
]包括：
[0037]将所述特征图X
θ
输入到通道注意力模块；
[0038]通过全局平均池化公式对所述特征图X
θ
进行全局平均池化操作，以使得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的铝型材表面缺陷分类方法，其特征在于，所述方法包括：从铝型材图像训练集中获取携带缺陷标签的缺陷样本图像；将所述缺陷样本图像输入到初始模型，所述初始模型包括残差网络、带权非局部模块、特征融合辅助分类器和特征映射模块；通过所述残差网络的第一段对所述缺陷样本图像进行特征提取，获取所述第一段输出的第一特征图；通过所述带权非局部模块和所述残差网络的第二段对所述第一特征图进行特征增强，得到第二特征图；将所述第二特征图输入所述残差网络的第三段进行特征提取，得到第三特征图；通过所述特征融合辅助分类器对所述第二特征图和所述第三特征图进行特征融合，得到第四特征图；通过所述特征映射模块对所述第三特征图和所述第四特征图进行损失计算，并根据损失结果利用反向传播算法对模型参数进行更新优化；输入所述铝型材图像训练集中的缺陷样本图像到所述初始模型中并执行上述步骤进行迭代训练直至损失收敛或达到预设迭代次数，得到训练后的缺陷分类模型，所述缺陷分类模型用于进行铝型材表面缺陷的分类检测。2.根据权利要求1所述的铝型材表面缺陷分类方法，其特征在于，所述残差网络包括主干模块、第一阶段模块、第二阶段模块、第三阶段模块和第四阶段模块，所述第一阶段模块、所述第二阶段模块、第三阶段模块和第四阶段模块依次由3、4、6、3个残差结构模块构成；所述通过所述残差网络的第一段对所述缺陷样本图像进行特征提取，获取所述第一段输出的第一特征图包括：将所述缺陷样本图像依次输入所述主干模块和第一阶段模块中进行图像特征提取，得到第一特征图；所述通过所述带权非局部模块和所述残差网络的第二段对所述第一特征图进行特征增强，得到第二特征图包括：将所述第一特征图输入所述带权非局部模块中进行特征增强，得到目标特征图；将所述目标特征图输入所述第二阶段模块中进行特征提取，得到第二特征图；所述将所述第二特征图输入所述残差网络的第三段进行特征提取，得到第三特征图包括：将所述第二特征图依次输入第三阶段模块和第四阶段模块中进行图像特征提取，得到第三特征图；所述通过所述特征映射模块对所述第三特征图和所述第四特征图进行损失计算包括：通过所述特征映射模块对所述第三特征图进行展平、全连接和softmax归一化操作，确定所述第三特征图的第一预测概率向量；根据所述第一预测概率向量和标签真实值计算交叉熵损失，得到第一损失；对所述第四特征图进行展平、全连接和softmax归一化操作，确定所述第四特征图的第二预测概率向量；根据所述第二预测概率向量和标签真实值计算交叉熵损失，得到第二损失；根据所述第一损失和所述第二损失计算总损失。
3.根据权利要求2所述的铝型材表面缺陷分类方法，其特征在于，所述残差结构模块包括两个1
×
1卷积模块和一个3
×
3卷积模块，所述主干模块为7
×
7卷积模块。4.根据权利要求2所述的铝型材表面缺陷分类方法，其特征在于，所述带权非局部模块包括通道注意力模块，所述将所述第一特征图输入所述带权非局部模块中进行特征增强，得到目标特征图包括：向所述带权非局部模块中输入大小为H
×
W
×
C的第一特征图，并分别经过θ线性变换、线性变换和g线性变换得到特征图X
θ
、特征图和特征图X
g
；将所述特征图X
θ
输入到通道注意力模块获取通道注意力权重向量λ＝[λ1,λ2,
…
,λ
k
,
…
,λ
C
]，其中，C为所述特征图X
θ
的通道数，k为索引值；将所述通道注意力权重向量λ与特征图X
θ
进行对应元素相乘，再与特征图进行矩阵乘法获取相似度矩阵S
M
；将所述相似度矩阵S
M
进行Softmax归一化得到空间注意力图A
M
；将所述空间注意力图A
M
与所述特征图X
g
进行矩阵乘法后使用1
×
1卷积模块进行卷积；将卷积后得到的特征图与所述第一特征图进行对应元素的相加运算，得到目标特征图。5.根据权利要求4所述的铝型材表面缺陷分类方法，其特征在于，所述将所述特征图X
θ
输入到通道注意力模块获取通道注意力权重向量λ＝[λ1,λ2,
…
,λ
k

【专利技术属性】
技术研发人员：谭棉，王林，冯夫健，王杰，汤华椿，严晓波，夏大文，
申请(专利权)人：贵州民族大学，
类型：发明
国别省市：