基于多尺度显著信息和双向特征融合的表面缺陷检测方法技术

本发明专利技术涉及基于多尺度显著信息和双向特征融合的表面缺陷检测方法，属于卷积神经网络、表面缺陷检测技术领域。本发明专利技术利用对照集构建记忆库的核心子集，将新的训练集的样本输入到特征提取网络中提取n层特征F

【技术实现步骤摘要】
基于多尺度显著信息和双向特征融合的表面缺陷检测方法


[0001]本专利技术涉及一种表面缺陷检测方法，具体为基于多尺度显著信息和双向特征融合的表面缺陷检测方法，属于卷积神经网络、表面缺陷检测


技术介绍

[0002]表面缺陷对产品的美观度、舒适度和使用性能等都会带来不良影响，因此表面缺陷检测方法对产品质量控制起着至关重要的作用，是生产中不可或缺的一环。这类方法目前已经应用在金属、钢轨、织物、路面、铝板带等领域。表面缺陷种类繁多，通常表现低对比度、背景干扰强、尺度变化大等特点，因此，如何在复杂多变的干扰因素下实现自动化的缺陷检测是一个巨大挑战。
[0003]近年来，得益于卷积神经网络（CNN）强大的特征提取能力，基于深度学习的表面缺陷检测方法的核心是以CNN作为骨干网络提取特征，然后对特征进行相关操作生成最终的预测图来实现检测。在CNN提取的多层特征中，浅层特征含有位置细节信息，深层特征具有抽象语义信息，融合两种特征有利于缺陷的检测与定位，最常用的融合方法是逐步将深层特征通过线性上采样与相邻浅层特征融合，最终生成与输入图片尺寸一致的预测结果。但是这种单向融合方式较为单一，不能充分利用浅层特征中的信息，往往会忽略一些弱缺陷，造成检测精度的损失。而另一种单向融合方式是将提取的每层特征都上采样到原图像尺寸，拼接上采样后的结果，使用一个卷积层降低通道来获得最终的预测结果，然而这种方式上采样尺度过大，产生大量冗余信息，导致细节信息的弱化，信息不能充分利用，不利于缺陷的轮廓以及边缘的精准检测。因此，这两种单向融合方式均不利于对缺陷的整体感知。

技术实现思路

[0004]本专利技术的目的是克服上述不足，而提供一种基于多尺度显著信息和双向特征融合的表面缺陷检测方法，一方面融合多尺度显著信息来突出缺陷信息，增强缺陷特征，同时提出一种双向特征融合方式实现深层与浅层特征的双向融合，充分利用深层与浅层信息，实现缺陷的整体感知。
[0005]本专利技术采取的技术方案为：基于多尺度显著信息和双向特征融合的表面缺陷检测方法，包括步骤如下：S1.将数据集划分为普通训练集和测试集，抽取普通训练集中部分正常样本作对照集，普通训练集中其余正常样本和缺陷样本组成新的训练集，预处理对照集和新的训练集；S2.将对照集中的所有样本输入到特征提取网络中提取n层特征，每一层的所有特征构成一个特征记忆库，共生成n个特征记忆库，对每个记忆库使用贪心核心集下采样算法来生成各自的核心子集M
Ci ，i=1,2,3
…
n；S3. 训练阶段，将新的训练集的样本输入到特征提取网络中提取n层特征F i
，i=1,2,3
…
n，将每层特征F i
输入到多尺度显著性信息模块中提取显著性信息，先采用最近邻
算法在核心子集M
C i
中寻找与F i
中每个空间位置所在的特征最相似的特征并计算保存二者的距离，再将计算的距离经过Sigmoid函数归一化到[0,1]之间，并进行reshape操作得到多尺度显著性信息图S i ，i=1,2,3
…
n；S4.将n个多尺度显著性信息图与对应相同尺度的特征F i
拼接，并通过信息融合模块得到n个融合后的特征 F
i
’
，将 F
i
’
输入到双向特征融合模块中，生成n个融合特征K i
，i=1,2,3
…
n；S5.将融合特征K 1
‑
K n 分别通过1
×
1卷积降低通道，并上采样到输入训练集样本尺寸获得n个通道为1的特征图；将融合特征K 2 –
K n 上采样到最大特征图尺寸，分别得到尺寸均为T1（K 1
尺寸）的特征K 2
’
‑
K n
’
，拼接n个尺寸为T1的特征图K 1 、K 2
’
‑
K n
’
，上采样拼接后的结果到输入训练集样本尺寸，并使用1
×
1卷积降低通道得到训练阶段输出结果；S6.将训练阶段输出结果与标签图片逐像素计算BCE损失，将n个通道为1的特征图与标签图片逐像素计算BCE损失，加和计算总损失，训练网络执行深度监督，更新网络并保存最后的参数；S7.测试阶段，将测试样本输入到特征提取网络中提取n层特征，将n层特征输入到多尺度显著性信息模块中得到多尺度显著性信息图，将n个多尺度显著性信息图与对应相同尺度的特征F i
拼接，并通过信息融合模块得到n个融合后的特征F
i
’
，将F
i
’
输入到双向特征融合模块中，生成n个融合特征K 1
‑
K n
；将融合特征K 2 –
K n
上采样到最大特征图尺寸，分别得到尺寸均为T1的特征K 2
’
‑
K n
’
，拼接n个尺寸为T1的特征图K 1
、K 2
’
‑
K n
’
，上采样拼接后的结果到输入测试样本尺寸并使用1
×
1卷积降低通道得到输出结果，使用Sigmoid将输出归一化到[0,1]得到预测图，直到测试集遍历完成。
[0006]上述方法中，由于特征提取网络提取共5层特征，对应5个尺寸，因此n取5。
[0007]上述步骤S2所述的对每个记忆库使用贪心核心集下采样算法来生成各自的核心子集，算法流程为：将每个核心子集中的特征数量设置为对应记忆库中总特征数量的1%，各层特征对应的核心子集记为M
Ci
，每个核心子集中的特征数量记为C
i
（取整，i取1,2,3,4,
…
n），对于任一记忆库M
i
，取其内任意一条特征E
i0
，将其添加到核心子集M
Ci
中，以E
i0
为簇中心然后计算记忆库中所有特征与E
i0
的欧式距离，得到一个距离向量，记为D
i0
，找到与E
i0
距离最远的特征E
i1
，然后将E
i1
添加到核心子集M
Ci
中，同时以E
i1
为簇中心，计算记忆库中所有特征与E
i1
的欧式距离，记为D
i1
，比较D
i0
与D
i1
，取每个索引值（索引值表示对应特征在记忆库M
i
中所在的位置）下的距离最小值，新生成的距离向量记为D
imin
；取D
imin
中的距离最大值所在的索引值，并在记忆库M
i
取出该索引值对应的特征向量E
i2
，将E
i2
加入到核心子集M
Ci
中，将其做为新的簇中心，计算记忆库中所有特征与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多尺度显著信息和双向特征融合的表面缺陷检测方法，其特征是，包括步骤如下：S1.将数据集划分为普通训练集和测试集，抽取普通训练集中部分正常样本作对照集，普通训练集中其余正常样本和缺陷样本组成新的训练集，预处理对照集和新的训练集；S2.将对照集中的所有样本输入到特征提取网络中提取n层特征，每一层的所有特征构成一个特征记忆库，共生成n个特征记忆库，对每个记忆库使用贪心核心集下采样算法来生成各自的核心子集M
Ci
；S3.训练阶段，将新的训练集的样本输入到特征提取网络中提取n层特征F i
，将每层特征F i
输入到多尺度显著性信息模块中提取显著性信息，先采用最近邻算法在核心子集M Ci
中寻找与F i
中每个空间位置所在的特征最相似的特征并计算保存二者的距离，再将计算的距离经过Sigmoid函数归一化，并进行reshape操作得到多尺度显著性信息图S i ；S4.将n个多尺度显著性信息图与对应相同尺度的特征F i
拼接，并通过信息融合模块得到n个融合后的特征F
i
’
，将F
i
’
输入到双向特征融合模块中，生成n个融合特征K i
；S5.将融合特征K 1
‑
K n
分别降低通道，并上采样到输入训练集样本尺寸获得n个通道为1特征图；将融合特征K 2 –
K n
上采样到最大特征图尺寸，分别得到尺寸均为T1的特征K 2
’
‑
K n
’
，拼接n个尺寸为T1的特征图K 1
、K 2
’
‑
K n
’
，上采样拼接后的结果到输入训练集样本尺寸并降低通道得到训练阶段输出结果；S6.将训练阶段输出结果与标签图片逐像素计算BCE损失，将n个通道为1的特征图与标签图片逐像素计算BCE损失，加和计算总损失，训练网络执行深度监督，更新网络并保存最后的参数；S7.测试阶段，将测试样本输入到特征提取网络中重复S3和S4的步骤生成n个融合特征K 1
‑
K n
；将融合特征K 2
‑
K n
上采样到最大特征图尺寸，分别得到尺寸均为T1的特征K 2
’
‑
K n
’
，拼接n个尺寸为T1的特征图K 1
、K 2
’
‑
K n
’
，上采样拼接后的结果到输入测试样本尺寸并降低通道得到输出结果，使用Sigmoid将输出归一化得到预测图，直到测试集遍历完成。2.根据权利要求1所述的基于多尺度显著信息和双向特征融合的表面缺陷检测方法，其特征是，n取5。3.根据权利要求1所述的基于多尺度显著信息和双向特征融合的表面缺陷检测方法，其特征是，步骤S2所述的对每个记忆库使用贪心核心集下采样算法来生成各自的核心子集，算法流程为：将每个核心子集中的特征数量设置为对应记忆库中总特征数量的1%，各层特征对应的核心子集记为M
Ci
，每个核心子集中的特征数量记为C
i
，对于任一记忆库M
i
，取其内任意一条特征E
i0
，将其添加到核心子集M
Ci
中，以E
i0
为簇中心然后计算记忆库中所有特征与E
i0
的欧式距离，得到一个距离向量，记为D
i0
，找到与E
i0
距离最远的特征E
i1
，然后将E
i1
添加到核心子集M
Ci
中，同时以E
i1
为簇中心，计算记忆库中所有特征与E
i1
的欧式距离，记为D
i1
，比较D
i0
与D
i1
，取每个索引值下的距离最小值，新生成的距离向...

【专利技术属性】
技术研发人员：孙启玉，刘玉峰，孙平，杨公平，
申请(专利权)人：山东锋士信息技术有限公司，
类型：发明
国别省市：