一种基于知识蒸馏的工业图像缺陷检测方法技术

本发明专利技术涉及图像处理技术领域，尤其涉及一种基于知识蒸馏的工业图像缺陷检测方法，利用正常图像集合训练教师网络和学生网络，两者生成的特征图之间的差异作为损失函数，仅更新学生网络参数，在损失不再下降的情况下停止训练，得到训练后的学生网络；输入待检测图像至教师网络和学生网络，教师网络和学生网络不同尺度的特征图之间的差异记做异常分数标准，将特征图上采样到输入图像大小，对应位置相乘作为图像上各个像素点最终异常分数，设定阈值，大于阈值的是异常区域。本发明专利技术通过学生网络去学习教师网络中提取OK图像特征的方式，当遇到NG图像时，学生网络和教师网络之间的差异性凸显，以此达到检测NG图像的目的。以此达到检测NG图像的目的。以此达到检测NG图像的目的。

【技术实现步骤摘要】
一种基于知识蒸馏的工业图像缺陷检测方法


[0001]本专利技术涉及图像处理
，尤其涉及一种基于知识蒸馏的工业图像缺陷检测方法。

技术介绍

[0002]随着近几年深度学习的蓬勃发展，越来越多的深度学习算法被应用到各行各业中。其中深度学习算法中的知识蒸馏算法对于工业图像缺陷检测中的应用具有重要的研究和应用价值。
[0003]工业上的图像缺陷检测问题呈现几个明显的特点:1.检测图片中大部分都为OK样本，缺陷图片占总体检测图片的比例很小，非常不利于有监督算法对于缺陷需要预先进行标注的需求2.工业图像上缺陷的出现位置和形态呈现随机性，比较难对缺陷的类别进行定义3.工业图像上的缺陷各个种类之间的数量差异很大4.工业图像上的缺陷的出现存在未知性，很多缺陷会随着设备使用的老化出现。
[0004]针对以上总结的目前工业图像缺陷检测的现状和问题，传统图像算法和有监督深度学习算法对这种场景的解决程度存在一定的局限性，最终的检测效果通常也比较难达到理想的效果。为此，我们提出一种基于知识蒸馏的工业图像缺陷检测方法。

技术实现思路

[0005]基于
技术介绍
存在的技术问题，本专利技术提出了一种基于知识蒸馏的工业图像缺陷检测方法，不需要有监督算法中需要对数据集进行筛选和标注，减少了大量人工工作量，解决了传统图像算法和有监督深度学习算法对工业图像缺陷检测的解决程度存在一定局限性的问题。
[0006]本专利技术提供如下技术方案：一种基于知识蒸馏的工业图像缺陷检测方法，包括如下步骤：
[0007]S1、首先给出训练的不包含缺陷的正常图像集合{I1，I2，...，I
n
}，对输入图像集合中的每张图片做预处理；构建教师网络和学生网络，训练过程中输入图像I
k
，教师网络和学生网络各输出三个不同尺度的特征图，使用教师网络和学生网络特征图之间的差异作为损失函数，训练过程使用SGD方法，对学生网络的参数进行更新，教师网络的参数保持不变，在损失不再下降的情况下停止训练，得到训练后的学生网络；
[0008]S2、对输入待检测图像进行预处理，将预处理后的图像同时输入到教师网络和学生网络，分别得到三个不同尺度的特征图，教师网络和学生网络不同尺度的特征图之间的差异记做异常分数标准：
[0009][0010]最终的异常分数计算如下：
[0011][0012]其中上采样的方式采用双线性插值，将各个特征图上采样到输入图像尺寸大小，待检测图像上越异常的地方，得分越高，通过设定阈值thresh，将大于该thresh地方的图像区域认为是检测图像上的异常区域。
[0013]优选的，I
k
∈R
wxh xc
，w为输入图像宽度，h为输入图像高度，c为输入图像通道数；
[0014]教师网络输出三个不同尺度的特征图为输出三个不同尺度的特征图为
[0015]学生网络输出三个不同尺度的特征图为学生网络输出三个不同尺度的特征图为
[0016]优选的，所述损失函数定义如下：
[0017][0018]即为每个特征尺度对应位置(i,j)上的距离之和。
[0019]优选的，所述预处理为直方图均衡化处理，用于消除拍摄过程中造成的图像灰度不均匀的影响。
[0020]优选的，所述教师网络为在imagenet上预训练的深度卷积网络，所述学生网络和教师网络具有相同的结构，学生网络的参数不使用预训练网络中的参数，而是进行随机初始化。
[0021]本专利技术提供了一种基于知识蒸馏的工业图像缺陷检测方法，使用深度学习中的知识蒸馏的方法对工业上的缺陷进行检测，本方法不需要有监督算法中需要对数据集进行筛选和标注，减少了大量人工工作量。通过设计了一个知识蒸馏网络，和相关损失函数，通过训练学生网络使其学习教师网络中的正常图像特征提取。在推理过程中通过比较两个网络之间的差异，做为当前图像上各个像素点的异常分数，通过设定阈值即可确定异常区域。
附图说明
[0022]图1为本专利技术训练过程流程图；
[0023]图2为本专利技术推理过程流程图。
具体实施方式
[0024]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本专利技术保护的范围。
[0025]本专利技术提供一种技术方案：一种基于知识蒸馏的工业图像缺陷检测方法，该方法分为两个部分，训练部分和推理部分。
[0026]如图1所示，训练部分主要分为以下几个步骤，首先给出训练的不包含缺陷的正常图像集合{I1，I2，...，I
n
}，对输入图像集合中的每张图片做预处理，主要为直方图均衡化，为了消除拍摄过程中造成的图像灰度不均匀的影响。
[0027]第二步为构建教师网络，教师网络为在imagenet上预训练的深度卷积网络，一般为resnet50。
[0028]第三步构建学生网络，其中学生网络和教师网络具有相同的结构，但学生网络的参数不使用预训练网络中的参数，而是进行随机初始化。
[0029]第四步构建整个训练网络，训练过程中对输入的图像I
k
，其中I
k
∈R
wxh xc
，w为输入图像宽度，h为输入图像高度，c为输入图像通道数，教师网络输出三个不同尺度的特征图图像宽度，h为输入图像高度，c为输入图像通道数，教师网络输出三个不同尺度的特征图学生网络输出三个不同尺度的特征图度的特征图
[0030]使用教师网络和学生网络特征图之间的差异作为损失函数，损失函数定义如下
[0031][0032]即为每个特征尺度对应位置(i，j)上的l2距离的和。
[0033]训练过程使用SGD方法，对学生网络的参数进行更新，教师网络的参数保持不变，在损失不再下降的情况下停止训练，得到训练后的学生网络。
[0034]如图2所示，推理部分为以下几步，
[0035]对输入待检测图像进行预处理，具体操作和训练过程一致。
[0036]将预处理后的图像I输入到教师网络，得到三个不同尺度的特征图将预处理后的图像I输入到教师网络，得到三个不同尺度的特征图同时将图像输入到学生网络，得到三个不同尺度的特征图同时将图像输入到学生网络，得到三个不同尺度的特征图教师网络和学生网络不同尺度的特征图之间的差异记做异常分数标准：
[0037][0038]最终的异常分数计算如下：
[0039][0040]其中上采样的方式采用双线性插值。将各个特征图上采样到输入图像尺寸大小，w，h。待检测图像上越异常的地方，得分越高，通过设定阈值thresh，将大于该thresh地方的图像区域认为是检测图像上的异常区域。
[0041]现有技术中的蒸馏网络的教师网络和学生网络一般为教师网络较为复杂，学生网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识蒸馏的工业图像缺陷检测方法，其特征在于：包括如下步骤：S1、首先给出训练的不包含缺陷的正常图像集合{I1，I2，...，I
n
}，对输入图像集合中的每张图片做预处理；构建教师网络和学生网络，训练过程中输入图像I
k
，教师网络和学生网络各输出三个不同尺度的特征图，使用教师网络和学生网络特征图之间的差异作为损失函数，训练过程使用SGD方法，对学生网络的参数进行更新，教师网络的参数保持不变，在损失不再下降的情况下停止训练，得到训练后的学生网络；S2、对输入待检测图像进行预处理，将预处理后的图像同时输入到教师网络和学生网络，分别得到三个不同尺度的特征图，教师网络和学生网络不同尺度的特征图之间的差异记做异常分数标准：最终的异常分数计算如下：其中上采样的方式采用双线性插值，将各个特征图上采样到输入图像尺寸大小，待检测图像上越异常的地方，得分越高，通过设定阈值thresh，将大于该thresh地方的图像区域认为是检测图像上的异常...

【专利技术属性】
技术研发人员：雷可，杨俊杰，郑军，
申请(专利权)人：聚时科技上海有限公司，
类型：发明
国别省市：