一种基于图像增广和图像重构的异常检测方法技术

本发明专利技术提出一种基于图像增广和图像重构的异常检测方法，包括以下步骤：S1获取测试图像；S2将测试图像输入生成网络中实现输入样本的无异常重构；S3将测试样本和它经过生成网络得到的无异常重构样本在通道处级联送入判别网络中生成异常分数，实现实例级异常检测；S4基于梯度类加权激活映射方法，使用流向判别网络中最后卷积层的梯度信息生成异常区域的一个定位图，实现异常定位。本发明专利技术在基于生成式模型重构无异常样本的基础上，使用数据增广策略，在正常样本的基础上构造伪异常样本加入，转无监督学习为有监督学习，将原本的图像实例级异常检测问题转化为图像分类问题，并进一步提升了异常检测的准确率，且可以实现较为精确的异常定位。的异常定位。的异常定位。

【技术实现步骤摘要】
一种基于图像增广和图像重构的异常检测方法


[0001]本专利技术涉及图像异常检测
，尤其涉及一种基于图像增广和图像重构的异常检测方法。

技术介绍

[0002]在实际应用与工程中，由于故障存在突发、多样、不确定的特点，我们往往很难获取大量的标记或未标记的真实异常样本直接用于网络的训练，在这种情况下，传统的目标检测和图像分割方法便不再适用。而异常检测是一种利用无标注样本或者正常样本构建的检测模型，用于检测与正常模式存在差异的异常样本，与故障的特点相匹配。一般情况下，收集正常图像的难度远低于收集异常图像的难度，因而在实际应用中，异常检测方法会使用更少的时间和人力成本，且由于异常检测中模型是通过分析与正常图像之间的差距来检测异常，这使得异常检测算法对各种类型甚至全新的异常模式都具有很强的检测能力。
[0003]基于生成式模型的图像异常检测算法大都基于图像重构进行异常检测与定位，一是由于生成式模型可以直接生成相似样本，二是因为图像重构类方法借助重构后的图像，无需采用滑窗或者逐区域分析的方法就可以高效地实现异常区域的定位，实时性更好，拥有基于距离和分类面方法无法比拟的优点。然而在无监督下重构类方法研究的过程中发现，实例级异常检测任务与像素级异常定位任务在该方法下存在一定矛盾，无法同时达到最优的性能。且实际工业数据集中正常样本的质量问题对生成式模型的生成能力提出了更高的要求，进一步影响了重构图像的质量，进而影响最终的异常检测与定位性能。
[0004]深度学习的最新进展使算法能够在图像分类、图像分割和对象检测等各种应用中实现最先进的性能。由于其无需人工设计特征，算法通用性更高，能够通过端到端的方式有效地学习蕴含在样本中的内在规律和表示层次等优点，目前也已经被广泛引入到了图像异常检测任务中并取得了优于传统异常检测方法的性能。生成式模型作为深度学习领域一个十分活跃的研究分支，包含自动编码器、变分自编码器、生成对抗网络等基本结构，凭借其强大的语义信息表征能力，已成为半监督或自监督学习方向中最具前景的机器学习方法，并广泛应用于图像异常检测中。
[0005]在图像异常检测领域，基于图像重构的方法主要基于生成式模型，核心思想在于对输入的正常图像进行编解码，并以重构输入为目标训练神经网络，以此来学习正常图像的分布模式。图像重构类方法借助重构后的图像,无需采用滑窗或者逐区域分析的方法就可以高效地实现异常区域的定位，拥有基于距离和分类面方法无法比拟的优点。
[0006]在无监督下重构类方法研究的过程中发现，实例级异常检测任务与像素级异常定位任务在该方法下存在一定矛盾，无法同时达到最优的性能。因为在生成式模型中，无论是自编码器还是生成对抗网络，由于其中间层对应的特征空间中，还存在着能解码出其他类型图像的区域，因而当训练样本比较多时，整个结构会呈现出强大的学习能力并对潜在的异常样本产生过强的适应能力，从而出现模型泛化问题，影响异常检测的性能。而在基于重构误差度量的实例级异常检测任务中，关键在于扩大正常、异常样本的重构误差，即要进一
步解决模型的泛化问题，尽可能地消除对可能的异常区域的重构。然而在大部分重构类算法采用优化隐变量等方式解决泛化问题时，只选取部分有效特征重构的方式势必会丢失大量的细节，从而影响重构质量。如果图像重构模糊，则在重构图像比较过程中即使是正常区域也会出现较大的差别，这对于本身在原图中就占比很小的异常而言，更难实现像素级别的异常定位。
[0007]此外，实际工业数据集中正常样本的质量问题对生成式模型的生成能力提出了更高的要求，且由于实际的工业图片其正常样本中除去零件会有大量部位存在白块、黑点等各种形态的东西，而这些是现实环境带来的锈迹或污渍，并不是实际中需要我们检测出的异常，则必然会对我们重构产生非常大的干扰，在训练过程中影响生成对抗网络学习正常分布特征，在测试过程中也会造成大量正常图片存在多处像素点误差值过大的问题，从而导致正常异常相差无几，无法区分。即当只使用正常样本且正常样本也存在重大干扰项且不清晰时，其检测性能必然受到限制。

技术实现思路

[0008]针对现有技术的不足，本专利技术提供了一种基于图像增广和图像重构的实例级异常检测方法，本专利技术在基于生成式模型重构无异常样本的基础上，使用数据增广策略，在正常样本的基础上构造伪异常样本加入训练，转无监督学习为有监督学习，将原本的图像实例级异常检测问题转化为图像分类问题，那么像素级异常定位就转化成了图像分割或目标检测任务，既而原理上解决了实例级异常检测性能与像素级异常定位性能相互制约的矛盾问题。此外，现有的图像分类、分割网络相对成熟，其性能提升上相对不受局限，与重构类异常度量相比更是不再完全受正样本质量或生成式模型质量而制约，因而针对实际工业数据集中由于样本分辨率较低且存在大量干扰影响检测性能的问题，原理上可以得到一定性能提升。
[0009]为解决上述技术问题，本专利技术提供了如下技术方案：一种基于图像增广和图像重构的实例级异常检测方法，包括以下步骤：
[0010]S1获取测试图像；
[0011]S2将测试图像输入生成网络中实现输入样本的无异常重构；
[0012]S3将测试样本和它经过生成网络得到的无异常重构样本在通道处concat送入判别网络中生成单一图像所对应的异常分数图，实现实例级异常检测。
[0013]S4基于梯度类加权激活映射方法，使用流向判别网络中最后卷积层的梯度信息生成异常区域的一个定位图，实现异常定位。
[0014]进一步的，在步骤S2中，生成子网络的构建方法包括以下步骤：
[0015]S21搭建生成子网络；
[0016]S22输入正常样本，以结构相似性损失L
SSIM
、重构误差损失L
con
、特征匹配损失L
lat
及对抗损失L
adv
的加权和作为目标函数训练生成子网络。
[0017]进一步的，在步骤S21中，生成子网络采用编码器
‑
解码器的蝴蝶结式对称结构实现输入图像到潜在空间的相互映射，实现输入图像的重构，再加入一个编码器作为判别器，形成对抗训练，确保重建图像的质量。
[0018]进一步的，在步骤S22中，输入正常样本，以结构相似性损失L
SSIM
、上下文损失L
con
、
特征匹配损失L
lat
及对抗损失L
adv
的加权和作为目标函数训练生成子网络，具体过程包括以下步骤：
[0019]S221结构相似性损失L
SSIM
衡量输入图片I与重构图片I
r
的失真程度和相似程度，表达式为：
[0020][0021]其中H和W分别是输入图像I的高和宽，N
p
是输入图像I中的像素数，SSIM(I,I
r
)
(i,j)
是以图像坐标(i,j)为中心值，输入图片I与重构图片I
r
对应同一patc本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像增广和图像重构的异常检测方法，其特征在于：将测试图像输入生成网络中实现输入样本的无异常重构；将测试样本和它经过生成网络得到的无异常重构样本在通道处concat送入判别网络中生成单一图像所对应的异常分数图，实现实例级异常检测；基于梯度类加权激活映射方法，使用流向判别网络中最后卷积层的梯度信息生成异常区域的一个定位图，实现异常定位。2.根据权利要求1所述的异常检测方法，其特征在于：生成网络的构建方法包括以下步骤：搭建生成网络；输入正常样本，以结构相似性损失L
SSIM
、重构误差损失L
con
、特征匹配损失L
lat
及对抗损失L
adv
的加权和作为目标函数训练生成网络。3.根据权利要求2所述的异常检测方法，其特征在于：生成网络采用编码器
‑
解码器的蝴蝶结式对称结构实现输入图像到潜在空间的相互映射，实现输入图像的重构，再加入一个编码器作为判别器，形成对抗训练，确保重建图像的质量。4.根据权利要求2所述的异常检测方法，其特征在于：结构相似性损失L
SSIM
衡量输入图像I与重构图像I
r
的失真程度和相似程度，表达式为：其中H和W分别是输入图像I的高和宽，N
p
是输入图像I中的像素数，SSIM(I,I
r
)
(i,j)
是以图像坐标(i,j)为中心值，输入图像I与重构图像I
r
对应同一patch处的结构相似性值；上下文损失L
con
是输入图像I和重构图像I
r
之间的重构误差损失，从像素层面减小原始图像和重构图像的差距，表达式为：L
con
＝‖I
‑
I
r
‖2特征匹配损失L
lat
是重构图像I
r
与输入图像I经过生成网络中的判别器隐含层的输出的均方误差，目标是得到输入图像I和重构图像I
r
尽可能相似的潜在表示，表达式为：其中z是输入图像I经过生成网络中的判别器隐含层f得到的潜在表示，是重构图像I
r
经过生成网络中的判别器隐含层f得到的潜在表示；对抗损失L
adv
是输入图像I和重构图像I
r
经过生成网络中的判别器鉴别得到的交叉熵，目标是为了在训练期间最大化正常图像I的重建能力，表达式为：其中，表示I...

【专利技术属性】
技术研发人员：杨绿溪，魏雯，张亚中，谢国烜，李春国，黄永明，
申请(专利权)人：东南大学，
类型：发明
国别省市：