一种考虑标签不确定性的图像异常检测方法技术

本发明专利技术属于图像异常检测相关技术领域，其公开了一种考虑标签不确定性的图像异常检测方法，该方法包含专家网络与学徒网络，分为训练与测试两个阶段。训练阶段，根据训练图像掩膜生成空间不确定性掩膜。后将训练图像输入专家网络和学徒网络提取得到专家特征和学徒特征，并根据训练图像掩膜、空间不确定性掩膜将所有特征分为混淆特征、正常特征、异常特征，在优化过程中增大正常特征相似度、减小异常特征相似度，对混淆特征不进行显式优化以避免优化方向歧义问题。在测试阶段，使用专家网络、学徒网络对测试图像提取特征，计算学徒网络与专家网络的相似度，取负后即为异常区域。本方法考虑了工业产品图像中的标签不确定性，提升了图像异常检测能力。像异常检测能力。像异常检测能力。

【技术实现步骤摘要】
一种考虑标签不确定性的图像异常检测方法


[0001]本专利技术属于图像异常检测相关
，更具体地，涉及一种考虑标签不确定性的图像异常检测方法。

技术介绍

[0002]近年来工业制造只能化成为发展趋势，智能化的重要组成之一为工业质检智能化。实际工业生产过程中，由于各种不可知的状况如机器故障、工人误操作等情况，工业产品可能会出现质量问题，如表面质量缺陷，又称表面质量异常。现有技术常用人工视检，不同工人的检测能力存在差异，导致产品良品率难以保证。基于机器视觉的自动化工业质检技术有望大幅提高工业质检的智能化程度。
[0003]现有的智能化机器视觉质检算法通常为基于深度学习的图像异常检测算法，该类算法需要大量的像素级别标记数据。然而，对图像的像素级标注成本较高，且不同工人标注时的标准不一，导致标注得到的标签存在不确定性。具体而言，工业图像的标签不确定性表现为以下方面：不同工人对图像中的缺陷位置判断存在差异，导致标注过程中存在欠标注、精细标注、过标注三种情况，如图1所示，即使标注十分精细，标注的边界区域也容易带来歧义。因此，考虑标签不确定性有望提升现有图像异常检测的性能。

技术实现思路

[0004]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种考虑标签不确定性的图像异常检测方法，通过剔除混淆特征，进而对混淆特征不进行显式优化避免优化方向歧义，优化过程中增大正常特征相似度，减小异常特征相似度，提升了图像异常检测能力。
[0005]为实现上述目的，按照本专利技术的一个方面，提供了一种考虑标签不确定性的图像异常检测方法，所述方法包括：S1：根据训练图像数据集中的训练图像得出训练图像掩膜，将所述训练图像掩膜进行膨胀后与训练图像掩膜逐像素相减后获得空间不确定性掩膜；S2：获取训练完成的特征提取深度神经网络，即专家网络，以及未训练的特征提取深度神经网络，即学徒网络；S3：将所述训练图像分别输入专家网络和学徒网络得到专家特征和学徒特征；S4：依据所述训练图像掩膜和空间不确定性掩膜各个像素位置处的像素值，将所述专家特征与学徒特征进一步分为专家混淆特征、专家正常特征、专家异常特征、学徒混淆特征、学徒正常特征和学徒异常特征；S5：对专家正常特征和学徒正常特征之间的余弦相似度以及专家异常特征和学徒异常特征之间的余弦相似度进行约束，得到约束结果，基于所述约束结果进行反向传播以优化所述学徒网络的参数；S6：将待测试图像同时输入所述专家网络和参数优化后的学徒网络获得专家提取特征和学徒提取特征，计算所述专家提取特征和学徒提取特征的相似度值，根据所述相似度值获得待测图像的异常区域。
[0006]优选地，步骤S4具体为：将空间不确定性掩膜中为1的像素坐标对应的专家特征和学徒特征判别为专家混淆特征和学徒混淆特征；将空间不确定性掩膜中为0且训练图像掩膜中为0的像素坐标对应的专家特征和学徒特征判别为专家正常特征和学徒正常特征；将
空间不确定性掩膜中为0且训练图像掩膜中为1的像素坐标对应的专家特征和学徒特征判别为专家异常特征和学徒异常特征。
[0007]优选地，步骤S5中对专家正常特征和学徒正常特征之间的余弦相似度以及专家异常特征和学徒异常特征之间的余弦相似度进行约束的约束函数L为：
[0008][0009]其中，为专家正常特征，为学徒正常特征，为专家异常特征，为学徒异常特征，N
N
为和的数量和，N
A
为和的数量和。
[0010]优选地，步骤S1具体包括：构建形态操作核1
w
×
w
，其中w为预设参数；使用所述形态操作核1
w
×
w
对训练图像掩膜M进行膨胀操作；将膨胀后的掩膜与原始训练图像掩膜M进行逐像素相减得到所述空间不确定性掩膜M
u
，具体公式如下：
[0011][0012]其中，为膨胀操作，为像素级别相减操作。
[0013]优选地，步骤S6中采用如下公式计算所述专家提取特征和学徒提取特征的相似度值A：
[0014][0015]其中，i和j为对应像素位置处的像素坐标，F
ε
为专家提取特征，F
ξ
为学徒提取特征。
[0016]优选地，步骤S6中当所述相似度值为负值时则对应区域为异常区域。
[0017]优选地，步骤S4中还进一步包括剔除所述专家混淆特征和学徒混淆特征。
[0018]总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，本专利技术提供的一种考虑标签不确定性的图像异常检测方法具有如下有益效果：
[0019]1.本申请通过构建空间不确定性掩膜，进而可以剔除混淆特征，进而对混淆特征不进行显式优化避免了优化方向歧义，进而避免了标签不确定性，使得构建的网络训练过程中提高了正常特征的相似性，降低了异常特征的相似性，使得图像检测更加精准。
[0020]2.通过构建约束函数，使得学徒网络和专家网络的正常特征相似度增加，异常特征相似度减小，因此学徒网络和专家网络的输出特征的相似度可有效表征图像像素级别的异常程度。
附图说明
[0021]图1是现有技术中的常规标注示意图；
[0022]图2是标签导致的特征混淆示意图；
[0023]图3是本申请考虑标签不确定性的图像异常检测方法的步骤图；
[0024]图4是本申请考虑标签不确定性的图像异常检测方法的流程图；
[0025]图5是空间不确定性掩膜生成示意图；
[0026]图6是考虑标签不确定性前后的优化结果示意图；
[0027]图7是本申请考虑标签不确定性的图像异常检测方法的测试阶段示意图。
具体实施方式
[0028]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0029]在进行训练图像检测时由于标签不确定性，专家网络提取的正常数据特征和异常数据特征可能存在较大的相似性，如标注区域边界周围既有正常特征又有异常特征，如图2所示，称其为混淆特征。在传统知识蒸馏方案中，学徒网络期望输出与专家网络相似度高的正常特征，相似度低的异常特征，而混淆特征的存在导致学徒网络的优化方向出现歧义。为了避免混淆特征导致的优化歧义，本申请在优化学徒网络时考虑标签不确定性。具体而言，本申请首先根据训练图像掩膜生成空间不确定性掩膜。而后，将训练图像分别输入到专家网络与学徒网络，得到专家特征与学徒特征。进一步地，采用训练图像掩膜、空间不确定性掩膜对所得特征进行分类，得到专家网络与学徒网络中的混淆特征、正常特征、异常特征。对混淆特征的优化会导致优化方向出现歧义，因此，本申请仅优化正常特征、异常特征。具体而言，通过优化学徒网络参数，使学徒网络、专家网络的正常特征相似度增大，异常特征相似度减小。至此，学徒网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种考虑标签不确定性的图像异常检测方法，其特征在于，所述方法包括：S1：根据训练图像数据集中的训练图像得出训练图像掩膜，将所述训练图像掩膜进行膨胀后与训练图像掩膜逐像素相减后获得空间不确定性掩膜；S2：获取训练完成的特征提取深度神经网络，即专家网络，以及未训练的特征提取深度神经网络，即学徒网络；S3：将所述训练图像分别输入专家网络和学徒网络得到专家特征和学徒特征；S4：依据所述训练图像掩膜和空间不确定性掩膜各个像素位置处的像素值，将所述专家特征与学徒特征进一步分为专家混淆特征、专家正常特征、专家异常特征、学徒混淆特征、学徒正常特征和学徒异常特征；S5：对专家正常特征和学徒正常特征之间的余弦相似度以及专家异常特征和学徒异常特征之间的余弦相似度进行约束，得到约束结果，基于所述约束结果进行反向传播以优化所述学徒网络的参数；S6：将待测试图像同时输入所述专家网络和参数优化后的学徒网络获得专家提取特征和学徒提取特征，计算所述专家提取特征和学徒提取特征的相似度值，根据所述相似度值获得待测图像的异常区域。2.根据权利要求1所述的方法，其特征在于，步骤S4具体为：将空间不确定性掩膜中为1的像素坐标对应的专家特征和学徒特征判别为专家混淆特征和学徒混淆特征；将空间不确定性掩膜中为0且训练图像掩膜中为0的像素坐标对应的专家特征和学徒特征判别为专家正常特征和学徒正常特征；将空间不确定性掩膜中为0且训练图像掩膜中为1的像素坐标对应的专家特征和学徒特征判别为专...

【专利技术属性】
技术研发人员：沈卫明，曹云康，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：