【技术实现步骤摘要】
本专利技术属于图像识别，具体涉及一种基于三塔式知识蒸馏架构的多类别工业图像异常检测方法及装置。
技术介绍
1、在工业领域中，异常检测和定位是智能制造中的重要任务，主要通过人工智能方法自动识别缺陷产品表面缺陷，在兼顾准确率和效率的情况下，大量节省人力成本，保证更加安全和智能的生产环境。然而，在实际应用中往往会受到一定的限制，例如工业产品中异常样本的稀缺性和异常类型的复杂多样性。一种常见的解决方案是使用无监督的学习方法，只对正常样本进行建模学习，并为测试集中的样本通过计算异常分数来识别异常区域。其中，基于知识蒸馏的方法大多为双塔式架构设计，即通过训练单个学生网络模仿教师网络在正常图像上的输出，并基于学生网络难以预测教师网络在异常数据上的输出这一假设来检测异常。此外，现有用于异常检测的学生-教师方法大多遵循“单类别-单模型”的模式，即需要对不同的产品类别的样本需要训练不同的学生-教师模型，而每一个特定类别的模型仅能针对性的检测该类别下的异常样本。然而在工业领域中，庞大的产品类别会使得大量相应的模型需要训练和存储，这样的代价是随着类别数量呈现线性增长的。相比之下，一种更加适用工业场景下的模式是“多类别-单模型”的联合异常检测，即在涵盖多产品类别的正常样本上学习一个统一模型，使得该统一模型具备在多类产品上同时检测异常的能力。在这样联合异常检测的场景下，现有的基于双塔式架构的知识蒸馏网络往往受限于模型自身设计，缺乏对多类别样本的建模表达能力，从而在联合异常检测场景下的表现不佳。
技术实现思路
2、为了实现上述目的，本专利技术采用的技术方案是：提供一种基于三塔式知识蒸馏架构的多类别工业图像异常检测方法，包括以下步骤：
3、对于待检测的多类别工业图像数据，经过预处理后输入到训练好基于三塔式知识蒸馏网络架构的多类别异常检测统一模型，提取教师网络与局部上下文学生网络所得特征之间的特征差异图、教师网络与全局上下文学生网络所得特征之间的特征差异图以及局部上下文学生网络与全局上下文学生网络所得特征之间的特征差异图；
4、基于上述三种特征差异图，计算像素级的异常分数图和判断图像是否存在异常，并计算异常图像级的异常分数对于异常图像定位出异常区域；
5、所述基于三塔式知识蒸馏网络架构的多类别异常检测统一模型包括局部学生网络、全局学生网络和预训练的教师网络；所述局部上下文学生网络使用局部上下文特征来预测输出局部特征表示；所述全局上下文学生网络使用全局上下文特征来预测获取特征表示；所述预训练的教师网络为在大规模数据集上预训练的模型。
6、进一步的，对所述基于三塔式知识蒸馏网络架构的多类别异常检测统一模型的训练包括以下步骤：
7、将不同产品类别的工业图像混合为统一数据集；所述统一数据集的图像均规范到相同的大小；
8、构建基于三塔式知识蒸馏网络架构的多类别异常检测网络，基于三塔式知识蒸馏网络架构的多类别异常检测网络包括局部上下文学生网络、全局上下文学生网络和预训练的教师网络的三塔式架构，分别输出三种不同的特征表示；所述预训练的教师网络为在大规模数据集上预训练的模型；所述局部上下文学生网络由局部自注意力编码器和全连接预测头构成；所述全局上下文学生网络由全局自注意力编码器和全连接预测头构成；
9、基于预处理的统一数据集中包含多类别正常工业图像的训练集，通过特征蒸馏损失分别约束局部上下文学生网络和全局上下文学生网络输出的特征表示与预训练的教师网络输出的特征表示一致，以及通过特征对齐损失约束局部上下文学生网络和全局上下文学生网络之间的输出特征表示一致；
10、对于待检测的多类别工业图像数据，输入到训练好的基于三塔式知识蒸馏网络架构的多类别异常检测统一模型中，分别获取教师网络、全局上下文学生网络和局部上下文学生网络所输出的特征表示，并通过两两计算差值获取三种不同特征差异图；
11、基于三种不同特征差异图，通过基于特征差异的异常识别/定位模块，得到图像级的异常分数用于识别异常图像，并得到像素级的异常分数图用于异常图像中的异常区域。
12、进一步的，训练集涵盖不同类型工业产品用于训练的正常图像，且在训练过程中不使用产品的类别信息；测试集涵盖不同类型工业产品用于测试的图像，涵盖未在训练集中出现的正常图像和异常图像。
13、进一步的，所述局部自注意力编码器包括图像分块、位置编码、层归一化、全连接层以及所设计的局部上下文注意力模块；局部上下文注意力模块中，对于每个目标块的特征，限制目标块只能与自身周围设定窗口大小的上下文特征计算自注意力。
14、进一步的，所述全局自注意力编码器包括图像分块、位置编码、层归一化、全连接层以及所设计的全局上下文注意力模块，全局上下文注意力模块中，对于每个目标块的特征，屏蔽目标块周围设定窗口大小的上下文特征，并与屏蔽窗口外的全局区域特征计算自注意力。
15、进一步的，所述全连接预测头为多层感知机网络，全局上下文学生网络和局部上下文学生网络分别采用两个多层感知机网络作预测头，所述两个全连接预测头具有相同的网络结构。
16、进一步的，设定网络模型参数和迭代次数，采用adamw优化器对联合训练损失进行极小化并优化模型参数，
17、用特征蒸馏损失约束两个学生网络分别通过全局和局部上下文预测的特征表示与预训练的教师输出的特征表示一致；
18、用特征对齐损失约束全局上下文学生网络和局部上下文学生网络输出的特征表示之间的一致性；
19、联合训练损失为特征蒸馏损失和特征对齐损失的组合：
20、
21、其中，为用来平衡两种损失之间的权重超参数。
22、进一步的，基于上述三种特征差异图，计算像素级的异常分数图和判断图像是否存在异常，并计算异常图像级的异常分数对于异常图像定位出异常区域包括：获取教师网络与局部上下文学生网络之间的特征差异图、教师网络与全局上下文学生网络之间的特征差异图以及局部上下文学生网络与全局上下文学生网络之间的特征差异图，
23、对三种特征差异图取平均得到平均特征差异图；
24、对平均特征差异图上采样得到原始图像大小的像素级的异常分数图；
25、对异常分数图取最大值得到异常图像级的异常分数；
26、所得到的图像级异常分数用于区分异常图像与正常图像，所得到像素级的异常分数图用于异常图像中的异常区域。
27、本专利技术还可以提供一种计算机设备，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取所述计算机可执行程序并执本文档来自技高网...
【技术保护点】
1.一种基于三塔式知识蒸馏架构的多类别工业图像异常检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于三塔式知识蒸馏架构的多类别工业图像异常检测方法，其特征在于，对所述基于三塔式知识蒸馏网络架构的多类别异常检测统一模型的训练包括以下步骤：
3.根据权利要求2所述的基于三塔式知识蒸馏架构的多类别工业图像异常检测方法，其特征在于，训练集涵盖不同类型工业产品用于训练的正常图像，且在训练过程中不使用产品的类别信息；测试集涵盖不同类型工业产品用于测试的图像，涵盖未在训练集中出现的正常图像和异常图像。
4.根据权利要求2所述的基于三塔式知识蒸馏架构的多类别工业图像异常检测方法，其特征在于，所述局部自注意力编码器包括图像分块、位置编码、层归一化、全连接层以及所设计的局部上下文注意力模块；局部上下文注意力模块中，对于每个目标块的特征，限制目标块只能与自身周围设定窗口大小的上下文特征计算自注意力。
5.根据权利要求2所述的基于三塔式知识蒸馏架构的多类别工业图像异常检测方法，其特征在于，所述全局自注意力编码器包括图像分块、位置编码、层归一
6.根据权利要求2所述的基于三塔式知识蒸馏架构的多类别工业图像异常检测方法，其特征在于，所述全连接预测头为多层感知机网络，全局上下文学生网络和局部上下文学生网络分别采用两个多层感知机网络作预测头，所述两个全连接预测头具有相同的网络结构。
7.根据权利要求2所述的基于三塔式知识蒸馏架构的多类别工业图像异常检测方法，其特征在于，设定网络模型参数和迭代次数，采用AdamW优化器对联合训练损失进行极小化并优化模型参数，
8.根据权利要求1所述的基于三塔式知识蒸馏架构的多类别工业图像异常检测方法，其特征在于，基于上述三种特征差异图，计算像素级的异常分数图和判断图像是否存在异常，并计算异常图像级的异常分数对于异常图像定位出异常区域包括：获取教师网络与局部上下文学生网络之间的特征差异图、教师网络与全局上下文学生网络之间的特征差异图以及局部上下文学生网络与全局上下文学生网络之间的特征差异图，
9.一种计算机设备，其特征在于，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取部分或者全部所述计算机可执行程序并执行，处理器执行部分或全部计算可执行程序时能实现权利要求1-7任一项所述的基于三塔式知识蒸馏架构的多类别工业图像异常检测方法。
10.一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现权利要求1-7任一项所述基于三塔式知识蒸馏架构的多类别工业图像异常检测方法。
...【技术特征摘要】
1.一种基于三塔式知识蒸馏架构的多类别工业图像异常检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于三塔式知识蒸馏架构的多类别工业图像异常检测方法，其特征在于，对所述基于三塔式知识蒸馏网络架构的多类别异常检测统一模型的训练包括以下步骤：
3.根据权利要求2所述的基于三塔式知识蒸馏架构的多类别工业图像异常检测方法，其特征在于，训练集涵盖不同类型工业产品用于训练的正常图像，且在训练过程中不使用产品的类别信息；测试集涵盖不同类型工业产品用于测试的图像，涵盖未在训练集中出现的正常图像和异常图像。
4.根据权利要求2所述的基于三塔式知识蒸馏架构的多类别工业图像异常检测方法，其特征在于，所述局部自注意力编码器包括图像分块、位置编码、层归一化、全连接层以及所设计的局部上下文注意力模块；局部上下文注意力模块中，对于每个目标块的特征，限制目标块只能与自身周围设定窗口大小的上下文特征计算自注意力。
5.根据权利要求2所述的基于三塔式知识蒸馏架构的多类别工业图像异常检测方法，其特征在于，所述全局自注意力编码器包括图像分块、位置编码、层归一化、全连接层以及所设计的全局上下文注意力模块，全局上下文注意力模块中，对于每个目标块的特征，屏蔽目标块周围设定窗口大小的上下文特征，并与屏蔽窗口外的全局区域特征计算自注意力。
6.根据权利要求2所述的基于三塔式知识蒸馏架构的多类别工业...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。