【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，具体涉及一种基于自编码器特征差异的图像异常检测方法和系统。
技术介绍
1、现有的图像异常检测方法常采用无监督方法对样本进行训练，由于无监督方法训练过程中只包含正常样本，因此需要先合成异常样本，通常是在正常图像上的任意位置随机添加异常像素，这种方法无法保证异常区域出现在图像中的语义区域，随机性较大，真实性较低；而采用基于自编码器的异常检测方法主要是利用自编码器进行图像重建，即希望输入异常测试图像时输出的重建图像中异常区域被重建为正常像素，通过对比输入输出能够定位异常区域，但现有方法不能保证重建后的像素精度。
技术实现思路
1、本专利技术的目的在于提供一种提升异常合成区域与图像中前景语义部分交互性以及提升重建性能的基于自编码器特征差异的图像异常检测方法和系统。
2、为了达到上述目的，本专利技术采用这样的技术方案：
3、一种基于自编码器特征差异的图像异常检测方法，包括如下依次执行的步骤：
4、s1：获取训练样本集和纹理数据集；
5、s2：将所述训练样本集和所述纹理数据集输入到异常生成器中，进行图像前景区域的异常合成，获得异常样本；
6、步骤s2中异常生成器的异常合成包括如下步骤：
7、s2-1：采用depth anything模型预测出训练样本集的深度图，深度图中的颜色差异反映了深度差异；
8、s2-2：采用二维的堆叠模糊滤波器将深度图的边界扩展，并通过预设的阈值获得深度图的
9、s2-3：采用二维的柏林噪声获得初始异常掩模，保留初始异常掩模与异常掩模有交集的掩模区域作为实际异常掩模；
10、s2-4：采用如下公式（1）从纹理数据集中进行异常像素的采样：
11、（1）；
12、采用如下公式（2）将异常像素与训练样本集组合得到异常样本：
13、（2）；
14、其中，表示逐元素点乘，是图像融合的透明度；
15、s3：将所述训练样本集和所述异常样本输入特征重建网络进行训练，特征重建网络的编码器提取的正常特征为、和，特征重建网络的解码器输出的重建特征为、和；
16、s4：将所述正常特征和所述重建特征分别输入到多尺度分割网络进行特征差值的组合，获得融合特征；
17、s5：将融合特征输入分割头网络中判别异常得分；
18、s6：根据预设规则利用所述异常得分求得图像得分，并输出异常得分和图像得分。
19、优选的，步骤s2-3中，将初始异常掩模与异常掩模进行相与操作获得掩模图，将掩模图进行最大连通域过滤，即可输出实际异常掩模。
20、优选的，步骤s3中，采用在imagenet数据集上预训练过的resnet34网络去掉最后的全连接层作为特征重建网络的编码器，采用与编码器相同结构的反向resnet34网络作为解码器；
21、特征重建网络的训练步骤如下：
22、s3-1：特征重建网络的编码器的第一层、第二层和第三层分别对训练样本集进行特征提取，获得正常特征为、和，正常特征作为特征重建网络的优化目标存储在编码器的内存中；
23、s3-2：特征重建网络的解码器的第一层、第二层和第三层分别对异常样本进行特征重建，输出重建特征、和；
24、将正常特征和重建特征记为；
25、s3-3：采用余弦相似度来缩小重建特征与正常特征之间的距离，总的重建损失是由三对特征图，，的余弦相似度损失求和计算得到，具体计算公式如下公式（3）所示：
26、（3）；
27、其中，表示某一层的特征，，；
28、对于每个余弦相似度损失由和在其通道维度的特征,求和计算得到，余弦损失采用如下公式（4）计算：
29、（4）；
30、其中，表示某一通道的特征，， c表示的通道数。
31、优选的，步骤s4中多尺度分割网络进行特征差值组合的具体步骤如下：
32、s4-1：采用如下公式（5）计算正常特征与对应的重建特征之间的特征差值（5）；
33、其中，；
34、s4-2：采用两个邻域双边引导聚合模块来组合多个特征差值，将和通过第一个邻域双边引导聚合模块，输出中间特征；
35、s4-3:将和送入第二个邻域双边引导聚合模块，获得最终的融合特征。
36、优选的，分割头网络采用异常得分与真实掩模的平均绝对值误差和求和来计算特征分割网络的训练损失，具体过程表示如下：
37、；
38、；
39、；
40、其中，为本类别相关的权重系数，设置为0.5，为调节参数，设置为4，为每个像素预测正确的概率，表示的是在尺寸为h*w的图上横坐标为，纵坐标为的位置，为在这个位置的像素异常得分，为在这个位置的真实掩模。
41、优选的，步骤s6的预设规则为：对异常得分从大到小进行排序，取前200个异常得分的平均值作为图像得分。
42、一种图像异常检测系统，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时，实现上述任一项所述的方法。
43、通过采用前述设计方案，本专利技术的有益效果是：本专利技术采用图像的深度信息引导异常合成区域，一方面提高了异常区域定位的方法，另一方面也提高了异常区域合成的真实性；
44、本专利技术采用正常样本和异常样本在特征重建网络中进行网络训练：充分利用重建网络内部特征的关系，减轻了以往方法通过图像重建方式导致的细粒度问题；
45、本专利技术采用多尺度特征差异进行异常区域分割：多尺度特征融合确保分割结果的全局一致性，通过编码器和解码器输出相减获得的特征差异可以直观地表示异常信号。
本文档来自技高网...【技术保护点】
1.一种基于自编码器特征差异的图像异常检测方法，其特征在于：包括如下依次执行的步骤：
2.如权利要求1所述的基于自编码器特征差异的图像异常检测方法，其特征在于：步骤S2-3中，将初始异常掩模与异常掩模进行相与操作获得掩模图，将掩模图进行最大连通域过滤，即可输出实际异常掩模。
3.如权利要求1所述的基于自编码器特征差异的图像异常检测方法，其特征在于：步骤S3中，采用在ImageNet数据集上预训练过的ResNet34网络去掉最后的全连接层作为特征重建网络的编码器，采用与编码器相同结构的反向ResNet34网络作为解码器；
4.如权利要求3所述的基于自编码器特征差异的图像异常检测方法，其特征在于：
5.如权利要求1所述的基于自编码器特征差异的图像异常检测方法，其特征在于：
6.如权利要求1所述的基于自编码器特征差异的图像异常检测方法，其特征在于：步骤S6的预设规则为：对异常得分从大到小进行排序，取前200个异常得分的平均值作为图像得分。
7.一种图像异常检测系统，包括存储器和处理器，所述存储器上存储有计算机程序，
...【技术特征摘要】
1.一种基于自编码器特征差异的图像异常检测方法，其特征在于：包括如下依次执行的步骤：
2.如权利要求1所述的基于自编码器特征差异的图像异常检测方法，其特征在于：步骤s2-3中，将初始异常掩模与异常掩模进行相与操作获得掩模图，将掩模图进行最大连通域过滤，即可输出实际异常掩模。
3.如权利要求1所述的基于自编码器特征差异的图像异常检测方法，其特征在于：步骤s3中，采用在imagenet数据集上预训练过的resnet34网络去掉最后的全连接层作为特征重建网络的编码器，采用与编码器相同结构的反向resnet34网络作为...
【专利技术属性】
技术研发人员：巢建树，陈思遥，李垚卿，赖耀平，赵庆辉，
申请(专利权)人：泉州装备制造研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。