System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于NMCDP框架的工业图像缺陷检测方法、设备及介质技术_技高网

基于NMCDP框架的工业图像缺陷检测方法、设备及介质技术

技术编号:42021514 阅读:3 留言:0更新日期:2024-07-16 23:13
本发明专利技术提供了一种基于NMCDP框架的工业图像缺陷检测方法、设备及介质,涉及表面缺陷检测和计算机人工智能领域,方法包括:收集多标签工业缺陷图像并进行预处理,构建数据集;构建多通道区别池化的分类模型;训练分类模型,得到所有缺陷类别的类激活图;根据类激活图的真实的图像级标签来生成像素级伪标签;构建语义分割神经网络,借助像素级伪标签作为训练监督,训练语义分割神经网络;获取待检测的工业缺陷图像,通过训练后的语义分割神经网络对待检测的工业缺陷图像进行缺陷区域的分割。借助像素级伪标签作为训练监督,填补了多标签工业曲线图像的弱监督缺陷检测的技术空白,能够显著提升模型的实用性和检测效率。

【技术实现步骤摘要】

本专利技术涉及表面缺陷检测和计算机人工智能领域,尤其涉及一种基于nmcdp框架的工业图像缺陷检测方法、设备及介质。


技术介绍

1、在工业生产和机械维护领域,表面缺陷检测是确保产品质量和系统可靠性的关键环节。特别是在齿轮箱等关键机械部件的制造和维护过程中,表面缺陷的早期识别和准确检测对于预防故障、延长设备寿命以及保证安全运行具有至关重要的意义。工业产品表面的微小裂纹、磨损或者其它缺陷,即使是极其微小的缺陷,也可能导致性能下降、运行故障乃至系统的崩溃,进而带来严重的经济损失和安全风险。准确识别并分割缺陷区域并赋予其语义信息具有至关重要的实际意义。这不仅有助于获取关键属性如缺陷面积,而且对于评估齿轮箱的健康状况极为关键。例如对于磨损——齿轮故障的一种常见模式,根据iso14635-1和gbt14229-93的标准,其面积比是评价齿轮功效的重要指标。

2、传统的表面缺陷检测方法,通常依赖于经验丰富的专家手动执行,这种方式效率低下、成本高昂,且难以达到高精度和实时检测的要求。随着深度学习技术的进步,其在表面缺陷检测领域显示出了巨大的潜力。深度学习通过其强大的特征学习和模式识别能力,已被证明可以有效识别和定位齿轮箱等复杂机械部件中的各种表面缺陷。这使得机器视觉技术能够实现齿轮缺陷的精确和实时测量,为智能运行和维护提供了新的可能。

3、然而,工业产品的表面缺陷面临种类繁多、缺陷特征难以提取、数据标注难且以及工作量大等问题。而传统的全监督学习的语义分割模型的识别效果往往依赖于大量的像素级标注数据,难以满足工业场景下的应用要求。现有研究主要集中于单标签图像,对于包含多种缺陷的多标签图像处理尚不成熟。


技术实现思路

1、本专利技术的目的在于:为了解决现有的深度视觉模型在执行表面缺陷检测任务时需要大量精确的像素级标注,且在处理多标签的工业缺陷图像时存在检测精度下降问题,提供一种基于nmcdp框架的工业图像缺陷检测方法、设备及介质。

2、本专利技术的上述目的是通过以下技术方案得以实现的:

3、s1:收集多标签工业缺陷图像并进行预处理,构建数据集;

4、s2:构建多通道区别池化的分类模型;

5、s3:通过数据集训练多通道区别池化的分类模型,得到所有缺陷类别的类激活图a;

6、s4:根据所有缺陷类别的类激活图a的真实的图像级标签来生成像素级伪标签;

7、s5:构建语义分割神经网络,借助像素级伪标签作为训练监督,训练语义分割神经网络;

8、s6:获取待检测的工业缺陷图像,通过训练后的语义分割神经网络对待检测的工业缺陷图像进行缺陷区域的分割。

9、可选的,步骤s1包括:

10、s11:对多标签工业缺陷图像执行分辨率与尺寸的标准化处理;

11、s12:对多标签工业缺陷图像执行标注作业。

12、可选的,所述多通道区别池化的分类模型包括:特征提取器、类激活图映射层、增量动态注意力调整模块以及特征增强池化模块。

13、可选的,步骤s3包括:

14、s31:通过特征提取器,提取数据集中的输入图像x的深度特征图,如下:

15、fg(x,φg)→m

16、s32:深度特征图的特征m依次通过类激活图映射层,得到每个缺陷类别的类激活图ac,如下:

17、将特征m通过分类层映射到每个类的维度:

18、fl(m,φl)→a

19、其中,fl是一个无偏置且核尺寸和步长为1的卷积层,φl代表fl的参数,a表示输入图像x所有缺陷类别的类激活图;类激活图a的每个通道的特征图,即为每个缺陷类别的类激活图ac;

20、s33:通过增量动态注意力调整模块,对映射后的类激活图a进行增量动态注意力调整,具体包括:

21、对于类激活图a的每个通道的特征图ac,引入一个动态调整率θ,通过动态调整逐步减少类激活图a中的高激活区域,如下所示:

22、

23、根据训练轮次,以自适应的方式调整动态调整率θ,动态调整率θ的调整公式如下:

24、

25、其中,e表示当前的训练轮次,而t是增量动态注意力调整模块开始的轮次;

26、s34:通过特征增强池化模块,对调整后的类激活图a应用特征增强池化,具体步骤如下:

27、将特征图ac中的所有特征值按降序排列为其中表示特征图ac中的n个特征值;c表示类激活图a中的某一类;

28、调整特征图ac的fep池化得分fepc,如下:

29、

30、其中m表示特征图ac中缺陷区域的像素数量;ei代表一个递减的等差数列;表示特征图ac中经过排序后的第i个特征值;di代表一个公比为q的等差数列,其中q小于1;

31、前m个位置的权重以线性方式减少到1;第m个位置以后的权重沿着序列呈指数级减少,权值ei和权值di的公式如下:

32、

33、其中,t是权重的最大值;

34、s35:通过sigmoid激活函数替换分类模型的输出层的softmax激活函数,计算分类模型中的全连接层的输出值与数据集的真实标签y(i)的交叉熵损失值如下:

35、

36、其中,n表示样本数,y(i)和为向量形式;

37、通过计算交叉熵损失值调整分类模型的参数。

38、可选的,步骤s4包括:

39、对于每个输入图像x,通过分类模型中的特征提取器以及分类模型中的类激活图映射层,得到输入图像中的所有缺陷类别的类激活图a;

40、设输入图像x对应的真实的图像级标签y=[y1,y2,…,yn],其中yi=1表示类别缺陷存在,yi=0表示类别缺陷缺失;

41、保留分类模型中的真实的图像级标签y对应的缺陷类别通道,确定输入图像x中保留的缺陷类别,公式表示如下:

42、cams=a⊙y

43、其中⊙表示元素相乘,cams表示概率图;

44、对类激活图a的概率图cams进行argmax运算,得到像素级伪标签p(i,j),如下

45、p(i,j)=argmax(cams(i,j))

46、其中,(i,j)表示概率图中的元素坐标,argmax表示求最大值。

47、可选的,步骤s5包括:采用deeplabv3+网络作为语义分割神经网络的主体。

48、一种电子设备,包括处理器、存储器、用户接口及网络接口,所述存储器用于存储指令,所述用户接口和网络接口用于给其他设备通信,所述处理器用于执行所述存储器中存储的指令,以使所述电子设备执行一种基于nmcdp框架的工业图像缺陷检测方法。

49、一种计算机可读存储介质,所述计算机可读存储介质存储有指令,当所述指令被执行时,执行一种基于nmcdp框架的工业图像缺陷检测方法。

50、本专利技术提供的技术方本文档来自技高网...

【技术保护点】

1.一种基于NMCDP框架的工业图像缺陷检测方法,其特征在于,方法包括以下步骤:

2.如权利要求1所述的一种基于NMCDP框架的工业图像缺陷检测方法,其特征在于,步骤S1包括:

3.如权利要求1所述的一种基于NMCDP框架的工业图像缺陷检测方法,其特征在于,所述多通道区别池化的分类模型包括:特征提取器、类激活图映射层、增量动态注意力调整模块以及特征增强池化模块。

4.如权利要求3所述的一种基于NMCDP框架的工业图像缺陷检测方法,其特征在于,步骤S3包括:

5.如权利要求1所述的一种基于NMCDP框架的工业图像缺陷检测方法,其特征在于,步骤S4包括:

6.如权利要求1所述的一种基于NMCDP框架的工业图像缺陷检测方法,其特征在于,步骤S5包括:采用DeepLabV3+网络作为语义分割神经网络的主体。

7.一种电子设备,其特征在于,包括处理器(501)、存储器(505)、用户接口(503)及网络接口(504),所述存储器(505)用于存储指令,所述用户接口(503)和网络接口(504)用于给其它设备通信,所述处理器(501)用于执行所述存储器(505)中存储的指令,以使所述电子设备执行如权利要求1-6任意一项所述的方法。

8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有指令,当所述指令被执行时,执行如权利要求1-6任意一项所述的方法步骤。

...

【技术特征摘要】

1.一种基于nmcdp框架的工业图像缺陷检测方法,其特征在于,方法包括以下步骤:

2.如权利要求1所述的一种基于nmcdp框架的工业图像缺陷检测方法,其特征在于,步骤s1包括:

3.如权利要求1所述的一种基于nmcdp框架的工业图像缺陷检测方法,其特征在于,所述多通道区别池化的分类模型包括:特征提取器、类激活图映射层、增量动态注意力调整模块以及特征增强池化模块。

4.如权利要求3所述的一种基于nmcdp框架的工业图像缺陷检测方法,其特征在于,步骤s3包括:

5.如权利要求1所述的一种基于nmcdp框架的工业图像缺陷检测方法,其特征在于,步骤s4包括:

6.如权利要...

【专利技术属性】
技术研发人员:彭雷张子蕴戴光明王茂才宋志明陈晓宇
申请(专利权)人:中国地质大学武汉
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1