System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及视觉图像,尤其涉及的是一种基于热图提示的缺陷检测方法及装置。
技术介绍
1、在工业生产过程中,由于现有技术、工作条件等因素的不足和局限性,极易影响制成品的质量。其中,表面缺陷是产品质量受到影响的最直观表现。因此,为了保证合格率和可靠的质量,必须进行产品表面缺陷检测。质量控制长期依赖于人工检查,这限制了生产的质量和效率。因此越来越多的研究集中在自动化工业缺陷检测上。
2、近年来,基础模型取得了显著成功。在视觉领域,视觉基础模型通过大规模的数据集进行预训练,其中的transfromer(一种注意力机制的训练模型)主干网络展现出强大的特征提取能力。这些预训练的基础模型往往通过微调的方式来应用于下游任务,并展现出优秀的泛化能力和迁徙能力。但是,这种通过微调的基础模型并不适用于现有的自动化工业缺陷检测任务上,因此需要人工给予视觉基础模型提示信息,无法实现自动给予视觉基础模型提示信息。
3、因此,现有技术还有待改进。
技术实现思路
1、本专利技术要解决的技术问题在于,针对现有技术缺陷,本专利技术提供一种基于热图提示的缺陷检测方法及装置,以解决现有的基础模型无法实现自动给予视觉基础模型提示信息的问题。
2、本专利技术解决技术问题所采用的技术方案如下:
3、第一方面,本专利技术提供基于热图提示的缺陷检测方法,包括:
4、获取多种工业缺陷种类的图像数据集;
5、根据所述图像数据集提取得到预测热图;
6、
7、基于所述训练后的工业缺陷提示模型对待测的缺陷图像进行预测,分割得到缺陷区域。
8、在一种实现方式中,所述获取多种工业缺陷种类的图像数据集,包括:
9、获取多种工业缺陷种类的图像数据集;其中,所述图像数据集为带有像素级分割标注的异常数据集;
10、按照预设比例将所述图像数据集划分为训练集和测试集;
11、对所述训练集和所述测试集进行预处理,将所有的图像调整为相同大小的图像。
12、在一种实现方式中,所述根据所述图像数据集提取得到预测热图,包括:
13、将所述训练集中的图像输入冻结的sam基础模型中的transformer编码器,得到中间层图像特征和最终图像特征;
14、将所述中间层图像特征输入特征融合提取网络,得到融合特征;
15、将所述融合特征输入热图预测头,得到所述预测热图。
16、在一种实现方式中,所述热图预测头包括:第一卷积层和第二卷积层;所述第一卷积层为下卷积层,所述第二卷积层为1*1卷积层。
17、在一种实现方式中,所述将所述融合特征输入热图预测头,得到所述预测热图,之后还包括:
18、通过分段编码网络将所述预测热图和所述最终图像特征按空间对齐,并将对齐后的预测热图和所述最终图像特征进行融合,得到提示后的特征;
19、将所述提示后的特征输入冻结的sam基础模型中的掩码解码器,输出所述待测的缺陷图像的缺陷分割结果。
20、在一种实现方式中,所述根据所述预测热图与热图真实标签之间的平均误差损失进行监督训练,得到训练后的工业缺陷提示模型,包括:
21、计算所述预测热图与所述热图真实标签的平均误差损失,并根据所述平均误差损失对所述热图预测头进行监督训练;
22、计算所述缺陷分割结果与分割标签的交叉熵损失,并根据所述交叉熵损失对整个分割过程进行监督训练,得到所述训练后的工业缺陷提示模型。
23、在一种实现方式中,所述基于所述训练后的工业缺陷提示模型对待测的缺陷图像进行预测,分割得到缺陷区域,包括:
24、将所述测试集中的图像作为所述待测的缺陷图像;
25、将所述待测的缺陷图像输入所述训练后的工业缺陷提示模型进行预测,输出所述待测的缺陷图像的缺陷分割结果。
26、第二方面,本专利技术提供一种基于热图提示的缺陷检测装置,包括:
27、获取模块,用于获取多种工业缺陷种类的图像数据集;
28、预测热图模块,根据所述图像数据集提取得到预测热图;
29、监督训练模块,根据所述预测热图与热图真实标签之间的平均误差损失进行监督训练,得到训练后的工业缺陷提示模型;
30、预测模块,基于所述训练后的工业缺陷提示模型对待测的缺陷图像进行预测,分割得到缺陷区域。
31、第三方面,本专利技术提供一种终端,包括:处理器以及存储器,所述存储器存储有基于热图提示的缺陷检测程序,所述基于热图提示的缺陷检测程序被所述处理器执行时用于实现如第一方面所述的基于热图提示的缺陷检测方法的操作。
32、第四方面,本专利技术还提供一种介质,所述介质为计算机可读存储介质,所述介质存储有基于热图提示的缺陷检测程序,所述基于热图提示的缺陷检测程序被处理器执行时用于实现如第一方面所述的基于热图提示的缺陷检测方法的操作。
33、本专利技术采用上述技术方案具有以下效果:
34、本专利技术通过获取多种工业缺陷种类的图像数据集,可根据图像数据集提取得到预测热图,以及根据预测热图与热图真实标签之间的平均误差损失进行监督训练,得到训练后的工业缺陷提示模型,从而基于训练后的工业缺陷提示模型对待测的缺陷图像进行预测,分割得到缺陷区域。本专利技术提出一种新的基于基础模型的骨架化热图提示网络,实现了自动给予视觉基础模型提示信息,提高了自动化工业缺陷检测任务的精度。
本文档来自技高网...【技术保护点】
1.一种基于热图提示的缺陷检测方法,其特征在于,包括:
2.根据权利要求1所述的基于热图提示的缺陷检测方法,其特征在于,所述获取多种工业缺陷种类的图像数据集,包括:
3.根据权利要求2所述的基于热图提示的缺陷检测方法,其特征在于,所述根据所述图像数据集提取得到预测热图,包括:
4.根据权利要求3所述的基于热图提示的缺陷检测方法,其特征在于,所述热图预测头包括:第一卷积层和第二卷积层;所述第一卷积层为下卷积层,所述第二卷积层为1*1卷积层。
5.根据权利要求3所述的基于热图提示的缺陷检测方法,其特征在于,所述将所述融合特征输入热图预测头,得到所述预测热图,之后还包括:
6.根据权利要求5所述的基于热图提示的缺陷检测方法,其特征在于,所述根据所述预测热图与热图真实标签之间的平均误差损失进行监督训练,得到训练后的工业缺陷提示模型,包括:
7.根据权利要求2所述的基于热图提示的缺陷检测方法,其特征在于,所述基于所述训练后的工业缺陷提示模型对待测的缺陷图像进行预测,分割得到缺陷区域,包括:
8.一种基于热图
9.一种终端,其特征在于,包括:处理器以及存储器,所述存储器存储有基于热图提示的缺陷检测程序,所述基于热图提示的缺陷检测程序被所述处理器执行时用于实现如权利要求1-7中任意一项所述的基于热图提示的缺陷检测方法的操作。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有基于热图提示的缺陷检测程序,所述基于热图提示的缺陷检测程序被处理器执行时用于实现如权利要求1-7中任意一项所述的基于热图提示的缺陷检测方法的操作。
...【技术特征摘要】
1.一种基于热图提示的缺陷检测方法,其特征在于,包括:
2.根据权利要求1所述的基于热图提示的缺陷检测方法,其特征在于,所述获取多种工业缺陷种类的图像数据集,包括:
3.根据权利要求2所述的基于热图提示的缺陷检测方法,其特征在于,所述根据所述图像数据集提取得到预测热图,包括:
4.根据权利要求3所述的基于热图提示的缺陷检测方法,其特征在于,所述热图预测头包括:第一卷积层和第二卷积层;所述第一卷积层为下卷积层,所述第二卷积层为1*1卷积层。
5.根据权利要求3所述的基于热图提示的缺陷检测方法,其特征在于,所述将所述融合特征输入热图预测头,得到所述预测热图,之后还包括:
6.根据权利要求5所述的基于热图提示的缺陷检测方法,其特征在于,所述根据所述预测热图与热图真实标签之间的平均误差...
【专利技术属性】
技术研发人员:钟小品,陈杰洲,刘维湘,陈焜,吴宗泽,
申请(专利权)人:深圳大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。