基于目标特征与位置编码的缺陷检测方法及装置制造方法及图纸

本发明专利技术涉及工业质检技术领域，提供一种基于目标特征与位置编码的缺陷检测方法及装置，方法包括：根据良品图像、历史缺陷图像和待测图像得到合成缺陷图像；基于训练集对目标检测模型进行训练；将测试集输入训练后的目标检测模型，以得到目标检测模型输出的目标检测图像；提取目标检测图像中的目标特征；进行编码计算，以得到每个目标特征对应的空间位置编码；基于所有目标特征和对应的空间位置编码得到待测图像中缺陷所在的目标框和目标类别。由此，通过融合目标特征和空间位置编码实现缺陷检测，可以解决缺陷样本不足导致模型精度低的问题，提高了检测效率和检测精度，且算法复杂度低。度低。度低。

【技术实现步骤摘要】
基于目标特征与位置编码的缺陷检测方法及装置


[0001]本专利技术涉及工业质检
，具体涉及一种基于目标特征与位置编码的缺陷检测方法和一种基于目标特征与位置编码的缺陷检测装置。

技术介绍

[0002]在产品外观缺陷检测领域中，传统制造行业一般为了确保产品质量会采用人工质检的方式进行检测，但这种方法效率低且存在较大的主观漏检风险，同时对人工质检进行量化分析会比较困难，这使得企业不断对不确定性高的人工质检付出相应的费用。而传统视觉算法难以标准化，一般通过灰度值或者面积进行缺陷判定，这一过程复杂且增加了大量算法工程师的用时成本。相应地，采用深度学习进行缺陷检测的方法在工业质检领域应用落地快，且具备一定的通用性，但不同产品的缺陷存在明显差异且存在一定的先验知识。因此，结合目标检测网络模型和局部区域后处理来进行面向不同产品定制化开发的方式逐渐成为行业主流范式。
[0003]然而，对于广大中小企业的小批量产品生产模式，在生产线良率较高的情况下收集的缺陷数据是比较有限的，这使得目标检测模型的指标难以达到客户需求，且大大增加了后处理的算法复杂度，总之，中小批量产品生产模式中缺陷样本不足导致模型精度低、效率低，从而阻碍了当前主流范式在小批量产品生产模式中的应用推广。

技术实现思路

[0004]本专利技术为解决在中小批量产品生产模式中缺陷样本不足导致模型精度低、效率低的问题，提出了如下技术方案。
[0005]本专利技术第一方面实施例提出了一种基于目标特征与位置编码的缺陷检测方法，包括以下步骤：获取待测产品的良品图像、所有历史缺陷图像和多张待测图像；根据所述良品图像、所述历史缺陷图像和所述待测图像得到合成缺陷图像；分别将所述良品图像、所述历史缺陷图像和所述合成缺陷图像划分为训练集和测试集，并基于所述训练集对目标检测模型进行训练；将所述测试集输入训练后的目标检测模型，以得到所述目标检测模型输出的目标检测图像，其中，所述目标检测图像包含或者不包含目标特征和对应的目标位置信息；在所述目标检测图像包含目标特征和对应的目标位置信息时，提取所述目标检测图像中的目标特征；对每个所述目标特征对应的目标位置信息进行编码计算，以得到每个所述目标特征对应的空间位置编码；基于所有所述目标特征和对应的空间位置编码得到所述待测图像中缺陷所在的目标框和目标类别。
[0006]另外，根据本专利技术上述实施例的基于目标特征与位置编码的缺陷检测方法还可以具有如下附加的技术特征。
[0007]根据本专利技术的一个实施例，根据所述良品图像、所述历史缺陷图像和所述待测图像得到合成缺陷图像，包括：根据每张所述待测图像将其对应的良品图像和历史缺陷图像进行合成处理，以得到合成缺陷图像。
[0008]根据本专利技术的一个实施例，根据每张所述待测图像将其对应的良品图像和历史缺陷图像进行合成处理，以得到合成缺陷图像，包括：提取每张所述待测图像中的有效区域；在所述有效区域内通过DDPM(Denoising Diffusion Probabilistic Models，去噪扩散概率模型)方法将所述待测图像对应的良品图像和历史缺陷图像进行合成处理。
[0009]根据本专利技术的一个实施例，在分别将所述良品图像、所述历史缺陷图像和所述合成缺陷图像划分为训练集和测试集之前，包括：分别将所述良品图像、所述历史缺陷图像和所述合成缺陷图像裁剪为预设尺寸。
[0010]根据本专利技术的一个实施例，对每个所述目标特征的目标位置信息进行编码计算，包括：采用Transformer中的绝对位置编码对每个所述目标特征的目标位置信息进行编码计算。
[0011]根据本专利技术的一个实施例，基于所有所述目标特征和对应的空间位置编码得到所述待测图像中缺陷所在的目标框和目标类别，包括：将所述目标特征和对应的空间位置编码进行连接后输入ROI(Region of Interest，感兴趣区域)头部网络，以得到所述待测图像中缺陷所在的目标框和目标类别。
[0012]根据本专利技术的一个实施例，所述ROI头部网络包括依次连接的两个CBR(Convolution BatchNorm ReLU)模块、一个Flatten操作层、面向目标框回归的Linear线性层和面向分类的Linear线性层，其中，所述CBR模块包括Convolution层、BatchNorm层和ReLU层。
[0013]根据本专利技术的一个实施例，所述目标检测模型为YoloV7模型。
[0014]根据本专利技术的一个实施例，所述预设尺寸为1024*1024。
[0015]本专利技术第二方面实施例提出了一种基于目标特征与位置编码的缺陷检测装置，包括：获取模块，用于获取待测产品的良品图像、所有历史缺陷图像和多张待测图像；第一确定模块，用于根据所述良品图像、所述历史缺陷图像和所述待测图像得到合成缺陷图像；训练模块，用于分别将所述良品图像、所述历史缺陷图像和所述合成缺陷图像划分为训练集和测试集，并基于所述训练集对目标检测模型进行训练；测试模块，用于将所述测试集输入训练后的目标检测模型，以得到所述目标检测模型输出的目标检测图像，其中，所述目标检测图像包含或者不包含目标特征和对应的目标位置信息；提取模块，用于在所述目标检测图像包含目标特征和对应的目标位置信息时，提取所述目标检测图像中的目标特征；计算模块，用于对每个所述目标特征对应的目标位置信息进行编码计算，以得到每个所述目标特征对应的空间位置编码；第二确定模块，用于基于所有所述目标特征和对应的空间位置编码得到所述待测图像中缺陷所在的目标框和目标类别。
[0016]本专利技术实施例的技术方案，通过融合目标特征和空间位置编码实现缺陷检测，可以解决缺陷样本不足导致模型精度低的问题，提高了检测效率和检测精度，且算法复杂度低。
附图说明
[0017]图1为本专利技术实施例的基于目标特征与位置编码的缺陷检测方法的流程图。
[0018]图2为本专利技术一个实施例的ROI头部网络的结构示意图。
[0019]图3为本专利技术实施例的基于目标特征与位置编码的缺陷检测装置的方框示意图。
具体实施方式
[0020]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]图1为本专利技术实施例的基于目标特征与位置编码的缺陷检测方法的流程图。
[0022]如图1所示，该基于目标特征与位置编码的缺陷检测方法包括以下步骤S1至S7。
[0023]S1，获取待测产品的良品图像、所有历史缺陷图像和多张待测图像。
[0024]待测产品，是指需要进行缺陷检测的产品。
[0025]良品图像，是指预先确定的没有缺陷的待测产品(或者与待测产品相同的产品良品)的良品图像，比如，可预先通过对良品进行各个方位拍照得到多张良品图像。
[0026]历史缺陷图像，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标特征与位置编码的缺陷检测方法，其特征在于，包括以下步骤：获取待测产品的良品图像、所有历史缺陷图像和多张待测图像；根据所述良品图像、所述历史缺陷图像和所述待测图像得到合成缺陷图像；分别将所述良品图像、所述历史缺陷图像和所述合成缺陷图像划分为训练集和测试集，并基于所述训练集对目标检测模型进行训练；将所述测试集输入训练后的目标检测模型，以得到所述目标检测模型输出的目标检测图像，其中，所述目标检测图像包含或者不包含目标特征和对应的目标位置信息；在所述目标检测图像包含目标特征和对应的目标位置信息时，提取所述目标检测图像中的目标特征；对每个所述目标特征对应的目标位置信息进行编码计算，以得到每个所述目标特征对应的空间位置编码；基于所有所述目标特征和对应的空间位置编码得到所述待测图像中缺陷所在的目标框和目标类别。2.根据权利要求1所述的基于目标特征与位置编码的缺陷检测方法，其特征在于，根据所述良品图像、所述历史缺陷图像和所述待测图像得到合成缺陷图像，包括：根据每张所述待测图像将其对应的良品图像和历史缺陷图像进行合成处理，以得到合成缺陷图像。3.根据权利要求2所述的基于目标特征与位置编码的缺陷检测方法，其特征在于，根据每张所述待测图像将其对应的良品图像和历史缺陷图像进行合成处理，以得到合成缺陷图像，包括：提取每张所述待测图像中的有效区域；在所述有效区域内通过DDPM方法将所述待测图像对应的良品图像和历史缺陷图像进行合成处理。4.根据权利要求1所述的基于目标特征与位置编码的缺陷检测方法，其特征在于，在分别将所述良品图像、所述历史缺陷图像和所述合成缺陷图像划分为训练集和测试集之前，包括：分别将所述良品图像、所述历史缺陷图像和所述合成缺陷图像裁剪为预设尺寸。5.根据权利要求1所述的基于目标特征与位置编码的缺陷检测方法，其特征在于，对每个所述目标特征的目标位置信息进行编码计算，包括：采用Transformer中的绝对位置编码对每个所述目标特征的目标位置信息进行编码计...

【专利技术属性】
技术研发人员：钱智明，赵何，潘正颐，侯大为，
申请(专利权)人：常州微亿智造科技有限公司，
类型：发明
国别省市：