【技术实现步骤摘要】
本专利技术涉及图像视觉检测，尤其是一种结合mask信息的复杂背景下工业视觉缺陷检测方法。
技术介绍
1、目前在工业视觉缺陷检测领域，尚不存在公开的方法能够改善缺陷在复杂背景下的检出准确率。在自然图像方面，存在类似的图像擦除数据增强方法用于缓解模型的过拟合问题；此外，在有关行人检测的任务中存在使用mask引导的注意力机制的相关研究。
2、对于自然图像中的图像擦除类数据增强方法：包括cutout、random erasing、hide-and-seek等在自然图像中应用的方法，它们通过不同的策略在图像上随机选取矩形区域，对选择的区域进行0值或随机值的遮盖。这些方法都存在擦除区域的随机性这一特点。
3、但是，自然图像中的图像擦除类数据增强方法，由于工业缺陷图像存在识别目标占比图像较小，识别目标语义信息弱的特点，使用随机选择遮盖区域的方法可能会造成缺陷区域信息的损失，为模型训练带来不可控的影响。
4、而在有关行人检测的任务中存在使用mask引导的注意力机制在行人重识别和遮挡行人检测方面的相关研究。
5、但是，使用mask引导的注意力机制，没有在工业缺陷检测领域的应用。
技术实现思路
1、本专利技术要解决的技术问题是：提供一种结合mask信息的复杂背景下工业视觉缺陷检测方法，解决在工业视觉缺陷检测任务中，带有物理纹理的材料表面在成像时会形成复杂的背景图像，这些复杂的背景会对模型的训练产生不良的影响，造成部分目标的漏检和正常样品的过杀的问题。p>
2、本专利技术解决其技术问题所采用的技术方案是：一种结合mask信息的复杂背景下工业视觉缺陷检测方法，包括以下步骤，
3、s1、引入mask引导的注意力机制模块；
4、s2、训练融合mask引导的注意力机制的分类网络；
5、s3、缺陷样本背景擦除；
6、s4、缺陷预测，将待检测的图像输入训练好的模型对缺陷图像进行推理。
7、进一步的说，本专利技术所述的步骤s1中，所述的mask引导的注意力机制模块在特征图进入骨干网络的最后一个阶段之后，进入分类器之前引入。
8、再进一步的说，本专利技术所述的步骤s1中，引入方式为：
9、s11、输入图像经过特征提取网络之后得到最后阶段输出的特征图为f1；f1的尺寸为b×c×h×w；
10、s12、特征图f1经过一个输入通道为c，输出通道为c的卷积模块，得到尺度为b×c×h×w的特征图f2；
11、s13、将特征图f2输入一个输入通道为c，输出通道为1的卷积层，得到尺度为b×1×h×w的权重矩阵ω；
12、s14、将权重矩阵ω经过sigmoid函数得到ω′，再与特征图f1相乘，得到进入分类器的特征图f3。
13、更进一步的说，本专利技术所述的特征图f3经过分类器得到类别概率probs；所述的权重矩阵ω在网络训练过程中与经过缩放的mask标注图像进行损失计算。
14、进一步的说，本专利技术所述的步骤s2中，注意力机制使用mask标注图像进行引导；mask标注图像经过缩小后的二值图为m；训练过程中分类部分损失函数采用交叉熵损失函数；损失函数的输入为分类器输出的类别概率probs以及类别真值gt_class；mask引导部分采用二值交叉熵损失函数，损失函数的输入为经过缩小的mask标注图像m以及注意力机制模块生成的权重矩阵ω；最终损失函数采用分类损失和mask损失的组合。
15、进一步的说，本专利技术所述的步骤s2中，训练阶段仅采用几何变换以及缺陷样本背景擦除方法进行数据增强；所述的几何变换包括：上下随机翻转、左右随机翻转、随机偏移以及随机旋转。
16、进一步的说，本专利技术所述的步骤s3中，缺陷样本背景擦除方法为，设mask标注的二值图像为a，首先设置算法初始参数：最大矩形数量n，循环次数n＝0；初始化图像输入大小的0矩阵r，随机生成高为h，宽为w，旋转角度为r的矩形，绘制在矩阵r上；计算矩阵a与矩阵r的交集；若为空，则保留本次绘制的矩形；若不为空则删除本次绘制的矩形；执行n次，生成的矩阵r即为最终的遮盖区域；图像中对应矩阵r中的位置赋值为0像素。
17、本专利技术的有益效果是，解决了
技术介绍
中存在的缺陷，本专利技术通过在分类网络中引入mask引导的注意力机制模块(mask guide attention head，maghead)，强化缺陷信息在特征中的表示；并提出基于mask的缺陷样本背景擦除数据增强方法，在模型训练过程中结合mask标注，避开缺陷区域随机对图像背景进行擦除，削弱复杂背景对模型的影响；使用本专利技术后，可以提高工业缺陷检测任务中，复杂背景下的缺陷检出准确率。
【技术保护点】
1.一种结合Mask信息的复杂背景下工业视觉缺陷检测方法，其特征在于：包括以下步骤，
2.如权利要求1所述的一种结合Mask信息的复杂背景下工业视觉缺陷检测方法，其特征在于：所述的步骤S1中，所述的Mask引导的注意力机制模块在特征图进入骨干网络的最后一个阶段之后，进入分类器之前引入。
3.如权利要求2所述的一种结合Mask信息的复杂背景下工业视觉缺陷检测方法，其特征在于：所述的步骤S1中，引入方式为：
4.如权利要求3所述的一种结合Mask信息的复杂背景下工业视觉缺陷检测方法，其特征在于：所述的特征图F3经过分类器得到类别概率probs；所述的权重矩阵ω在网络训练过程中与经过缩放的mask标注图像进行损失计算。
5.如权利要求4所述的一种结合Mask信息的复杂背景下工业视觉缺陷检测方法，其特征在于：所述的步骤S2中，注意力机制使用mask标注图像进行引导；mask标注图像经过缩小后的二值图为M；训练过程中分类部分损失函数采用交叉熵损失函数；损失函数的输入为分类器输出的类别概率probs以及类别真值gt_class；mask引导部分
6.如权利要求1所述的一种结合Mask信息的复杂背景下工业视觉缺陷检测方法，其特征在于：所述的步骤S2中，训练阶段仅采用几何变换以及缺陷样本背景擦除方法进行数据增强；所述的几何变换包括：上下随机翻转、左右随机翻转、随机偏移以及随机旋转。
7.如权利要求1所述的一种结合Mask信息的复杂背景下工业视觉缺陷检测方法，其特征在于：所述的步骤S3中，缺陷样本背景擦除方法为，设Mask标注的二值图像为A，首先设置算法初始参数：最大矩形数量N，循环次数n＝0；初始化图像输入大小的0矩阵R，随机生成高为h，宽为w，旋转角度为r的矩形，绘制在矩阵R上；计算矩阵A与矩阵R的交集；若为空，则保留本次绘制的矩形；若不为空则删除本次绘制的矩形；执行N次，生成的矩阵R即为最终的遮盖区域；图像中对应矩阵R中的位置赋值为0像素。
...【技术特征摘要】
1.一种结合mask信息的复杂背景下工业视觉缺陷检测方法，其特征在于：包括以下步骤，
2.如权利要求1所述的一种结合mask信息的复杂背景下工业视觉缺陷检测方法，其特征在于：所述的步骤s1中，所述的mask引导的注意力机制模块在特征图进入骨干网络的最后一个阶段之后，进入分类器之前引入。
3.如权利要求2所述的一种结合mask信息的复杂背景下工业视觉缺陷检测方法，其特征在于：所述的步骤s1中，引入方式为：
4.如权利要求3所述的一种结合mask信息的复杂背景下工业视觉缺陷检测方法，其特征在于：所述的特征图f3经过分类器得到类别概率probs；所述的权重矩阵ω在网络训练过程中与经过缩放的mask标注图像进行损失计算。
5.如权利要求4所述的一种结合mask信息的复杂背景下工业视觉缺陷检测方法，其特征在于：所述的步骤s2中，注意力机制使用mask标注图像进行引导；mask标注图像经过缩小后的二值图为m；训练过程中分类部分损失函数采用交叉熵损失函数；损失函数的输入为分类器输出的类别概率p...
【专利技术属性】
技术研发人员：都卫东，王岩松，和江镇，王作亮，吴健雄，
申请(专利权)人：征图新视江苏科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。