一种基于改进MASK RCNN的FPC缺陷检测方法技术

本发明专利技术公开了一种基于改进MASK RCNN的FPC缺陷检测方法，步骤如下：S1.ROI处理和图像裁剪，采集目标检测图像，对FPC原始图像数据预处理，裁剪成适合网络输入的小图像；S2.对预处理后的图像进行数据增强处理，扩大模型训练的数据集；S3.人工标注；S4.确定特征图block横向堆叠次数N，针对FPC缺陷检测的种类和数量，确定特征图block横向堆叠次数N；S5.模型训练，将标注好的图像数据集送进改进MAKS RCNN网络模型进行训练；S6.对训练好的FPC缺陷检测模型进行性能评估；S7.参数优化微调，结合S6的评估结果，对模型进行进一步的优化。本发明专利技术实现了FPC缺陷的自动检测，且通过掩膜分割图像缺陷可得到缺陷大小，方便工作人员复判，大幅度降低了企业检测成本。

【技术实现步骤摘要】
一种基于改进MASKRCNN的FPC缺陷检测方法
本专利技术涉及柔性电路板缺陷检测与图像分割
，尤其是一种基于改进MASKRCNN的FPC缺陷检测方法。
技术介绍
柔性印制电路板简称FPC（FlexiblePrintedCircuitBoard），具有厚度薄、重量轻、可自由弯曲折叠的特点。与传统电路板相比，FPC占用空间少，可以大幅度降低封装尺寸和重量，以满足电子产品的高度集成化，可移动性的要求，可实现电路的立体空间布线，增强产品的可靠性，降低组装成本。因为FPC材料特殊、集成度高、工艺复杂，制造过程很容易受设备、人员、环境等因素的影响而产生缺陷。MASKRCNN网络是一个基于RCNN网络改进的实例分割模型，可以在目标检测的同时精确分割出对应目标的像素。MASKRCNN的特征提取主要由残差网络与特征金字塔网络组成，将提取的特征图送入RPN网络筛选候选框，最后由分类分支、检测分支和掩膜分支完成目标检测和分割，MASKRCNN实例分割网络对于PCB检测虽然有着不错的检测精度和分割精度；但是FPC相对于PCB，具有图像种类多、数量多、位置随机、特征信息少、缺陷小等缺陷特性；传统图像处理方法难以实现对此类FPC缺陷图像的精准检测和分割，MASKRCNN网络模型也难以对FPC的缺陷进行准确的检测、分类和分割，基于此，急需一种基于改进MASKRCNN的FPC缺陷检测方法解决上述问题。
技术实现思路
本专利技术的目的是克服现有技术的不足，本专利技术提供了一种基于改进MASKRCNN的FPC缺陷检测方法，实现FPC主要缺陷的自动检测、分类和分割，节约企业人工成本的同时，大幅度提高缺陷检测的效率。本专利技术的技术方案：包括如下步骤：S1.ROI处理和图像裁剪，采集现场的目标检测图像，对FPC原始图像数据进行预处理，预处理包括ROI处理和图像裁剪；S2.对预处理后的图像进行数据增强处理；S3.人工标注，对增强处理后的图像数据进行人工标注，再划分数据集；S4.确定特征图block横向堆叠次数N，其中针对要识别的FPC缺陷种类和数量，确定特征图block横向堆叠次数N；S5.模型训练，将标注好的图像数据送入改进MASKRCNN网络模型训练，训练出FPC缺陷检测模型；S6.对训练好的FPC缺陷检测模型进行性能评估；S7.参数优化微调，结合S6的评估结果，对FPC缺陷检测模型进一步的优化微调。进一步的，S5具体包括如下步骤：S51：将RPN网络anchor的像素面积设置为{82，162，322，642，2562}，anchor的宽高比设置为{3:4，1:1，3:1}，anchor的步长设置为4；S52：使用EfficientNet作为主干特征提取网络提取特征；S53：将底层特征图和高层特征图语义信息结合起来，创建自下而上，自左而右的特征图block；S54：模型判断缺陷的阈值设定为G，如果模型输出得分小于阈值G，则判定为无缺陷，如果得分大于阈值G，则判定存在缺陷。进一步的，所述ROI处理的具体方法是将原始高分辨率的FPC图像裁剪出需要检测的部分，即ROI(regionofinterest，感兴趣区域)图像，将ROI图像裁剪成K份，K份裁剪图像最大分辨率为1024*1024，最小分辨率为256*256，K在自然数集合{2，3，4}中根据原始高分辨率的FPC图像选择一个数值。进一步的，所述数据增强处理方法采用图像旋转、图像镜像、图像对比度调整、图像平移以及随机缺失，以增大训练的数据集。进一步的，所述人工标注采用Labelme标注工具，在数据集上标注出缺陷的真实位置，并将标注好的数据集按照4比1的比例划分为训练集和验证集。进一步的，特征图block横向堆叠的次数为N次，N在自然数集合{3，4，5，6}中根据FPC缺陷种类选择一个数值。进一步的，特征图block的具体实施步骤为：对主干特征提取网络生成的5张特征图C1、C2、C3、C4、C5进行1*1卷积运算生成C1_0、C2_0、C3_0、C4_0、C5_0，再对后四张特征图C2_0、C3_0、C4_0、C5_0进行上采样生成C2_1、C3_1、C4_1、C5_1，通过逐元素相加与前一级特征图融合生成C1_2、C2_2、C3_2、C4_2，再将C2_2、C3_2、C4_2与主干特征提取网络生成的C2、C3、C4特征图进行逐元素相加，上述步骤即为特征图block，重复堆叠N次后；最后由底往高，C1_2进行3*3卷积生成有效特征图P1；对P1最大池化操作后与C2_2逐元素相加，再进行3*3卷积生成有效特征图P2；对有效特征图P2进行3*3卷积和最大池化操作后与C3_2逐元素相加，再进行3*3卷积生成有效特征图P3；对有效特征图P3进行3*3卷积和最大池化操作后与C4_2逐元素相加，再进行3*3卷积生成有效特征图P4；C5_2与P4进行3*3卷积和最大池化操作后逐像素相加，再进行3*3卷积生成有效特征图P5。进一步的，横向堆叠的次数N，FPC缺陷种类数量n在1≤n≤9个时，N取3；FPC缺陷种类数量n在10≤n≤14个时，N取4；FPC缺陷种类数量n在15≤n≤20个时，N取5；FPC缺陷种类n超过20时，N取6；进一步的，根据FPC缺陷的特点，将RPN网络anchor的像素面积设置为{82，162，322，642，2562}，anchor的宽高比设置为{3:4，1:1，3:1}，anchor的步长设置为4；进一步的，所述对训练好的FPC缺陷检测模型进行性能评估主要分为缺陷定位、缺陷分类和缺陷分割三类；对于缺陷定位和缺陷分类，计算平均精度mAP作为评估指标；对于缺陷分割，计算缺陷分割像素与缺陷实际像素的比值作为评估指标；若模型的mAP≥90%且正确分割像素的比值≥60%，则认定模型能够对FPC缺陷进行精确检测及分割，否则需要对模型进行优化微调。进一步的，对FPC缺陷检测模型进一步的优化微调主要通过增加训练样本数量、调整特征图block横向堆叠次数N、修改学习率、迭代次数来实现。本专利技术与现有技术相比，其显著优点为：(1)本专利技术增强了网络模型对于小目标、特征单一的目标检测能力；(2)本专利技术实现了FPC缺陷的自动检测、分类和分割；(3)本专利技术解决了传统算法只能检测特定缺陷的问题，节约了人工成本；(4)分割出来的缺陷图像使用随机颜色的掩膜覆盖，既方便现场工作人员复判，还能通过掩膜像素数量得到缺陷像素的数量。附图说明图1为本实例一种基于改进MASKRCNN的FPC缺陷检测方法流程图；图2为本实例的特征图block网络结构。具体实施方式下面结合附图对本专利技术的目的、技术方案及优点进一步说明。应当理解，此处所描述的具体实施方式不仅仅用以解释本专利技术，并不限定本专利技术的保护范围。如图1所示，一种基于改进MASKRCNN的FPC缺陷检测方法，步骤如下：步本文档来自技高网...

【技术保护点】
1.一种基于改进MASK RCNN的FPC缺陷检测方法，其特征在于，包括如下步骤：/nS1. ROI处理和图像裁剪，采集现场的目标检测图像，对FPC原始图像数据进行预处理，预处理包括ROI处理和图像裁剪；/nS2.对预处理后的图像进行数据增强处理；/nS3.人工标注，对增强处理后的图像数据进行人工标注，再划分数据集；/nS4.确定特征图block横向堆叠次数N，其中针对要识别的FPC缺陷种类和数量，确定特征图block横向堆叠次数N；/nS5.模型训练，将标注好的图像数据送入改进MASK RCNN网络模型训练，训练出FPC缺陷检测模型；/nS6.对训练好的FPC缺陷检测模型进行性能评估；/nS7.参数优化微调，结合S6的评估结果，对FPC缺陷检测模型进一步的优化微调。/n

【技术特征摘要】
1.一种基于改进MASKRCNN的FPC缺陷检测方法，其特征在于，包括如下步骤：
S1.ROI处理和图像裁剪，采集现场的目标检测图像，对FPC原始图像数据进行预处理，预处理包括ROI处理和图像裁剪；
S2.对预处理后的图像进行数据增强处理；
S3.人工标注，对增强处理后的图像数据进行人工标注，再划分数据集；
S4.确定特征图block横向堆叠次数N，其中针对要识别的FPC缺陷种类和数量，确定特征图block横向堆叠次数N；
S5.模型训练，将标注好的图像数据送入改进MASKRCNN网络模型训练，训练出FPC缺陷检测模型；
S6.对训练好的FPC缺陷检测模型进行性能评估；
S7.参数优化微调，结合S6的评估结果，对FPC缺陷检测模型进一步的优化微调。


2.根据权利要求1所述的一种基于改进MASKRCNN的FPC缺陷检测方法，其特征在于：所述ROI处理的具体方法是将原始高分辨率的FPC图像裁剪出需要检测的部分，即ROI图像，再将ROI图像裁剪成K份，K份裁剪后的图像最大分辨率为1024*1024，最小分辨率为256*256，K在自然数集合{2，3，4}中根据原始高分辨率的FPC图像选择一个数值。


3.根据权利要求1所述的一种基于改进MASKRCNN的FPC缺陷检测方法，其特征在于：所述数据增强处理方法采用图像旋转、图像镜像、图像对比度调整、图像平移以及随机缺失，以增大训练的数据集。


4.根据权利要求1所述的一种基于改进MASKRCNN的FPC缺陷检测方法，其特征在于：所述人工标注采用Labelme标注工具，在数据集上标注出缺陷的真实位置，并将标注好的数据集按照4比1的比例划分为训练集和验证集。


5.根据权利要求1所述的一种基于改进MASKRCNN的FPC缺陷检测方法，其特征在于：特征图block横向堆叠的次数为N次，N在自然数集合{3，4，5，6}中根据FPC缺陷种类选择一个数值，FPC缺陷种类数量n在1≤n≤9个时，N取3；缺陷种类数量n在10≤n≤14个时，N取4；缺陷种类数量n在15≤n≤20个时，N取5；缺陷种类数量n超过20时，N取6。


6.根据权利要求1所述的一种基于改进MASKRCNN的FPC缺陷检测方法，其特征在于，S5具体包括如下步骤：
S51：将RPN网络anchor的像素面积设置为{82，162，3...

【专利技术属性】
技术研发人员：邓承志，吴朝明，罗林杰，汪胜前，徐晨光，孙小惟，
申请(专利权)人：南昌工程学院，
类型：发明
国别省市：江西;36