用于提高工业质检准确率的方法和系统技术方案

本发明专利技术提供了一种用于提高工业质检准确率的方法和系统，包括步骤甲：训练得到检测模型；步骤乙：利用所述检测模型进行推理。本发明专利技术采用固定拍摄模板，加上语义分割图，实现对过检缺陷进行筛选。本发明专利技术可以代替漫长的迭代方案，仅需少量的迭代，就可以降低过检缺陷的数量，进而改善检测模型的结果。

【技术实现步骤摘要】
用于提高工业质检准确率的方法和系统
本专利技术涉及计算机视觉领域，具体地，涉及用于提高工业质检准确率的方法和系统。
技术介绍
在传统的工业质量检测过程中，通常的流程是拍摄样本、采集照片数据、送入检测模型、产生检测结果。对于检测模型结果好坏的评判有两个指标：漏检和过检。漏检是指本应该检测出的缺陷，模型却没检测出。过检是指，某一区域是良好的区域，但模型却认为这一区域是缺陷。对于处理漏检和过检，常规的做法有：1.收集更多的数据训练。2.对过检和漏检区域做增强处理，并对模型不断迭代。这两种方法都需要很多人力和算力去维持，并且也需要大量的时间去优化模型效果。在工业质检领域，目标检测是指从一个样本(工件)中找出缺陷目标，这里包括检测(定位)和识别(识别)两个过程。而这里的难点在于待检测区域候选的提取。很多过检的缺陷往往都是在非检测区域内。一张图片除了包含样本，还会包含很多非检测区域，比如：样本镂空处、样本所置于的机台表面。前景和背景：在一个样本上，前景是指需要被检测的缺陷所在的样本区域，背景是指除了缺陷的其他的样本区域。专利文献CN110458840A公开了一种降低面板缺陷过检率的方法、系统及终端设备，该方法包括：采集第一相机拍摄的待测面板显示画面的第一图像以及第二相机拍摄的所述显示画面的第二图像；所述第二相机为彩色相机；提取所述第一图像中待过滤的第一缺陷区域；将所述第二图像变换到HSV颜色空间，提取S通道图像并从所述S通道图像中提取待过滤的第二缺陷区域；计算所述第一缺陷区域与第二缺陷区域的重合度，并过滤掉所述重合度大于预设的重合度阈值的第一缺陷区域；本专利技术以两个缺陷区域之间的重合度为指标，通过第二缺陷区域对第一缺陷区域进行过滤，有效筛选出吸盘印区域并进行过滤，避免吸盘印被作为缺陷误检出，有效降低了过检率。但是该专利文献仅仅适用于避免吸盘印被作为缺陷误检出。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种用于提高工业质检准确率的方法和系统。根据本专利技术提供的一种用于提高工业质检准确率的方法，其特征在于，包括：步骤甲：训练得到检测模型；步骤乙：利用所述检测模型进行推理。优选地，所述步骤甲包括：步骤甲1：采集样本图片，对每一个样本图片进行第一种标注和第二种标注，作为标注结果；第一种标注为目标框和类别的标注，标注出样本图片中缺陷的类别和缺陷的位置，其中，缺陷的位置用框表示；第二种标注为语义标注，对样本图片进行像素层次的标注，作为前景的缺陷所在样本区域的像素标注为数字1，作为后景的非缺陷所在的样本区域的像素标注为数字0，而对于作为背景的非样本所在的区域则标注为数字2；步骤甲2：将样本图片作为输入送入检测模型进行训练，生成目标框预测结果和类别预测结果，以及语义分割预测结果；步骤甲3：将步骤甲1中的标注结果，以及步骤甲2中的检测模型得到的目标框预测结果和类别预测结果、语义分割预测结果，送入检测模型反向传播方程，反向传播的结果会反馈给检测模型，优化检测模型的参数。优选地，所述步骤乙，包括：步骤乙1：在流水线批量检测前，将第一个工件作为固定模板；设置好固定模板，将工件置于固定模板内，调整相机距离和曝光度，并对固定模板、相机以及相机参数进行固定，以保证后续所有的检测工件，在照片里成像的位置、大小都是统一的；步骤乙2：根据第一个工件获得的照片制作标注文件：工件所在区域的像素标注为数字1，非样本所在的区域的像素标注为数字0，得到固定模板的掩模图；步骤乙3：对其它工件进行拍照，将其它工件图片作为输入送入步骤甲训练得到的检测模型，进行推理，并分别生成语义分割预测结果，以及目标框预测结果和类别预测结果；步骤乙4：语义分割预测结果得到一张具有前景、后景、背景的掩模图，作为前景的缺陷所在样本区域的像素标注为数字1，作为后景的非缺陷所在的样本区域的像素标注为数字0，而对于作为背景的非样本所在的区域则标注为数字2；将前景、后景、背景的掩模图和固定模板的掩膜图两者的对应位置的像素之间进行交集操作，在两者像素标注值相同的像素位置处标注数字1，在两者像素标注值不相同的像素位置处标注数字0，得到最终掩模图；步骤乙5：筛选：将最终掩模图作为筛选标准，对目标框预测结果进行筛选：如果目标框在最终掩模图中对应的区域是数字1的区域，则代表目标框没有过检；如果目标框在掩模图中对应的区域是数字0的区域，则代表该目标框所框住的缺陷是一个过检过检缺陷，需要筛除；步骤乙6：将步骤乙5筛选完后的目标框与类别的预测结果做为最终结果并输出。优选地，非样本所在的区域，包括样本镂空处和/或样本所置于的机台表面。根据本专利技术提供的一种用于提高工业质检准确率的系统，包括：模块甲：训练得到检测模型；模块乙：利用所述检测模型进行推理。优选地，所述模块甲包括：模块甲1：采集样本图片，对每一个样本图片进行第一种标注和第二种标注，作为标注结果；第一种标注为目标框和类别的标注，标注出样本图片中缺陷的类别和缺陷的位置，其中，缺陷的位置用框表示；第二种标注为语义标注，对样本图片进行像素层次的标注，作为前景的缺陷所在样本区域的像素标注为数字1，作为后景的非缺陷所在的样本区域的像素标注为数字0，而对于作为背景的非样本所在的区域则标注为数字2；模块甲2：将样本图片作为输入送入检测模型进行训练，生成目标框预测结果和类别预测结果，以及语义分割预测结果；模块甲3：将模块甲1中的标注结果，以及模块甲2中的检测模型得到的目标框预测结果和类别预测结果、语义分割预测结果，送入检测模型反向传播方程，反向传播的结果会反馈给检测模型，优化检测模型的参数。优选地，所述模块乙，包括：模块乙1：在流水线批量检测前，将第一个工件作为固定模板；设置好固定模板，将工件置于固定模板内，调整相机距离和曝光度，并对固定模板、相机以及相机参数进行固定，以保证后续所有的检测工件，在照片里成像的位置、大小都是统一的；模块乙2：根据第一个工件获得的照片制作标注文件：工件所在区域的像素标注为数字1，非样本所在的区域的像素标注为数字0，得到固定模板的掩模图；模块乙3：对其它工件进行拍照，将其它工件图片作为输入送入模块甲训练得到的检测模型，进行推理，并分别生成语义分割预测结果，以及目标框预测结果和类别预测结果；模块乙4：语义分割预测结果得到一张具有前景、后景、背景的掩模图，作为前景的缺陷所在样本区域的像素标注为数字1，作为后景的非缺陷所在的样本区域的像素标注为数字0，而对于作为背景的非样本所在的区域则标注为数字2；将前景、后景、背景的掩模图和固定模板的掩膜图两者的对应位置的像素之间进行交集操作，在两者像素标注值相同的像素位置处标注数字1，在两者像素标注值不相同的像素位置处标注数字0，得到最终掩模图；模块乙5：筛选：将最终掩模图作为筛选标准，对目标框预测结果进行筛选：如果目标框在最终掩模图本文档来自技高网...

【技术保护点】
1.一种用于提高工业质检准确率的方法，其特征在于，包括：/n步骤甲：训练得到检测模型；/n步骤乙：利用所述检测模型进行推理。/n

【技术特征摘要】
1.一种用于提高工业质检准确率的方法，其特征在于，包括：
步骤甲：训练得到检测模型；
步骤乙：利用所述检测模型进行推理。


2.根据权利要求1所述的用于提高工业质检准确率的方法，其特征在于，所述步骤甲包括：
步骤甲1：采集样本图片，对每一个样本图片进行第一种标注和第二种标注，作为标注结果；
第一种标注为目标框和类别的标注，标注出样本图片中缺陷的类别和缺陷的位置，其中，缺陷的位置用框表示；
第二种标注为语义标注，对样本图片进行像素层次的标注，作为前景的缺陷所在样本区域的像素标注为数字1，作为后景的非缺陷所在的样本区域的像素标注为数字0，而对于作为背景的非样本所在的区域则标注为数字2；
步骤甲2：将样本图片作为输入送入检测模型进行训练，生成目标框预测结果和类别预测结果，以及语义分割预测结果；
步骤甲3：将步骤甲1中的标注结果，以及步骤甲2中的检测模型得到的目标框预测结果和类别预测结果、语义分割预测结果，送入检测模型反向传播方程，反向传播的结果会反馈给检测模型，优化检测模型的参数。


3.根据权利要求1所述的用于提高工业质检准确率的方法，其特征在于，所述步骤乙，包括：
步骤乙1：在流水线批量检测前，将第一个工件作为固定模板；设置好固定模板，将工件置于固定模板内，调整相机距离和曝光度，并对固定模板、相机以及相机参数进行固定，以保证后续所有的检测工件，在照片里成像的位置、大小都是统一的；
步骤乙2：根据第一个工件获得的照片制作标注文件：工件所在区域的像素标注为数字1，非样本所在的区域的像素标注为数字0，得到固定模板的掩模图；
步骤乙3：对其它工件进行拍照，将其它工件图片作为输入送入步骤甲训练得到的检测模型，进行推理，并分别生成语义分割预测结果，以及目标框预测结果和类别预测结果；
步骤乙4：语义分割预测结果得到一张具有前景、后景、背景的掩模图，作为前景的缺陷所在样本区域的像素标注为数字1，作为后景的非缺陷所在的样本区域的像素标注为数字0，而对于作为背景的非样本所在的区域则标注为数字2；
将前景、后景、背景的掩模图和固定模板的掩膜图两者的对应位置的像素之间进行交集操作，在两者像素标注值相同的像素位置处标注数字1，在两者像素标注值不相同的像素位置处标注数字0，得到最终掩模图；
步骤乙5：筛选：将最终掩模图作为筛选标准，对目标框预测结果进行筛选：如果目标框在最终掩模图中对应的区域是数字1的区域，则代表目标框没有过检；如果目标框在掩模图中对应的区域是数字0的区域，则代表该目标框所框住的缺陷是一个过检过检缺陷，需要筛除；
步骤乙6：将步骤乙5筛选完后的目标框与类别的预测结果做为最终结果并输出。


4.根据权利要求2或3所述的用于提高工业质检准确率的方法，其特征在于，非样本所在的区域，包括样本镂空处和/或样本所置于的机台表面。


5.一种用于提高工业质检准确率的系统，其特征在于，包括：
模块甲：训练得到检测模型；
模块乙：利用所述检测模型进行推理。

【专利技术属性】
技术研发人员：杭天欣，马元巍，陈红星，王克贤，潘正颐，侯大为，
申请(专利权)人：上海微亿智造科技有限公司，
类型：发明
国别省市：上海;31