缺陷检测网络的训练方法、缺陷检测方法和存储介质技术

一种缺陷检测网络的训练方法、缺陷检测方法和存储介质，缺陷检测网络包括初级特征提取网络、特征融合选择层和缺陷语义分析网络，训练方法包括：将模板图像、正样本图像和负样本图像输入初级特征提取网络中得到各自的初级特征，并据此构造第一损失函数；将这三个初级特征输入特征融合选择层得到融合特征；将融合特征输入缺陷语义分析网络得到缺陷置信度图像和缺陷分类预测图像；根据缺陷置信度图像和缺陷分割标记图像、缺陷分类预测图像和缺陷分类标记图像构造第二损失函数，根据第一损失函数和第二损失函数对缺陷检测网络进行训练。训练后得到的缺陷检测网络能够对特征进行自动提取和选择，且能够实现缺陷位置精确定位和不同类别缺陷的检测。同类别缺陷的检测。同类别缺陷的检测。

【技术实现步骤摘要】
缺陷检测网络的训练方法、缺陷检测方法和存储介质


[0001]本专利技术涉及机器视觉领域，具体涉及一种缺陷检测网络的训练方法、缺陷检测方法和存储介质。

技术介绍

[0002]印制标签被广泛用作产品标识，其可记录产品关键信息，从而成为企业跟踪产品、质量监控和生产管理的有效载体，同时也可作为普通消费者对产品进行核对的有效工具。当前大部分产品的印制标签通过印刷机印刷而成，在现代快速的印刷生产过程中，受生产工艺、环境和设备等诸多不确定因素的影响，各种印刷缺陷与错误难以避免。常见的印刷质量缺陷主要有印刷不良、模糊、丝印偏移与歪斜、肥油、字符缺失、偏暗、偏亮、麻点/白点、毛刺、连墨/堵墨、丝印轻微异色等，如图1～8所示。不合格的印刷标签随产品流入市场势必给生产厂家带来损失，也将给消费者带来麻烦，因此，印制标签的质量检测也愈加为生产厂商所重视，而基于机器视觉的自动化检测系统具有检测速度快、精度高等优点，可有效降低生产厂家的人力成本，已成为行业趋势。
[0003]目前基于机器视觉的印刷质量缺陷检测方法大多为基于模板匹配的方法，该方法通过将待检测图像与没有印刷质量缺陷的模板图像进行相似度匹配，当相似度较小时则判定待检测图像存在印刷质量缺陷。基于模板匹配的检测方法是一种全局检测方法，容易受噪声影响，对于内容相对单一的标签检测效果尚可，但对于同时包含如logo类图形、说明性案例图形、条码类图形和字符类图形等复杂图形的标签，标签中的图形的重要性与图形的尺寸大小是不完全具有相关性的，而常用的基于模板匹配的检测方法并未针对不同图形的重要性，对图像中相应的区域设置不同权重或采用不同方法进行检测，因此常常导致误判率过高。
[0004]目前行业内主要采用的方法是黄金模板匹配方法，该方法首先确定待检测图像相对于模板图像的移动位置和偏转方向，计算将待检测图像与模板图像对准的刚性变换的变换参数，按照该变换参数对待检测图像进行变换以使其对准于模板图像，然后将待检测图像与模板图像进行逐像素比较，或者对Blob分析后的区域特征进行比较，判断待检测图像是否存在印刷质量缺陷。上述方法存在以下缺陷：(1)对待检测图像进行变换时，需要保证较高的定位精度，若发生位置偏移，则对待检测图像和模板图像进行逐像素点的比较时将大大增加误检的概率；(2)可检测的缺陷种类较少，只能检测上述缺陷中的丝印偏移、歪斜之类的缺陷，对其他类型的缺陷无法达到理想的效果，难以应用到实际的工业生产过程中。

技术实现思路

[0005]本申请提供一种缺陷检测网络的训练方法、缺陷检测方法和存储介质，旨在解决现有的印制品缺陷检测方法检测种类少、难以提高准确率的问题。
[0006]根据第一方面，一种实施例中提供一种缺陷检测网络的训练方法，所述缺陷检测网络包括初级特征提取网络、特征融合选择层和缺陷语义分析网络；所述缺陷检测网络的
训练方法包括：
[0007]获取模板图像、正样本图像和负样本图像，所述模板图像和所述正样本图像为合格印制品的图像，所述负样本图像为有缺陷印制品的图像；
[0008]分别将所述模板图像、所述正样本图像和所述负样本图像输入所述初级特征提取网络中得到模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3，根据模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3构造第一损失函数；
[0009]根据所述第一损失函数对所述初级特征提取网络进行训练，得到相应的网络参数；
[0010]分别将所述模板图像和所述负样本图像输入训练后的所述初级特征提取网络中，得到模板图像的初级特征和负样本图像的初级特征
[0011]将所述模板图像的初级特征和所述负样本图像的初级特征输入所述特征融合选择层以得到融合特征β；
[0012]将所述融合特征β输入所述缺陷语义分析网络中以得到缺陷置信度图像和缺陷分类预测图像，所述缺陷置信度图像包括所述负样本图像每个像素点的缺陷置信度，所述缺陷分类预测图像包括所述负样本图像每个像素点预测属于每个类别的概率；
[0013]根据所述缺陷置信度图像和对应的缺陷分割标记图像，以及所述缺陷分类预测图像和对应的缺陷分类标记图像构造第二损失函数；
[0014]根据所述第二损失函数对所述缺陷语义分析网络进行训练，得到相应的网络参数，从而完成对所述缺陷检测网络的训练。
[0015]根据第二方面，一种实施例中提供一种缺陷检测网络的训练方法，所述缺陷检测网络包括初级特征提取网络、特征融合选择层和缺陷语义分析网络；所述缺陷检测网络的训练方法包括：
[0016]获取模板图像、正样本图像和负样本图像，所述模板图像和所述正样本图像为合格印制品的图像，所述负样本图像为有缺陷印制品的图像；
[0017]分别将所述模板图像、所述正样本图像和所述负样本图像输入所述初级特征提取网络中得到模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3，根据模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3构造第一损失函数；
[0018]将所述模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3输入所述特征融合选择层以得到融合特征β；
[0019]将所述融合特征β输入所述缺陷语义分析网络中以得到缺陷置信度图像和缺陷分类预测图像，所述缺陷置信度图像包括所述负样本图像每个像素点的缺陷置信度，所述缺陷分类预测图像包括所述负样本图像每个像素点预测属于每个类别的概率；
[0020]根据所述缺陷置信度图像和对应的缺陷分割标记图像，以及所述缺陷分类预测图像和对应的缺陷分类标记图像构造第二损失函数；
[0021]根据所述第一损失函数和所述第二损失函数对所述缺陷检测网络进行训练。一种实施例中，所述第一损失函数为：
[0022]或
[0023]L1＝ε1max[0,μ(D
pos
)
‑
μ(D
neg
)+ε2]+σ2(D
pos
)+σ2(D
neg
)，
[0024]其中，n为一批训练样本中的总样本数，i为样本序号，D
pos
为所述正样本图像的初级特征α2和所述模板图像的初级特征α1的距离，D
neg
为所述负样本图像的初级特征α3和所述模板图像的初级特征α1的距离；σ(D
pos
)为同一批训练样本中各样本求得的D
pos
值的标准差，σ2(D
pos
)为同一批训练样本中各样本求得的D
pos
值的方差，σ2(D
neg
)为同一批训练样本中各样本求得的D
neg
值的方差，μ(D
pos
)为同一批训练样本中各样本求得的D
pos
值的平均值，μ(D
neg
)为同一批训练样本中各样本求得的D
neg
值的平均值；k1、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种缺陷检测网络的训练方法，其特征在于，所述缺陷检测网络包括初级特征提取网络、特征融合选择层和缺陷语义分析网络；所述缺陷检测网络的训练方法包括：获取模板图像、正样本图像和负样本图像，所述模板图像和所述正样本图像为合格印制品的图像，所述负样本图像为有缺陷印制品的图像；分别将所述模板图像、所述正样本图像和所述负样本图像输入所述初级特征提取网络中得到模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3，根据模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3构造第一损失函数；根据所述第一损失函数对所述初级特征提取网络进行训练，得到相应的网络参数；分别将所述模板图像和所述负样本图像输入训练后的所述初级特征提取网络中，得到模板图像的初级特征和负样本图像的初级特征将所述模板图像的初级特征和所述负样本图像的初级特征输入所述特征融合选择层以得到融合特征β；将所述融合特征β输入所述缺陷语义分析网络中以得到缺陷置信度图像和缺陷分类预测图像，所述缺陷置信度图像包括所述负样本图像每个像素点的缺陷置信度，所述缺陷分类预测图像包括所述负样本图像每个像素点预测属于每个类别的概率；根据所述缺陷置信度图像和对应的缺陷分割标记图像，以及所述缺陷分类预测图像和对应的缺陷分类标记图像构造第二损失函数；根据所述第二损失函数对所述缺陷语义分析网络进行训练，得到相应的网络参数，从而完成对所述缺陷检测网络的训练。2.一种缺陷检测网络的训练方法，其特征在于，所述缺陷检测网络包括初级特征提取网络、特征融合选择层和缺陷语义分析网络；所述缺陷检测网络的训练方法包括：获取模板图像、正样本图像和负样本图像，所述模板图像和所述正样本图像为合格印制品的图像，所述负样本图像为有缺陷印制品的图像；分别将所述模板图像、所述正样本图像和所述负样本图像输入所述初级特征提取网络中得到模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3，根据模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3构造第一损失函数；将所述模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3输入所述特征融合选择层以得到融合特征β；将所述融合特征β输入所述缺陷语义分析网络中以得到缺陷置信度图像和缺陷分类预测图像，所述缺陷置信度图像包括所述负样本图像每个像素点的缺陷置信度，所述缺陷分类预测图像包括所述负样本图像每个像素点预测属于每个类别的概率；根据所述缺陷置信度图像和对应的缺陷分割标记图像，以及所述缺陷分类预测图像和对应的缺陷分类标记图像构造第二损失函数；根据所述第一损失函数和所述第二损失函数对所述缺陷检测网络进行训练。3.如权利要求1或2所述的方法，其特征在于，所述第一损失函数为：
或L1＝ε1max[0,μ(D
pos
)
‑
μ(D
neg
)+ε2]+σ2(D
pos
)+σ2(D
neg
)，其中，n为一批训练样本中的总样本数，i为样本序号，D
pos
为所述正样本图像的初级特征α2和所述模板图像的初级特征α1的距离，D
neg
为所述负样本图像的初级特征α3和所述模板图像的初级特征α1的距离；σ(D
pos
)为同一批训练样本中各样本求得的D
pos
值的标准差，σ2(D
pos
)为同一批训练样本中各样本求得的D
pos
值的方差，σ2(D
neg
)为同一批训练样本中各样本求得的D
neg
值的方差，μ(D
pos
)为同一批训练样本中各样本求得的D
pos
值的平均值，μ(D
neg
)为同一批训练样本中各样本求得的D
neg
值的平均值；k1、k2、ε1和ε2为预设的权重系数，且均大于0。4.如权利要求1或2所述的方法，其特征在于，所述特征融合选择层通过以下方式计算得到所述融合特征β：计算各非模板图像的初级特征和所述模板图像的初级特征的距离，并将各非模板图像的初级特征和所述模板图像的初级特征的距离相加，将相加的结果和所述模板图像的初级特征进行哈达玛积运算，得到所述融合特征β。5.如权利要求1或2所述的方法，其特征在于，所述缺陷语义分析网络包括高级特征提取网络、缺陷分割网络和缺陷分类网络；所述将所述融合特征β输入所述缺陷语义分析网络中以得到缺陷置信度图像和...

【专利技术属性】
技术研发人员：杨洋，
申请(专利权)人：深圳市华汉伟业科技有限公司，
类型：发明
国别省市：