基于模板学习与比对的薄面外观缺陷检测方法技术

基于模板学习与比对的薄面外观缺陷检测方法，包括：1)基于良品图像自动学习构建模板原型；2)对每个模板原型，检测待检测样本图像中的模板实例；3)对每个模板实例，将对应的模板原型与模板实例区域进行映射对齐；4)对每个模板实例，将应映射对齐后的模板实例和模板原型进行比对得到特征差异图；5)对每个模板实例的特征差异图，应用缺陷检测算法参数提取模板实例内的缺陷信息；6)综合所有模板实例的缺陷信息，输出产品OK/NG判定和缺陷信息列表。本发明专利技术综合多种技术手段实现对平面规则内容产品的准确、灵活、高效的外观缺陷检测。高效的外观缺陷检测。高效的外观缺陷检测。

【技术实现步骤摘要】
基于模板学习与比对的薄面外观缺陷检测方法


[0001]本专利技术属于机器视觉缺陷检测领域，具体涉及一种基于模板学习与比对的薄面外观缺陷检测方法。

技术介绍

[0002]建模和比对是机器视觉缺陷检测领域的常用手段，特别适用于平面规则内容产品的外观缺陷检测。与其它基于人工设计特征提取与分析的方法和基于深度学习的方法相比，基于建模和比对的缺陷检测方法具有简单、高效、灵活的特点，无需大量训练样本，通过建模可以快速支持新型号产品的缺陷检测，并且缺陷检测在多种不同产品型号间的切换也相当快速便捷。
[0003]在工业检测应用中，当前的基于建模和比对的缺陷检测方法存在以下3个突出问题：
[0004]1.建模过程困难繁琐：对产品建模需要一系列框选和输入操作，在不熟悉检测算法基本逻辑的情况下，容易操作失误或者失当，造成无法运行检测或者检测性能下降；
[0005]2.产品形变导致过检漏检：当前的方法大多用仿射变换或透视变换将产品模板映射到在线产品图像空间，由于薄面产品容易出现翘曲、凹凸等形变，整块的放射变换和透视变换无法将模板与待检测样品图像进行准确对齐，导致算法过检或漏检；
[0006]3.难以满足多样化需求：在有些应用场景下，需要对产品不同部位采取不同的检测标准，比如分为关键区、一般区、不重要区、屏蔽区，甚至同类的不同区域对缺陷检测也有着不同要求，现有方法往往无法满足这些多样化需求，或者需要对产品划分很多小区域单独建模和检测导致建模过程更加复杂繁琐。
[0007]以上问题严重限制了基于建模和比对的缺陷检测方法的使用范围，带来了相当高的人员学习、使用和管理成本，同时导致缺陷检测在性能和效率方面不稳定、不可靠。为此，有必要提出新的基于建模和比对的缺陷检测方法，解决上述3个突出问题。

技术实现思路

[0008]本专利技术针对当前基于建模和比对的缺陷检测方法建模过程困难繁琐，产品形变导致过检漏检，难以满足多样化需求等问题，提供一种基于模板学习和比对的缺陷检测方法，实现对平面规则内容产品的准确、灵活、高效的外观缺陷检测。
[0009]本专利技术采用以下技术方案，所述基于模板学习与比对的薄面外观缺陷检测方法，用于检测平面规则内容产品的外观缺陷，具体包括以下步骤：
[0010]步骤S1：基于良品图像自动学习构建模板原型；
[0011]步骤S2：对每个模板原型，检测待检测样本图像中的模板实例；
[0012]步骤S3：对每个模板实例，将对应的模板原型与模板实例区域进行映射对齐；
[0013]步骤S4：对每个模板实例，将应映射对齐后的模板实例和模板原型进行比对得到特征差异图；
[0014]步骤S5：对每个模板实例的特征差异图，应用缺陷检测算法参数提取模板实例内的缺陷信息；
[0015]步骤S6：综合所有模板实例的缺陷信息，输出OK/NG判定和缺陷信息列表。
[0016]根据上述技术方案，如图1所示，所述步骤S1中的基于良品图像自动学习构建模板原型的具体步骤为：
[0017]步骤S1.1：根据良品图像计算确定产品单元的图像尺寸；
[0018]步骤S1.2：从良品图像中提取一系列定位特征点；
[0019]步骤S1.3：根据产品单元图像尺寸、定位特征点和模板数量确定各个模板所在区域；
[0020]步骤S1.4：对每个模板区域进行网格划分，对每个网格顶点搜寻最近的定位特征点作为模板的锚点；
[0021]步骤S1.5：根据良品图像、模板区域、模板网格和锚点构建模板原型，模板原型包括模板原图、模板特征图、模板网格、模板锚点、模板锚点局部图像和若干个模板检测区。
[0022]特别地，所述步骤S1.2中的从良品图像中提取一系列定位特征点的具体方法可以是Harris、SIFT、SURF、FAST或者ORB等方法。
[0023]根据上述技术方案，所述步骤S2中的对每个模板原型，检测待检测样本图像中的模板实例的具体步骤为：
[0024]步骤S2.1：分别对模板原型中的模板原图和待检测样本图像进行逐级缩小得到模板图金字塔和待检测样本图金字塔；
[0025]步骤S2.2：对模板金字塔和待检测样本图金字塔的顶层图像进行模板匹配和定位，得到小尺度下的待检测样本图金字塔顶层图像中模板实例的位置和尺寸；
[0026]步骤S2.3：将小尺度下的待检测样本图金字塔上层图像中模板实例的位置和尺寸放大转换到待检测样本图金字塔下一层，在以放大转换后的模板实例位置为中心的局部区域内进行模板匹配和定位，得到更高尺度下的待检测样本图金字塔下层图像中模板实例的位置和尺寸；
[0027]步骤S2.4：重复步骤S2.3，直至到达模板金字塔和待检测样本图金字塔的底层，得到最大尺度下的模板实例的位置和尺寸。
[0028]特别地，所述步骤S1.2中的建立图像金字塔的具体方法是：以原图作为金字塔底层，将金字塔底层图像以特定比例缩小图像宽高，将缩小的图像作为金字塔上一层，按上述方式重复缩小图像加到金字塔上层直到金字塔层数达到特定数量或者顶层图像的尺寸足够小。
[0029]根据上述技术方案，所述步骤S3中的对每个模板实例，将对应的模板原型与模板实例区域进行映射对齐的具体步骤为：
[0030]步骤S3.1：对模板原型中的每个定位锚点，利用模板锚点、模板锚点局部图像确定模板实例区域内对应的定位点位置；
[0031]步骤S3.2：如图2所示，对模板原型中的模板网格内的每一个网格单元，按照距离确定网格单元矩形的4个顶点对应的模板锚点，通过4个模板锚点和对应的定位点建立模板网格到对应模板实例的坐标映射关系；
[0032]步骤S3.3：对模板原型中的模板网格内的每一个网格单元，根据坐标映射关系将
模板网格内的模板特征图、模板检测区映射到模板实例平面，或者将模板实例特征图映射到模板原型平面。
[0033]特别地，所述步骤S3.1中的利用模板锚点、模板锚点局部图像确定模板实例区域内对应的定位点位置的具体方法为：根据模板锚点、模板实例位置确定定位点搜索区域，在定位点搜索区域内以模板锚点局部图像作为模板进行模板匹配和定位，得到定位点位置。
[0034]优选地，所述步骤S3.2中的模板网格到对应模板实例的坐标映射关系表示为透视变换。
[0035]特别地，所述步骤S3.3中的模板特征图和模板实例可以是或者包含亮度图、色彩图、边缘图等能体现产品及其缺陷特征的图像。
[0036]根据上述技术方案，所述步骤S5中的提取模板实例内的缺陷信息的具体步骤为：
[0037]步骤S5.1：对模板实例的每个模板检测区，从特征差异图中截取检测区特征差异图；
[0038]步骤S5.2：对检测区特征差异图应用对应检测区的缺陷检测参数提取缺陷位置、尺寸、类别、置信度等缺陷信息。
[0039]根据上述技术方案，所述步骤S5.2中的对检测区特征差异图应用对应检测区的缺陷检测参数提取缺陷位置、尺寸、类别、置信度等本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于模板学习与比对的薄面外观缺陷检测方法，包括下列步骤：步骤S1：基于良品图像自动学习构建模板原型；步骤S2：对每个模板原型，检测待检测样本图像中的模板实例；步骤S3：对每个模板实例，将对应的模板原型与模板实例区域进行映射对齐；步骤S4：对每个模板实例，将应映射对齐后的模板实例和模板原型进行比对得到特征差异图；步骤S5：对每个模板实例的特征差异图，应用缺陷检测算法参数提取模板实例内的缺陷信息；步骤S6：综合所有模板实例的缺陷信息，输出OK/NG判定和缺陷信息列表。2.根据权利要求1所述的一种基于模板学习与比对的薄面外观缺陷检测方法，其特征在于所述步骤S1的具体步骤为：步骤S1.1：根据良品图像计算确定产品单元的图像尺寸；步骤S1.2：从良品图像中提取一系列定位特征点；步骤S1.3：根据产品单元图像尺寸、定位特征点和模板数量确定各个模板所在区域；步骤S1.4：对每个模板区域进行网格划分，对每个网格顶点搜寻最近的定位特征点作为模板的锚点；步骤S1.5：根据良品图像、模板区域、模板网格和锚点构建模板原型，模板原型包括模板原图、模板特征图、模板网格、模板锚...

【专利技术属性】
技术研发人员：孙立，吴洪岩，梁瑞，孙震，王慧琼，宋明黎，
申请(专利权)人：浙江大学宁波五位一体校区教育发展中心，
类型：发明
国别省市：