基于分割网络的零件缺陷检测与字符识别方法及装置制造方法及图纸

本发明专利技术涉及一种基于分割网络的零件缺陷检测与字符识别方法及装置。所述方法包括：获取一定数量的具有缺陷的零件图像并对获得的零件图像进行分类标注，得到分类标注训练数据集，分类标注的分类类型包括缺陷轮廓类型和字符轮廓类型，基于并行反向注意力的PraNet网络构建分割模型；对分割模型进行训练；使用训练好的分割模型对零件图像进行缺陷检测。本发明专利技术的方法可以准确定位缺陷和字符的位置，有效识别现有OCR方法无法识别的字符，提高生产效率和产品质量把控。和产品质量把控。和产品质量把控。

【技术实现步骤摘要】
基于分割网络的零件缺陷检测与字符识别方法及装置


[0001]本专利技术涉及图像识别
，更具体的，涉及一种基于分割网络的零件缺陷检测与字符识别方法及装置。

技术介绍

[0002]随着现代工业的发展，零件缺陷检测技术被广泛应用，尤其是应用在瑕疵检测、工件表面质量检测等。但现有的零件缺陷检测方法主要研究自然场景复杂性对检测结果的影响，对于工业零件的字符与背景颜色几乎一样、字符与工业零件缺陷混合后缺陷问题，无法解决。即，1)当工业零件上的字符颜色与工业零件整体本身的颜色相似时，很难准确识别出工业零件上的字符，更不用说检测出字符是否存在缺陷；2)当工业零件上的字符附近出现类似划痕这样的缺陷时，容易将划痕误判为字符，或者将字符误判为划痕，不能准确识别出字符区和零件缺陷区。以工业零部件密封圈为例(如图3所示，实际工业相片中字符和背景均为深绿色)，字符颜色与零件整体的颜色相似，现有OCR算法识别准确率低、甚至根本无法检测出工业零件上的字符区域。
[0003]采用传统的人工目视法针对各种复杂的场景都可以适用，但是长时间的目视会让检测员工产生眼神经疲劳，加上个体的不同，每个员工对标准的把控不同，容易发生对缺陷误检漏检的情况，导致对零件缺陷的检测准确度较低且检测效率低。

技术实现思路

[0004]为了解决上述问题，本专利技术提供了一种基于分割网络的零件缺陷检测与字符识别方法及装置。
[0005]本专利技术提供的一种基于分割网络的零件缺陷检测与字符识别方法，其包括：
[0006]获取一定数量的具有缺陷的零件图像并对获得的零件图像进行分类标注，得到分类标注训练数据集，所述分类标注的分类类型包括：缺陷轮廓类型和字符轮廓类型；
[0007]基于并行反向注意力的PraNet网络构建分割模型，其中sigmod激活函数改进为Softmax激活函数作为PraNet网络输出端的激活函数，对于PraNet算法，AdamW优化函数替换原有的Adam优化函数，并且在AdamW优化函数中加入LookAhead机制，用Mish激活函数替换原有的ReLU激活函数；
[0008]对所述分割模型进行训练；
[0009]使用训练好的所述分割模型对零件图像进行缺陷检测。
[0010]其中，在对获得的零件图像进行分类标注时，在零件图像中用连续的闭合的点线来标注缺陷轮廓区域和字符轮廓区域，标注后生成相应的扩展名为Json的标注文件，用标注标签来注释缺陷轮廓区域和字符轮廓区域。
[0011]其中，当字符轮廓区域和缺陷轮廓区域交织在一起无法区分时，将分类类型只标注为缺陷轮廓类型，不再标注字符轮廓类型。
[0012]其中，在使用训练好的所述分割模型对零件图像进行缺陷检测的过程中，对于所
述分割模型输出的包含字符的零件图像，使用OCR文本检测和识别算法来识别出该零件图像中的字符。
[0013]其中，所述缺陷轮廓类型包括但不限于：划痕轮廓类型和残缺轮廓类型。
[0014]本专利技术提供的一种基于分割网络的零件缺陷检测与字符识别装置，其包括：
[0015]图像获取和分类标注模块，用于获取一定数量的具有缺陷的零件图像并对获得的零件图像进行分类标注，得到分类标注训练数据集，所述分类标注的分类类型包括：缺陷轮廓类型和字符轮廓类型；
[0016]分割模型构建模块，用于基于并行反向注意力的PraNet网络构建分割模型，其中sigmod激活函数改进为Softmax激活函数作为PraNet网络输出端的激活函数，对于PraNet算法，AdamW优化函数替换原有的Adam优化函数，并且在AdamW优化函数中加入LookAhead机制，用Mish激活函数替换原有的ReLU激活函数；
[0017]模型训练模块，用于对所述分割模型进行训练；
[0018]检测模块，用于使用训练好的所述分割模型对零件图像进行缺陷检测。
[0019]其中，所述图像获取和分类标注模块在对获得的零件图像进行分类标注时，在零件图像中用连续的闭合的点线来标注缺陷轮廓区域和字符轮廓区域，标注后生成相应的扩展名为Json的标注文件，用标注标签来注释缺陷轮廓区域和字符轮廓区域。
[0020]其中，当字符轮廓区域和缺陷轮廓区域交织在一起无法区分时，将分类类型只标注为缺陷轮廓类型，不再标注字符轮廓类型。
[0021]其中，所述检测模块在使用训练好的所述分割模型对零件图像进行缺陷检测的过程中，对于所述分割模型输出的包含字符的零件图像，使用OCR文本检测和识别算法来识别出该零件图像中的字符。
[0022]其中，所述缺陷轮廓类型包括但不限于划痕轮廓类型和残缺轮廓类型。
[0023]与现有技术相比，本专利技术的有益效果是：
[0024]本专利技术提供的方法及装置对于难以检测的工业零件上的字符(背景色与字符颜色几乎无差别的情况)可以准确定位缺陷和字符的准确位置，且不受缺陷影响，还能够有效识别现有OCR方法无法识别的字符，可以代替部分工人的工作，提高了生产效率和产品的质量把控。
附图说明
[0025]图1是本专利技术提供的一种基于分割网络的零件缺陷检测与字符识别方法的流程图；
[0026]图2是本专利技术提供的分割模型的结构示意图；
[0027]图3是工业零部件密封圈的工业相片；
[0028]图4是本专利技术提供的零件标注示意图；
[0029]图5是本专利技术提供的零件分割后的缺陷轮廓区域图；
[0030]图6本专利技术提供的零件分割后的字符轮廓区域图；
[0031]图7是本专利技术提供的一种基于分割网络的零件缺陷检测与字符识别装置的示意性框图。
具体实施方式
[0032]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0033]如图1所示，本专利技术第一实施例提供了一种基于分割网络的零件缺陷检测与字符识别方法，其包括：
[0034]S1：获取一定数量的具有缺陷的零件图像并对获得的零件图像进行分类标注，标注时使用labelimg标注工具，生成的标注格式选择为VOC格式，这里的分类标注是用点线沿着字符、划痕和残缺的轮廓画出个轮廓线，不同的轮廓线对应不同分类的标签，以工业零部件密封圈为例，零件标注示意图如图3所示；进而得到分类标注训练数据集，所述分类标注的分类类型包括：缺陷轮廓类型和字符轮廓类型，所述缺陷轮廓类型包括但不限于：划痕轮廓类型和残缺轮廓类型。所述字符可以是数字、字母和符号等，所述字符轮廓就是数字、字母和符号等字符的具体形状的外形线。所述划痕可以是在零件表面上形成的本不该有的线纹或沟纹；所述划痕轮廓就是划痕的具体形状的外形线。所述残缺是指零件本身存在不完整，例如密封圈图像中的密封圈存在孔洞；所述缺陷轮廓就是缺陷的具体形状的外形线。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分割网络的零件缺陷检测与字符识别方法，其特征在于，包括：获取一定数量的具有缺陷的零件图像并对获得的零件图像进行分类标注，得到分类标注训练数据集，所述分类标注的分类类型包括：缺陷轮廓类型和字符轮廓类型；基于并行反向注意力的PraNet网络构建分割模型，其中sigmod激活函数改进为Softmax激活函数作为PraNet网络输出端的激活函数，对于PraNet算法，AdamW优化函数替换原有的Adam优化函数，并且在AdamW优化函数中加入LookAhead机制，用Mish激活函数替换原有的ReLU激活函数；对所述分割模型进行训练；使用训练好的所述分割模型对零件图像进行缺陷检测。2.根据权利要求1所述的基于分割网络的零件缺陷检测与字符识别方法，其特征在于，在对获得的零件图像进行分类标注时，在零件图像中用连续的闭合的点线来标注缺陷轮廓区域和字符轮廓区域，标注后生成相应的扩展名为Json的标注文件，用标注标签来注释缺陷轮廓区域和字符轮廓区域。3.根据权利要求2所述的基于分割网络的零件缺陷检测与字符识别方法，其特征在于，当字符轮廓区域和缺陷轮廓区域交织在一起无法区分时，将分类类型只标注为缺陷轮廓类型，不再标注字符轮廓类型。4.根据权利要求1所述的基于分割网络的零件缺陷检测与字符识别方法，其特征在于，在使用训练好的所述分割模型对零件图像进行缺陷检测的过程中，对于所述分割模型输出的包含字符的零件图像，使用OCR文本检测和识别算法来识别出该零件图像中的字符。5.根据权利要求1所述的基于分割网络的零件缺陷检测与字符识别方法，其特征在于，所述缺陷轮廓类型包括但不限于划痕轮廓类型和残缺轮廓类型。6.一种基于分割网络的零件缺陷检测与字符识别装置，其特征在于，包括：图像获...

【专利技术属性】
技术研发人员：王海洋，宋吉锋，王丽萍，李雪梅，
申请(专利权)人：烟台中科网络技术研究所，
类型：发明
国别省市：