金属零件表面文本检测方法和系统技术方案

本发明专利技术提供了一种金属零件表面文本检测方法和系统，包括：预处理步骤：识别金属表面字符图像，对金属表面字符图像进行图像增强，得到预处理图像；前景特征聚焦步骤：基于预处理图像，通过深度卷积网络高亮文本区域的图像特征，得到显著图；多尺度矫正步骤：利用显著图的像素信息过滤金字塔网络不同层级的背景文本框，通过修正特征网络对被选中的文本框进行评估和预测，得到修正文本框；后处理步骤：计算修正文本框的实例分数，结合预测分数，应用非极大值抑制算法得到最终文本框位置。本发明专利技术解决了金属属性和工业环境导致的背景复杂的文本检测问题，实现了金属零件字符图像自动分割，输出高精度文本定位框，提高了检测精度。

【技术实现步骤摘要】
金属零件表面文本检测方法和系统
本专利技术涉及文本检测
，具体地，涉及一种金属零件表面文本检测方法和系统。
技术介绍
文本信息作为信息时代关键一环，应用在网络电子信息、文本印刷、交通标志和产品商标等等，在科技时代起着越来越重要的作用，因此对于光学字符识别(OCR)的研究，在智能自动化、信息处理、AI等领域发挥着重要作用。企业资源计划的业务场景中孵化的光学字符识别(OCR)应用程序已受到广泛关注，例如手势识别，包装印刷识别和金属表面字符识别。其中，在许多工业场景中，金属零件的跟踪是最具挑战性的。直接金属零件标识技术是零件产品标识的主要手段，是指在制造和生产零部件时，直接把已确定的零部件信息打印在产品本身，主要包含激光雕刻、针孔打标和喷墨标识三种方式。OCR技术对金属零件表面字符标识的研究和分析，可以在各类机器的加工生产线上快速识别零件型号，生产信息和生产商等信息，防止人工因识别疲劳导致错误的发生，提高生产效率。现有的文本检测方法主要研究自然场景复杂性的影响，然而由于金属零件表面字符数据集较难收集，而且在金属零件文本检测领域，存在着金属表面强反光、金属质地差异较大、字符排列不一、前景和背景对比度较差以及金属纹理背景复杂等问题，导致文本检测框定位不够精准，这对应用金属零件追踪的字符识别是困难的。专利文献CN110222680A(申请号：CN201910416098.1)公开了一种城市生活垃圾物品外包装文本检测方法：采集城市垃圾物品外包装的图像数据集，并对图像数据集中的每个图像的文本区域进行标注；对标注完成的图像数据集中的每个图像根据文本区域的标注生成文本分数特征图和多通道位置特征图，构成每个图像的训练标签；将图像数据集中的图像按照9：1的比例分为训练集和测试集；构建全卷积神经网络模型并进行训练，得到训练好的全卷积神经网络模型；利用训练好的全卷积神经网络模型获取待检测图像的预测文本区域；阈值筛选阶段；非极大值抑制阶段，得到最终的文本区域检测结果。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种金属零件表面文本检测方法和系统。根据本专利技术提供的金属零件表面文本检测方法，包括：预处理步骤：识别金属表面字符图像，对金属表面字符图像进行图像增强，得到预处理图像；前景特征聚焦步骤：基于预处理图像，通过深度卷积网络高亮文本区域的图像特征，得到显著图；多尺度矫正步骤：利用显著图的像素信息过滤金字塔网络不同层级的背景文本框，通过修正特征网络对被选中的文本框进行评估和预测，得到修正文本框；后处理步骤：计算修正文本框的实例分数，结合预测分数，应用非极大值抑制算法得到最终文本框位置。优选的，所述预处理步骤包括：图像增强步骤：基于RGB图像自适应直方图均衡增强金属表面字符图像的局部对比度，同时采用拉普拉斯算子锐化金属表面字符图像，保留高频信息和高亮文本字符细节，得到预处理图像。优选的，所述前景特征聚焦步骤包括：语义分割步骤：将金属表面字符图像送入多层次卷积网络，设置平行卷积结构和通道注意力机制融合高层次特征，增加自适应算子凸显低层次特征前景和背景的差值，并合并高层次特征和低层次特征得到显著图；前景聚焦步骤：将显著图与带有标签信息的掩码图进行比较，为对比度和辨识度低于预设阈值的区域设置分割阈值获取更多的前景文本特征。优选的，所述多尺度矫正步骤包括：多边形选择步骤：对显著图进行图像二值化处理，并将二值化结果作为掩码过滤不同层次的卷积网络生成的文本框和排除背景区域文本框，刷选得到多尺度的建议文本框；位置矫正步骤：应用ROI池化模型对建议文本框编码到固定形状，提取ROI区域特征，送入分类和回归网络得到修正文本框。优选的，所述后处理步骤包括：重新打分步骤：根据二值化后的显著图计算修正文本框的实例得分，并结合修正文本框的预测得分，对每一个修正文本框重新评估分值；非极大值抑制步骤：应用NMS方法滤除重复的文本框，得到最终的文本框位置。根据本专利技术提供的金属零件表面文本检测系统，包括：预处理模块：识别金属表面字符图像，对金属表面字符图像进行图像增强，得到预处理图像；前景特征聚焦模块：基于预处理图像，通过深度卷积网络高亮文本区域的图像特征，得到显著图；多尺度矫正模块：利用显著图的像素信息过滤金字塔网络不同层级的背景文本框，通过修正特征网络对被选中的文本框进行评估和预测，得到修正文本框；后处理模块：计算修正文本框的实例分数，结合预测分数，应用非极大值抑制算法得到最终文本框位置。优选的，所述预处理模块包括：图像增强模块：基于RGB图像自适应直方图均衡增强金属表面字符图像的局部对比度，同时采用拉普拉斯算子锐化金属表面字符图像，保留高频信息和高亮文本字符细节，得到预处理图像。优选的，所述前景特征聚焦模块包括：语义分割模块：将金属表面字符图像送入多层次卷积网络，设置平行卷积结构和通道注意力机制融合高层次特征，增加自适应算子凸显低层次特征前景和背景的差值，并合并高层次特征和低层次特征得到显著图；前景聚焦模块：将显著图与带有标签信息的掩码图进行比较，为对比度和辨识度低于预设阈值的区域设置分割阈值获取更多的前景文本特征。优选的，所述多尺度矫正模块包括：多边形选择模块：对显著图进行图像二值化处理，并将二值化结果作为掩码过滤不同层次的卷积网络生成的文本框和排除背景区域文本框，刷选得到多尺度的建议文本框；位置矫正模块：应用ROI池化模型对建议文本框编码到固定形状，提取ROI区域特征，送入分类和回归网络得到修正文本框。优选的，所述后处理模块包括：重新打分模块：根据二值化后的显著图计算修正文本框的实例得分，并结合修正文本框的预测得分，对每一个修正文本框重新评估分值；非极大值抑制模块：应用NMS方法滤除重复的文本框，得到最终的文本框位置。与现有技术相比，本专利技术具有如下的有益效果：(1)本专利技术基于精修位置和分类特征的金属零件表面文本检测方法，针对金属表面具有低对比度、强反光、字符凸凹不一和复杂纹理的现象，通过自适应直方图均衡化和图像锐化增强金属表面字符对比度，并设计聚焦前景的语义分割方法，突出了字符区域文本特征；(2)本专利技术针对金属零件文本定位不精确的现象提出了一种快速且有效的多边形选择算法，有效过滤掉背景框，并为修正网络提供更多精确的前景框用于回归，改善了定位效果；(3)本专利技术结合预测位置框的实例得分，提出重新打分机制，不仅得到定位精准的检测框，而且提高了文本检测的综合指标。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为金属零件表面文本检测的流程图。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本本文档来自技高网...

【技术保护点】
1.一种金属零件表面文本检测方法，其特征在于，包括：/n预处理步骤：识别金属表面字符图像，对金属表面字符图像进行图像增强，得到预处理图像；/n前景特征聚焦步骤：基于预处理图像，通过深度卷积网络高亮文本区域的图像特征，得到显著图；/n多尺度矫正步骤：利用显著图的像素信息过滤金字塔网络不同层级的背景文本框，通过修正特征网络对被选中的文本框进行评估和预测，得到修正文本框；/n后处理步骤：计算修正文本框的实例分数，结合预测分数，应用非极大值抑制算法得到最终文本框位置。/n

【技术特征摘要】
1.一种金属零件表面文本检测方法，其特征在于，包括：
预处理步骤：识别金属表面字符图像，对金属表面字符图像进行图像增强，得到预处理图像；
前景特征聚焦步骤：基于预处理图像，通过深度卷积网络高亮文本区域的图像特征，得到显著图；
多尺度矫正步骤：利用显著图的像素信息过滤金字塔网络不同层级的背景文本框，通过修正特征网络对被选中的文本框进行评估和预测，得到修正文本框；
后处理步骤：计算修正文本框的实例分数，结合预测分数，应用非极大值抑制算法得到最终文本框位置。


2.根据权利要求1所述的金属零件表面文本检测方法，其特征在于，所述预处理步骤包括：
图像增强步骤：基于RGB图像自适应直方图均衡增强金属表面字符图像的局部对比度，同时采用拉普拉斯算子锐化金属表面字符图像，保留高频信息和高亮文本字符细节，得到预处理图像。


3.根据权利要求1所述的金属零件表面文本检测方法，其特征在于，所述前景特征聚焦步骤包括：
语义分割步骤：将金属表面字符图像送入多层次卷积网络，设置平行卷积结构和通道注意力机制融合高层次特征，增加自适应算子凸显低层次特征前景和背景的差值，并合并高层次特征和低层次特征得到显著图；
前景聚焦步骤：将显著图与带有标签信息的掩码图进行比较，为对比度和辨识度低于预设阈值的区域设置分割阈值获取更多的前景文本特征。


4.根据权利要求1所述的金属零件表面文本检测方法，其特征在于，所述多尺度矫正步骤包括：
多边形选择步骤：对显著图进行图像二值化处理，并将二值化结果作为掩码过滤不同层次的卷积网络生成的文本框和排除背景区域文本框，刷选得到多尺度的建议文本框；
位置矫正步骤：应用ROI池化模型对建议文本框编码到固定形状，提取ROI区域特征，送入分类和回归网络得到修正文本框。


5.根据权利要求1所述的金属零件表面文本检测方法，其特征在于，所述后处理步骤包括：
重新打分步骤：根据二值化后的显著图计算修正文本框的实例得分，并结合修正文本框的预测得分，对每一个修正文本框重新评估分值；
非极大值抑制步骤：应用NMS方法滤除重复的文本框，得到最终的文本框位置。

【专利技术属性】
技术研发人员：谷朝臣，官同坤，王臻，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31