基于AI技术的产品包装袋打码缺陷检测方法及系统技术方案

本发明专利技术涉及一种基于AI技术的产品包装袋打码缺陷检测方法，包括以下步骤：步骤S1:获取产品包装袋图像，并进行裁剪；步骤S2:根据裁剪后的产品包装袋图像，基于软触发或硬触发，触发图像识别；步骤S3:对裁剪后的产品包装袋图像进行预处理；步骤S4:基于预处理后的图像，采用DB算法，形成文本框；步骤S5:根据得到的文本框，基于深度学习模型CRNN进行字符识别得到字符预测的内容结果以及相应的概率值；步骤S6:基于字符预测的内容结果以及相应的概率值，获取缺陷目标的检测结果。本发明专利技术实现了对各种类型包装如塑料包装、纸盒等各种简单或复杂背景的产品包装识别与缺陷检测。的产品包装识别与缺陷检测。的产品包装识别与缺陷检测。

【技术实现步骤摘要】
基于AI技术的产品包装袋打码缺陷检测方法及系统


[0001]本专利技术涉及智能识别领域，具体涉及一种基于AI技术的产品包装袋打码缺陷检测方法及系统，。

技术介绍

[0002]随着人工智能技术的发展，利用OCR技术和机器视觉方法进行产品包装袋打码字符识别和缺陷检测已成为现实。
[0003]针对产品包装袋打码字符识别的现有方法主要有传统的OCR技术和基于深度神经网络的OCR技术。传统的OCR技术已经形成了成熟的技术流程体系，大体包括图像预处理，对图像进行去噪、灰度化、二值化、倾斜校正；文本定位，将图像中的字符区域定位出来以便后续进行识别；文字识别，对单字符进行提取特征，利用分类器分类，再进行后优化处理这几个阶段。但传统OCR方法虽然识别效率高，但泛化能力及鲁棒性差，只适用于背景简单的图像。而基于深度学习的OCR技术利用深度神经网络，将图像预处理、文本定位、文字识别等功能集成一体，可实现端到端的像素级文字标注及关键字字符检测。
[0004]如何突破传统图像识别方法泛化能力及鲁棒性差、深度学习对大量标注数据及硬件条件的较高依赖也是需要解决的关键问题。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种基于AI技术的产品包装袋打码缺陷检测方法及系统，实现了对各种类型包装如塑料包装、纸盒等各种简单或复杂背景的产品包装识别与缺陷检测。
[0006]为实现上述目的，本专利技术采用如下技术方案：一种基于AI技术的产品包装袋打码缺陷检测方法，包括以下步骤：步骤S1:获取产品包装袋图像，并进行裁剪；步骤S2:根据裁剪后的产品包装袋图像，基于软触发或硬触发，触发图像识别；步骤S3:对裁剪后的产品包装袋图像进行预处理；步骤S4:基于预处理后的图像，采用DB算法，形成文本框；步骤S5:根据得到的文本框，基于深度学习模型CRNN进行字符识别得到字符预测的内容结果以及相应的概率值；步骤S6:基于字符预测的内容结果以及相应的概率值，获取缺陷目标的检测结果。
[0007]进一步的，所述步骤S1具体为：通过工业相机采集高速传送带上的产品包装袋图像，并对相机拍摄到的产品包装袋图像进行裁剪，在拍摄第一幅图像上框选出裁剪区域后，后继的实时采集中自动保留裁剪区域内图像。
[0008]进一步的，所述软触发采用间隔时间法、相似度比较法和边缘强度法定位需检测识别图像。
[0009]进一步的，所述硬触发通过连接打印及包装设备上的编码器及PLC的串口输出信
号硬触发方法自动触发后继字符定位识别及缺陷检测。
[0010]进一步的，所述预处理具体为：将读入的RGB图像转化为灰度图像，先对其做快速降噪处理，再对自适应阈值算法处理后二值化图像做反色处理，最后做腐蚀和膨胀等形态学处理。
[0011]进一步的，所述DB算法，具体为：骨干网络选用ResNet50_vd，通过上采样的方式将特征金字塔的输出变换为同一尺寸，并级联产生特征及特征层；而后，通过特征层预测概率图及文本概率图，用于计算该像素属于文本的概率形成文本概率图，然后根据各像素动态阈值形成动态阈值图；通过文本概率图和动态阈值图生成DB二值图，根据DB二值图拓展标签生成，形成文本框。
[0012]进一步的，所述深度学习模型CRNN具体为：采用CRNN算法，特征学习阶段采用CNN+RNN的网络结构，在对齐时选用CTC算法；骨干网络选用ResNet34_vd，CNN提取图像像素特征，RNN提取图像时序特征，而CTC归纳字符间的连接特性，最终输出值为文本识别的预测结果以及相应的预测概率值。
[0013]进一步的，所述步骤S6具体为：（1） 针对多印、漏印情况，直接比较用户输入的标准字符串与预测结果字符串之间的字符串长度，标准字符串长度小于预测结果字符串长度则视为漏印，反之，标准字符串长度大于预测结果字符串长度则视为多印；（2）针对错印情况，直接比较用户输入的标准字符串与预测结果字符串是否相同，若存在若干处字符不相同，则视为错印；（3）针对字符缺损情况，为合理地判别是否出现缺损字符，采用统计学3σ原则，根据预测字符概率高低判断是否异常，对于概率小于的字符则视为异常字符；（4）若无上述3种错误情况，则认为输入图片的缺陷检测结果为完全正确。
[0014]一种基于AI技术的产品包装袋打码缺陷检测系统，包括图像自动采集单元、触发识别单元、OCR字符定位识别缺陷检测单元和结果输出单元；所述图像自动采集单元，过工业摄像头实时自动采集高速传送带上的产品包装袋图像，并可利用系统自带识别功能自动对包装袋图像并进行裁剪，而裁剪后图像传输给触发识别模块；所述触发识别模块对采集图像通过间隔时间法、相似度比较法和边缘强度法的软触发方法定位需检测识别图像，或通过连接打印及包装设备上的编码器及PLC的串口输出信号硬触发方法自动触发后继OCR字符定位识别及缺陷检测模块；所述OCR字符定位识别缺陷检测单元利用深度神经网络对待识别的包装袋图像进行预处理、文本定位及OCR字符识别，并将字符识别结果及置信度输给缺陷检测模块，支持动态识别和离线识别两种模式；之后缺陷检测根据OCR结果判断是否有错印、漏印、多印及模糊不清情况，支持动态检测和离线检测两种模式；所述结果输出模块对检测出的错误或缺陷帧输出错误类别信息或通过232串口返回Ng信号，同时分别循环保存正常帧和缺陷帧图像。
[0015]本专利技术与现有技术相比具有以下有益效果：1、本专利技术实现了对各种类型包装如塑料包装、纸盒等各种简单或复杂背景的产品包装识别与缺陷检测；
2、本专利技术对产品包装袋生产日期字符识别准确率高，缺陷检测精度高，能适应具有复杂背景、低对比度的图像，场景适应性强，同时，该系统集图像实时采集、实时文字定位、实时OCR识别、实时错误与缺陷检测多功能为一体，完成一次采集、识别、缺陷检测的速度快。
附图说明
[0016]图1是本专利技术系统结构示意图；图2是本专利技术一实施例中DB算法网络示意图；图3是本专利技术一实施例中CRNN算法网络示意图；图4是本专利技术一实施例中在线实时识别包装袋生产日期模块的操作界面；图5是本专利技术一实施例中参数设置界面；图6是本专利技术一实施例中参数“间隔时间”为下拉菜单；图7是本专利技术一实施例中参数“串口设置”；图8是本专利技术一实施例中离线识别包装生产日期界面。
具体实施方式
[0017]下面结合附图及实施例对本专利技术做进一步说明。
[0018]请参照图1，本专利技术提供一种基于AI技术的产品包装袋打码缺陷检测系统，包括图像自动采集单元、触发识别单元、OCR字符定位识别缺陷检测单元和结果输出单元；图像自动采集单元，过工业摄像头实时自动采集高速传送带上的产品包装袋图像，并可利用系统自带识别功能自动对包装袋图像并进行裁剪，而裁剪后图像传输给触发识别模块；触发识别模块对采集图像通过间隔时间法、相似度比较法和边缘强度法的软触发方法定位需检测识别图像，或通过连接打印及包装设备上的编码器及PLC的串口输出信号硬触发方法自动触发后继OCR字符定位识别及缺陷检测模块；OCR字符定位识别缺陷检测单元利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AI技术的产品包装袋打码缺陷检测方法，其特征在于，包括以下步骤：步骤S1:获取产品包装袋图像，并进行裁剪；步骤S2:根据裁剪后的产品包装袋图像，基于软触发或硬触发，触发图像识别；步骤S3:对裁剪后的产品包装袋图像进行预处理；步骤S4:基于预处理后的图像，采用DB算法，形成文本框；步骤S5:根据得到的文本框，基于深度学习模型CRNN进行字符识别得到字符预测的内容结果以及相应的概率值；步骤S6:基于字符预测的内容结果以及相应的概率值，获取缺陷目标的检测结果。2.根据权利要求1所述的基于AI技术的产品包装袋打码缺陷检测方法，其特征在于，所述步骤S1具体为：通过工业相机采集高速传送带上的产品包装袋图像，并对相机拍摄到的产品包装袋图像进行裁剪，在拍摄第一幅图像上框选出裁剪区域后，后继的实时采集中自动保留裁剪区域内图像。3.根据权利要求1所述的基于AI技术的产品包装袋打码缺陷检测方法，其特征在于，所述软触发采用间隔时间法、相似度比较法和边缘强度法定位需检测识别图像。4.根据权利要求1所述的基于AI技术的产品包装袋打码缺陷检测方法，其特征在于，所述硬触发通过连接打印及包装设备上的编码器及PLC的串口输出信号硬触发方法自动触发后继字符定位识别及缺陷检测。5.根据权利要求1所述的基于AI技术的产品包装袋打码缺陷检测方法，其特征在于，所述预处理具体为：将读入的RGB图像转化为灰度图像，先对其做快速降噪处理，再对自适应阈值算法处理后二值化图像做反色处理，最后做腐蚀和膨胀等形态学处理。6.根据权利要求1所述的基于AI技术的产品包装袋打码缺陷检测方法，其特征在于，所述DB算法，具体为：骨干网络选用ResNet50_vd，通过上采样的方式将特征金字塔的输出变换为同一尺寸，并级联产生特征及特征层；而后，通过特征层预测概率图及文本概率图，用于计算该像素属于文本的概率形成文本概率图，然后根据各像素动态阈值形成动态阈值图；通过文本概率图和动态阈值图生成DB二值图，根据DB二值图拓展标签生成，形成文本框。7.根据权利要求1所述的基于AI技术的产品包装袋打码缺陷检测方法，其特征在于，所述深度学习模型CRNN...

【专利技术属性】
技术研发人员：陈晓云，郑植文，林忻怡，陈日，林燕铭，
申请(专利权)人：福州大学，
类型：发明
国别省市：