一种基于深度学习的液晶数显仪表读数识别方法及系统技术方案

本发明专利技术公开了一种基于深度学习的液晶数显仪表读数识别方法及系统，包括以下步骤：采集液晶数显仪表图像，对液晶数显仪表图像进行预处理，应用透视变换图像处理技术实现液晶数显仪表图像的倾斜和旋转校正；构建YOLOv4

【技术实现步骤摘要】
一种基于深度学习的液晶数显仪表读数识别方法及系统


[0001]本专利技术属于图像处理
，涉及一种基于深度学习的液晶数显仪表读数识别方法及系统。

技术介绍

[0002]液晶数显仪表因为直观性强、精度高、显示信息丰富等优点近年来被广泛应用于工业领域中，在考虑信息安全及成本等因素下，大多并不具有读取仪表数据的接口，无法实现仪表测量数据的自动采集和传输，而且改装后的数显式仪表，其密封性、精度等各项性能通常也达不到企业要求，所以用于工业领域的液晶数显仪表读数主要通过人工进行数据读取及记录。然而采用人工读数不可避免的会出现一些问题，如人的观测角度、距离及人的疲劳强度等一些人为因素会导致识别的仪表读数和真实读数有偏差，同时存在人工读数速度慢，数据记录易出错，长时间工作后工作效率会下降等缺点。
[0003]此外，工业现场环境复杂，存在复杂背景、仪表倾斜、尺度变化、图像模糊、环境照明、面板污染等情形，因此采用传统液晶数显仪表读数识别算法对上述情形的液晶数显仪表读数识别较为困难，准确率及效率较低，且现有基于机器视觉的识别方法在仪表读数变化频率较高的情况下识别准确率较低。

技术实现思路

[0004]本专利技术的目的在于解决现有技术中的问题，提供一种基于深度学习的液晶数显仪表读数识别方法及系统，可以对多种复杂场景下的液晶数显仪表实现字符区域的快速准确检测和读数识别。
[0005]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0006]一种基于深度学习的液晶数显仪表读数识别方法，包括以下步骤：
[0007]采集液晶数显仪表图像，对液晶数显仪表图像进行预处理，应用透视变换图像处理技术实现液晶数显仪表图像的倾斜和旋转校正；
[0008]基于倾斜和旋转校正后的液晶数显仪表图像，构建YOLOv4
‑
tiny字符区域检测网络模型，获取字符串识别图像数据；
[0009]根据字符串识别图像数据构建CRNN字符串识别网络模型，完成液晶数显仪表读数识别。
[0010]进一步的，所述液晶数显仪表图像的采集过程为：
[0011]调节液晶数显仪表与相机距离至所采集图像完整清晰，相机连接高性能计算机进行拍照，最后计算机对液晶数显仪表图像进行后续处理并对每幅图像给予编号。
[0012]进一步的，所述液晶数显仪表图像的预处理过程为：
[0013]得到液晶数显仪表图像后，按照以下公式将彩色图转为灰度图：
[0014]Y＝0.299R+0.587G+0.114B
[0015]其中，Y为亮度，R、G、B分别为彩色图像红色、绿色、蓝色的分量；
[0016]利用高斯滤波对处理过后的灰度图进行处理。
[0017]进一步的，所述液晶数显仪表图像的倾斜和旋转校正过程为：
[0018]对滤波后的液晶数显仪表图像进行Canny边缘检测，获取液晶数显仪表轮廓；
[0019]基于透视变换对预处理后的图像进行倾斜校正，透视变换的通用变换公式如下式所示：
[0020][0021]其中，[x,y,z]T
是变换前的坐标，[x
′
,y
′
,z
′
]T
是变换后的坐标，矩阵是变换矩阵，其变换关系如下式所示：
[0022][0023][0024]进一步的，所述获取字符串识别图像数据的过程包括：
[0025]将倾斜和旋转校正后的液晶数显仪表图像划分为训练集和测试集，构建字符区域检测图像数据集；
[0026]构建YOLOv4
‑
tiny字符区域检测网络；
[0027]利用字符区域检测图像数据集训练YOLOv4
‑
tiny字符区域检测网络，得到YOLOv4
‑
tiny字符区域检测网络模型；
[0028]将待检测液晶数显仪表图像输入YOLOv4
‑
tiny字符区域检测网络模型，得到液晶数显仪表字符区域检测结果；
[0029]对得到的液晶数显仪表字符区域检测结果进行保存，构建字符串识别图像数据。
[0030]进一步的，所述YOLOv4
‑
tiny字符区域检测网络包括CSPdarknet53
‑
tiny主干网络、FPN特征增强网络和预测特征层YOLO Head；
[0031]所述CSPdarknet53
‑
tiny主干网络用于对输入的图像数据进行卷积操作，提取图像中特定目标的特征信息；
[0032]所述FPN特征增强网络用于通过增加大目标的细节特征以提高后续检测过程中预测框与实际标注框的交并比；
[0033]所述预测特征层YOLO Head用于利用得到的特征结果进行最后的预测。
[0034]进一步的，所述液晶数显仪表读数识别过程包括：
[0035]对字符串识别图像数据进行标注，并将标注后的图像划分为训练集和测试集，构建字符串识别图像数据集；
[0036]构建CRNN字符串识别网络，利用字符串识别图像数据集训练CRNN字符串识别网络，得到CRNN字符串识别网络模型；
[0037]将待识别液晶数显仪表字符区域图像输入CRNN字符串识别网络模型，得到液晶数
显仪表字符串识别结果。
[0038]进一步的，所述CRNN字符串识别网络包括CNN卷积层、RNN循环层和CTC转录层；
[0039]所述CNN卷积层用于从输入图像中提取特征序列；
[0040]所述RNN循环层用于预测从卷积层获取的特征序列的标签分布；
[0041]所述CTC转录层用于将从循环层获取的标签分布通过去重整合操作转换成最终的识别结果。
[0042]一种基于深度学习的液晶数显仪表读数识别系统，包括：
[0043]图像采集模块，所述图像采集模块用于采集液晶数显仪表图像，对液晶数显仪表图像进行预处理，应用透视变换图像处理技术实现液晶数显仪表图像的倾斜和旋转校正；
[0044]数据获取模块，所述数据获取模块用于基于倾斜和旋转校正后的液晶数显仪表图像，构建YOLOv4
‑
tiny字符区域检测网络模型，获取字符串识别图像数据；
[0045]读数识别模块，所述读数识别模块用于根据字符串识别图像数据构建CRNN字符串识别网络模型，完成液晶数显仪表读数识别。
[0046]与现有技术相比，本专利技术具有以下有益效果：
[0047]本专利技术提供一种基于深度学习的液晶数显仪表读数识别方法及系统，通过深度学习的深层网络模型提取液晶数显仪表字符特征，准确实现液晶数显仪表读数识别，提高目前液晶数显仪表读数识别的准确率及效率，改变传统人工检测与数据采集方式，同时减轻数据采集工作量与数据采集的人力需求，为工作人员提供仪表读数识别的有效技术支持，高效辅助工作人员完成数据采集作业。本专利技术与传统的液晶数显仪表读数识别算法相比，提高了液晶数显仪表读数识别的工作效率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的液晶数显仪表读数识别方法，其特征在于，包括以下步骤：采集液晶数显仪表图像，对液晶数显仪表图像进行预处理，应用透视变换图像处理技术实现液晶数显仪表图像的倾斜和旋转校正；基于倾斜和旋转校正后的液晶数显仪表图像，构建YOLOv4
‑
tiny字符区域检测网络模型，获取字符串识别图像数据；根据字符串识别图像数据构建CRNN字符串识别网络模型，完成液晶数显仪表读数识别。2.根据权利要求1所述的一种基于深度学习的液晶数显仪表读数识别方法，其特征在于，所述液晶数显仪表图像的采集过程为：调节液晶数显仪表与相机距离至所采集图像完整清晰，相机连接高性能计算机进行拍照，最后计算机对液晶数显仪表图像进行后续处理并对每幅图像给予编号。3.根据权利要求1所述的一种基于深度学习的液晶数显仪表读数识别方法，其特征在于，所述液晶数显仪表图像的预处理过程为：得到液晶数显仪表图像后，按照以下公式将彩色图转为灰度图：Y＝0.299R+0.587G+0.114B其中，Y为亮度，R、G、B分别为彩色图像红色、绿色、蓝色的分量；利用高斯滤波对处理过后的灰度图进行处理。4.根据权利要求1所述的一种基于深度学习的液晶数显仪表读数识别方法，其特征在于，所述液晶数显仪表图像的倾斜和旋转校正过程为：对滤波后的液晶数显仪表图像进行Canny边缘检测，获取液晶数显仪表轮廓；基于透视变换对预处理后的图像进行倾斜校正，透视变换的通用变换公式如下式所示：其中，[x,y,z]
T
是变换前的坐标，[x
′
,y
′
,z
′
]
T
是变换后的坐标，矩阵是变换矩阵，其变换关系如下式所示：变换矩阵，其变换关系如下式所示：5.根据权利要求1所述的一种基于深度学习的液晶数显仪表读数识别方法，其特征在于，所述获取字符串识别图像数据的过程包括：将倾斜和旋转校正后的液晶数显仪表图像划分为训练集和测试集，构建字符区域检测图像数据集；构建YOLOv4
‑
tiny字符区域检测网络；
利用字符区域检测图像数据集训练YOLOv4
‑
tiny字符区域检测网络，得到YOLOv4
‑
tiny字符区域检测网络模型；将待检测液晶数显仪表图像输...

【专利技术属性】
技术研发人员：贾晓亮，王伦，常笑，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：