铭牌自动识别方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种铭牌自动识别方法、装置、计算机设备和存储介质。铭牌自动识别方法包括：获取待识别的铭牌图像；对铭牌图像进行透视变换处理，得到矫正图像；对矫正图像中的字符区域进行提取，获得文本图像；基于卷积循环神经网络处理，对文本图像进行转换处理，得到字符信息。该方法在预处理阶段对铭牌图像进行透视转正，获得矫正图像，提高后续文本识别的准确度。通过文本提取框提取出矫正图像内的文本图像，缩小后续的识别范围，提高检索效率。使用卷积网络和循环神经网络，有效识别文本中内在的上下文信息，在检测上收敛更快，提高文本检测的召回率和单词级检测框切割的准确率。

Nameplate automatic identification method, device, computer equipment and storage medium

【技术实现步骤摘要】
铭牌自动识别方法、装置、计算机设备和存储介质
本申请涉及铭牌识别
，特别是涉及一种铭牌自动识别方法、装置、计算机设备和存储介质。
技术介绍
变电系统非常复杂，变电设备种类繁多，数量巨大，所以在检测和维修中，往往需要通过识别变电设备的铭牌来确定设备的型号和生产厂家，再进行针对性的维护。目前，变电企业大部分情况通过人工来识别设备的铭牌。然而，通过人工识别铭牌，一方面会提高人力成本。另一方面，在识别人疲劳的情况下，人工识别的准确度会显著下降。而今随着智能检测识别的推广，智能检测识别技术也应用于文本的检测识别。但是，在通用物体的检测识别中，每个对象具有明确定义的闭合边界，而这种明确定义的闭合边界不存在于文本中，因为文本行或单词由许多单独的字符组成。基于文字检测和一般目标检测之间的巨大差异，采用一般的目标检测方法无法准确快速的检测和识别铭牌上的文字。
技术实现思路
基于此，有必要针对铭牌的文本识别准确率不高的问题，提供一种铭牌自动识别方法、装置、计算机设备和存储介质。一种铭牌自动识别方法，所述方法包括以下步骤：获取待识别的铭牌图像；对所述铭牌图像进行透视变换处理，得到矫正图像；对所述矫正图像中的字符区域进行提取，获得文本图像；基于卷积循环神经网络处理，对所述文本图像进行转换处理，得到字符信息。在其中一个实施例中，所述对所述铭牌图像进行透视变换处理，得到矫正图像的步骤，包括：获取所述铭牌图像的四个角点坐标和透视变换矩阵，对所述铭牌图像进行调整，得到所述矫正图像。在其中一个实施例中，所述对所述矫正图像中的字符区域进行提取，获得文本图像的步骤，包括：根据所述文本检测网络，获取文本提取框；根据所述文本提取框，对所述矫正图像中文字区域进行提取，得到所述文本图像。在其中一个实施例中，所述采用卷积循环神经网络对所述字符区域进行识别，转化得到字符信息的步骤，包括：基于卷积神经网络，对所述字符区域进行卷积操作，提取所述字符区域的深层特征；基于循环神经网络，对所述深层特征进行提取，得到对应的预测文字序列特征；基于长短期记忆网络，对所述预测文字序列特征进行转换处理，得到所述字符信息。在其中一个实施例中，在所述获取待识别的铭牌图像的步骤后，还包括：对所述铭牌图像进行几何变换，得到数据训练集。在其中一个实施例中，所述几何变换包括旋转透视变换、翻转变换缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变换及图像内容位置变换的一种或多种。在其中一个实施例中，所述基于卷积神经网络，对所述字符区域进行卷积操作，提取所述字符区域的深层特征的步骤，包括：根据所述训练数据集，对所述卷积神经网络进行训练，得到训练后的卷积神经网络；根据所述训练后的卷积神经网络，对所述字符区域进行卷积操作，提取所述字符区域的深层特征。一种铭牌自动检测与识别装置，所述装置包括：获取模块，用于获取待识别的铭牌图像；透视矫正模块，用于对铭牌图像进行透视变换处理，得到矫正图像；提取模块，用于对矫正图像中的字符区域进行提取，获得文本图像；以及转换模块，用于基于卷积循环神经网络处理，对文本图像进行转换处理，得到字符信息。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述铭牌自动识别方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述铭牌自动识别方法的步骤。上述铭牌自动识别方法、装置、存储介质和计算机设备，在预处理阶段对铭牌图像进行透视转正，获得矫正图像，提高后续文本识别的准确度。通过文本提取框提取出矫正图像内的文本图像，缩小后续的识别范围，提高检索效率。使用卷积网络和循环神经网络，有效识别文本中内在的上下文信息，在检测上收敛更快，提高文本检测的召回率和单词级检测框切割的准确率。附图说明图1为一实施例中的铭牌自动识别方法的流程示意图；图2为一实施例中的铭牌自动识别装置的结构框图；图3为另一实施例中的铭牌自动识别装置的结构框图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。在一个实施例中，如图1所示，提供了一种铭牌自动识别方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：步骤S202，获取待识别的铭牌图像。其中，铭牌是指固定在产品上，向用户提供厂家商标识别、品牌区分及产品参数等信息的标牌，铭牌主要用来记载生产厂家及额定工作情况下的一些技术数据，以供正确使用而不致损坏设备。铭牌图像则是指包含前述信息的图片。具体地，针对铭牌图像的获取对象进行采集，获得多帧铭牌图像的初始图像。例如采用终端为移动手持式的终端，移动手持式终端具有获取模块，如拍摄模组。用户手持终端，对准产品的铭牌进行拍摄，从而获取铭牌图像。步骤S204，对所述铭牌图像进行透视变换处理，得到矫正图像。透视变换，又称为投影映射、投射变换等，是三维空间上的非线性变换，即通过一个变换矩阵将原图投影到一个新的视平面，在视觉上的直观表现就是产生或消除了远近感。基于获取的铭牌图像是基于用户手动获取。当采集图像时，图像采集模块的镜头未与铭牌平齐，例如基于现场环境因素，用户所处的位置相较于铭牌所在的位置更高或更低，使得用户在手持终端时，终端的图像采集模块的镜头无法与铭牌处于同一基准线，则获取的铭牌图像会出现倾斜或变形等情况。通过对获取的铭牌图像进行透视变换处理，将倾斜或变形的铭牌图像进行矫正处理，获得矫正图像。步骤S206，对所述矫正图像中的字符区域进行提取，获得文本图像。字符区域是指区别于矫正图像上的非字符区域，字符区域包含了铭牌上含有文字、数字、字母及符号的区域。具体地，采用CTPN(ConnectionistTextProposalNetwork，场景文本检测网络)进行字符区域的识别。CTPN是一个允许输入任意尺寸的图片的全卷积网络，CTPN即所述文本检测网络。将矫正图像输入CTPN模型内，获得具有多个卷积层的卷积特征图谱。在本实施例中，基于VGG(VisualGeometryGroup，视觉几何组)网络，例如，基于VGG16作为基础模型，将矫正图片输入至VGG网络中，获得具有多层卷积层的卷积特征图谱。选用设定尺寸的卷积核对卷积特征图谱进行密集滑动，相应地，每次滑动得到一个同样设定尺寸的文本提取框，每一文本提取框均具有相同的特征向量。在每个文本提取框里面预测N个固定宽度的以及在设定高度范围内的anchors(垂直锚)，将上述得到的文本提取框组成序列输入双向LSTM(LongShort-TermMemory，长短期记忆人工神经网络)，输出得到密集预测的文本候选者，使用非极大值抑制过滤多余的边界框本文档来自技高网...

【技术保护点】
1.一种铭牌自动识别方法，其特征在于，所述方法包括以下步骤：/n获取待识别的铭牌图像；/n对所述铭牌图像进行透视变换处理，得到矫正图像；/n对所述矫正图像中的字符区域进行提取，获得文本图像；/n基于卷积循环神经网络处理，对所述文本图像进行转换处理，得到字符信息。/n

【技术特征摘要】
1.一种铭牌自动识别方法，其特征在于，所述方法包括以下步骤：
获取待识别的铭牌图像；
对所述铭牌图像进行透视变换处理，得到矫正图像；
对所述矫正图像中的字符区域进行提取，获得文本图像；
基于卷积循环神经网络处理，对所述文本图像进行转换处理，得到字符信息。


2.根据权利要求1所述的铭牌自动识别方法，其特征在于，所述对所述铭牌图像进行透视变换处理，得到矫正图像的步骤，包括：
获取所述铭牌图像的四个角点坐标和透视变换矩阵，对所述铭牌图像进行调整，得到所述矫正图像。


3.根据权利要求1所述的铭牌自动识别方法，其特征在于，所述对所述矫正图像中的字符区域进行提取，获得文本图像的步骤，包括：
根据所述文本检测网络，获取文本提取框；
根据所述文本提取框，对所述矫正图像中文字区域进行提取，得到所述文本图像。


4.根据权利要求1所述的铭牌自动识别方法，其特征在于，所述基于卷积循环神经网络处理，对所述文本图像进行转换处理，得到字符信息的步骤，包括：
基于卷积神经网络，对所述字符区域进行卷积操作，提取所述字符区域的深层特征；
基于循环神经网络，对所述深层特征进行提取，得到对应的预测文字序列特征；
基于长短期记忆网络，对所述预测文字序列特征进行转换处理，得到所述字符信息。


5.根据权利要求4所述的铭牌自动识别方法，其特征在于，在所述获取待识别的铭牌图像的步骤后，还包括：
对所述铭牌...

【专利技术属性】
技术研发人员：陈小龙，张璞，赖江宇，王伟因，王树庆，游宇辰，骆景欣，马伟东，陈宜皇，孙秋霜，郑源斌，杨坤松，王敏，邓泽权，付天任，冯虓，陈晓清，张文健，岳建坤，刘运花，李瑶佳，翁子豪，李卓然，
申请(专利权)人：广州供电局有限公司，
类型：发明
国别省市：广东;44