一种基于深度学习的数字型老式水表的识别方法技术

本发明专利技术公布了一种基于深度学习的数字型老式水表的识别方法，包括：摄像头定时拍摄水表图片；将拍摄的水表图片以及水表拍摄时间等信息上传到云端；对水表图像进行预处理并且对预处理后的图片进行数据增强；将增强处理后的水表图像的数字框部分制作成数据集，对数据集进行标注和训练；运用深度学习中的yolo分割模块将水表数字框部分提取出来，再编写一段小程序将数字框的部分水平放置；将得到的水表数字框图片做成新的数据集，对数据集进行数据标注，数据格式处理和数据分配；运用深度学习中yolo卷积神经网，解析水表数字识别模型参数，识别真实场景下的水表图片，再用读数规则读出水表示数；分析实时获取的水表图像和读数结果，判断出识别错误的图像，并做标注；将得到的正确水表示数以及水表拍摄时间传输给客户，并且将数据上传到水利局。本文的发明专利技术方法可以提高识别速度，提高对水表半字符和全字符的识别准确率，并且能够较好的识别复杂，多变的水表图片。图片。图片。

【技术实现步骤摘要】
一种基于深度学习的数字型老式水表的识别方法


[0001]本专利技术属于图像目标识别分割和分类
，具体涉及一种基于深度学习的数字型老式水表的识别方法。

技术介绍

[0002]随着信息化智能化地发展，人们渴望用机器来代替人工。一些智能化产品逐渐出现在人们的日常生活中，给人们带来了极大的便利，比如无人驾驶，智能化工厂，智慧水务等等。虽然近几年智能化得到一定的发展，但是对于水表来讲，智能化水表普及率相对比较低，很多地区还在用以前的数字型的老式水表，因此还需要对老式水表进行人工抄录。但是对于传统的人工抄录，可能带来抄表效率低，漏抄，误差等问题给后续带来影响，所以对数字型老式水表的研究也是十分重要的。目前，对于数字型老式水表识别已经取得了许多研究成果。比如：模板匹配，深度学习等方法。
[0003]对于基于模板匹配的水表读书识别方法的研究，该方法采用的是传统的图像识别，虽然识别的半字符的精度较高，但是不具有普遍性，可能水表的数字字体不一样，模板就要更换这给人们带来了巨大的工作量，这会使得水表的读数的准确率不是很高；目前已经有的深度学习方法识别，它具有普遍性，并且对于全字符识别的较为准确，但对半字符识别的准确率就相对较低。

技术实现思路

[0004]专利技术目的：针对现有的水表识别中存在的识别速度不快，识别准确率不高，复杂场景识别不了以及识别模型鲁棒性差等一系列的问提，提出了一种基于深度学习的数字型老式水表的识别方法，该方法可以提高对水表半字符和全字符的识别准确率，提高识别速度，并且能够适应复杂，多变的水表安装环境。
[0005]技术方案：为实现上述的目的，本专利技术提供一种基于深度学习的数字型老式水表的识别方法，包括如下步骤：S1：摄像头定时拍摄水表图片；S2：将拍摄的水表图片以及水表拍摄时间等信息上传到云端；S3：对水表图像进行预处理并且对预处理后的图片进行数据增强；S4：将增强处理后的水表图像的数字框部分制作成数据集，对数据集进行标注和训练；S5：运用深度学习中的yolo分割模块将水表数字框部分提取出来，再编写一段小程序将数字框的部分水平放置；S6：根据步骤S5得到的水表数字框图片做成新的数据集，对数据集进行数据标注，数据格式处理和数据分配；S7：运用深度学习中yolo卷积神经网，解析水表数字识别模型参数，识别真实场景下的水表图片，再用读数规则读出水表示数；
S8：分析步骤S7实时获取的水表图像和读数结果，判断出识别错误的图像，并做标注；S9：将得到的正确水表示数以及水表拍摄时间传输给客户，并且将数据上传到水利局。
[0006]进一步地，所述步骤S1中水表信息的传输方式为：通过摄像头拍摄水表的图片，将图片信息转码保存到数据库里面，再把水表的数据通过HPPT服务器传输给服务端HPPT服务器。
[0007]进一步地，所述步骤S2具体为：将拍摄的水表图片转码成数据存储在数据库里；把数据库里面的数据上传到云端；云端上的数据进行解析，把数据转换成水表图像保存。
[0008]进一步地，所述步骤S3具体为:通过人工筛选图片，把水表数据集中人眼难以识别和水表数字字符缺失的水表图像进行过滤，并且人工选取半字符和全字符的图片制作数据集；运用图像处理的方法对图像进行旋转、翻转、缩放、平移、加噪声等方法对数据进行增强，这些会提高模型的泛化能力，增强其对称性识别能力，提高对物体大小的适应性，提高模型对物体位置的鲁棒性，提高其在嘈杂环境中的表现；分析图片的像素数据，将图片修改成统一的尺寸大小并且不改变原图的特征。
[0009]增强处理具体包括如下步骤：步骤3.1：在做深度学习时，数据的处理是重中之重。在做自己的数据集时，可能会面临数据图像数目不均衡，数据量少的困扰。因此需要做图像的增强，我们可以有效地扩展有限的训练数据集，使模型能够应对各种实际应用场景。具体增强方式如下：1.旋转(Rotation):将图像按顺时针或逆时针方向随机旋转一定角度。这种方法可以让模型学会识别不同角度下的物体，从而提高模型的泛化能力；2.翻转(Flip):将图像沿水平或垂直方向随机翻转一定角度。通过翻转图像，可以让模型学会识别镜像物体，增强其对称性识别能力；3.缩放(Zoom In/Out):将图像放大或缩小一定比例。这种方法可以让模型学会识别不同尺寸的物体，从而提高其对物体大小的适应性；4.平移(Shift)：将图像沿水平或垂直方向平移一定步长。这种方法可以让模型学会识别物体在不同位置的情况，提高模型对物体位置的鲁棒性；5.加噪声(Noise)：在图像中加入随机噪声。这种方法可以让模型学会忽略噪声，提高其在嘈杂环境中的表现。
[0010]进一步地，所述步骤S4具体包括：所拍摄的水表图片不一定都是水平放置，因此用labelme数据标注工具对增强后的水表图片进行标注，再将标注好的数据集按深度学习神经网络格式要求分配好数据集。
[0011]进一步地，所述步骤S5具体包括：5.1：将数据集的数字框部分用labelme标注工具标注，labelme中采用四点标注法，面对角度不同的图像都可以将数字框部分标注出来，总共只有一个类，取名为shu zi kuang，图像标注后是json格式；
5.2：将得到的json文件转化成神经网络所需要的txt文件，每个txt文件中包括每张图片的图片类型名称以及每个标签的位置情况；5.3：将得到的txt文件按照一定的比例分配成训练集，验证集以及测试集；5.4：将数据集放入yolo分割模块中进行训练得到训练结果，再通过自己编写的程序得到点的坐标将数字框部分分割出来，再利用倾斜角将数字框水平放置。
[0012]进一步地，所述步骤S6具体包括：A：通过步骤S5得到了数字框的数据集，将数字框的数据集用labelimg进行标注，再将标注好的数据集按深度学习神经网络格式要求分配好数据集。
[0013]进一步地，所述步骤A具体为：A1：将新的数字框数据集用labelimg标注工具标注，labelimg中采用矩形标注法对数据集进行标注，将数字类型分为全字和半字类型，其中全字分为：0，1，2，3，4，5，6，7，8，9十种类型，半字分为：01，12，23，34，45，56，67，78，89，90十种类型，图像标注后会生成xml文件，标注后的图片会显示每个字符的标注框，每类标签的标签名在标注框的上面；A2：将得到的xml文件转化成神经网络所需要的txt文件，每个txt文件中包含每张图片的图片类型名称以及每个标签的位置情况；A3：将得到的txt文件按照一定的比例分配成训练集，验证集以及测试集。
[0014]进一步地，所述步骤S7中水表读数规则为：获取到水表识别中预测的字符预测框的中心点的横坐标，将横坐标的数值按照从小到大排列出来；按照老式水表的读数规则要从左到右依次读数，与上面的横坐标从小到大刚好吻合，因此依次获得预测框的标签就是水表的读数，当标签为全字符时直接读数，当标签为半字符的时候对半字符进行再识别。
[0015]进一步地，所述步骤S7具体包括如下过程：B1：搭建深度学习的环境，调用图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的数字型老式水表的识别方法，其特征在于，包括如下步骤：S1：摄像头定时拍摄水表图片；S2：将拍摄的水表图片以及水表拍摄时间等信息上传到云端；S3：对水表图像进行预处理并且对预处理后的图片进行数据增强；S4：将增强处理后的水表图像的数字框部分制作成数据集，对数据集进行标注和训练；S5：运用深度学习中的yolo分割模块将水表数字框部分提取出来，再编写一段小程序将数字框的部分水平放置；S6：根据步骤S5得到的水表数字框图片做成新的数据集，对数据集进行数据标注，数据格式处理和数据分配；S7：运用深度学习中yolo卷积神经网，解析水表数字识别模型参数，识别真实场景下的水表图片，再用读数规则读出水表示数；S8：分析步骤S7实时获取的水表图像和读数结果，判断出识别错误的图像，并做标注；S9：将得到的正确水表示数以及水表拍摄时间传输给客户，并且将数据上传到水利局。2.根据权利要求1所述的一种基于深度学习的数字型老式水表的识别方法，其特征在于，所述步骤S1中水表信息的传输方式为：通过摄像头拍摄水表的图片，将图片信息转码保存到数据库里面，再把水表的数据通过HPPT服务器传输给服务端HPPT服务器。3.根据权利要求1所述的一种基于深度学习的数字型老式水表的识别方法，其特征在于，所述步骤S2具体为：将拍摄的水表图片转码成数据存储在数据库里；把数据库里面的数据上传到云端；云端上的数据进行解析，把数据转换成水表图像保存。4.根据权利要求1所述的一种基于深度学习的数字型老式水表的识别方法，其特征在于，所述步骤S3具体为：通过人工筛选图片，把水表数据集中人眼难以识别和水表数字字符缺失的水表图像进行过滤，并且人工选取半字符和全字符的图片制作数据集；运用图像处理的方法对图像进行旋转、翻转、缩放、平移、加噪声等方法对数据进行增强，这些会提高模型的泛化能力，增强其对称性识别能力，提高对物体大小的适应性，提高模型对物体位置的鲁棒性，提高其在嘈杂环境中的表现；分析图片的像素数据，将图片修改成统一的尺寸大小并且不改变原图的特征。5.根据权利要求1所述的一种基于深度学习的数字型老式水表的识别方法，其特征在于，所述步骤S4具体为：所拍摄的水表图片不一定都是水平放置，因此用labelme数据标注工具对增强后的水表图片进行标注，再将标注好的数据集按深度学习神经网络格式要求分配好数据集。6.根据权利要求1所述的一种基于深度学习的数字型老式水表的识别方法，其特征在于，所述步骤S5具体为：5.1：将数据集的数字框部分用labelme标注工具标注，labelme中采用四点标注法，面对角度不同的图像都可以将数字框部分标注出来，总共只有一个类，取名为shu zi kuang，图像标注后是json格式；5.2：将得到的json文件转化成神经网络所需要的txt文件，每个txt文件中包括每张图
片的图片类型名称以及每个标签的位置情况；5.3：将得到的txt文件按照一定的比例分配成训练集，验证集以及测试集；...

【专利技术属性】
技术研发人员：张可维，陈庄缘，邵甜，马明，将亚军，
申请(专利权)人：武汉轻工大学，
类型：发明
国别省市：