基于目标检测算法的多功能数字表自动读数方法技术

本发明专利技术公开了一种基于目标检测算法的多功能数字表自动读数方法，包括以下步骤：步骤S1，对YOLOv4网络模型进行轻量化改进，得到YOLOv4轻量化网络模型；步骤S2，对多功能数字表图片进行采集并对多功能数字表图片上的数字进行位置标定和类别标定；步骤S3，使用经过步骤S2标定后的多功能数字表图片及其标定信息对YOLOv4轻量化网络模型进行训练，得到YOLOv4轻量化数字检测模型。所述基于目标检测算法的多功能数字表自动读数方法识别速度快、识别准确率高，稳定性好，解决了现有数字表自动读数方法容易受外界环境变化和图像成像质量好坏的影响，缺乏数字识别的稳定性、准确性的问题。的问题。的问题。

【技术实现步骤摘要】
基于目标检测算法的多功能数字表自动读数方法


[0001]本专利技术涉及多功能数字表读数
，尤其涉及一种基于目标检测算法的多功能数字表自动读数方法。

技术介绍

[0002]多功能数字表由于其显示直观，具有多功能和高性价比等优点，在配电房中广泛使用，多功能数字表可以通过简单的设置实现不同单位电流和电压的显示，多功能数字表一般以三行四列形式显示，即可同时显示三个读数，每个读数由四个数字和小数点组装而成，每个数字和小数点都由红色发光二极管表示（如图1所示）。在配电房的日常巡检中，需要专业工作人员通过人眼观看并记录数字表的读数，巡检效率低，读数容易出错。
[0003]目前的数字表自动读数方法基本上都是分两步来实现的，即第一步用目标检测算法（比如Faster-rcnn、SSD或者YOLO等）确定整个数字表位置或者表盘中数字显示区域的位置；第二步结合基本的图像处理算法在第一步的基础上实现单个数字提取分割，最后通过模板匹配或者分类器实现数字识别，或者在第一步的基础上用文本识别的方法实现数字的识别。这些方法在第二步中均以传统的图像算法来实现数字的识别，容易受外界环境变化和图像成像质量好坏的影响，缺乏数字识别的稳定性、准确性，不能满足巡检机器人的运动特性和识别精度要求。

技术实现思路

[0004]针对
技术介绍
提出的问题，本专利技术的目的在于提出一种基于目标检测算法的多功能数字表自动读数方法，识别速度快、识别准确率高，稳定性好，解决了现有数字表自动读数方法容易受外界环境变化和图像成像质量好坏的影响，缺乏数字识别的稳定性、准确性的问题。
[0005]为达此目的，本专利技术采用以下技术方案：一种基于目标检测算法的多功能数字表自动读数方法，包括以下步骤：步骤S1，对YOLOv4网络模型进行轻量化改进，得到YOLOv4轻量化网络模型；步骤S2，对多功能数字表图片进行采集并对多功能数字表图片上的数字进行位置标定和类别标定；步骤S3，使用经过步骤S2标定后的多功能数字表图片及其标定信息对YOLOv4轻量化网络模型进行训练，得到YOLOv4轻量化数字检测模型；步骤S4，使用步骤S3得到的YOLOv4轻量化数字检测模型对多功能数字表图片进行数字检测识别，返回检测到的每个数字的信息；其中，所述多功能数字表图片由YOLOv4开关柜器件检测模型对巡检机器人拍摄的图片进行检测得到；步骤S5，根据返回的每个数字的信息对每个数字进行排序重组，得到正确的数字排列顺序，获得正确的读数；
步骤S6，根据预先设置的小数位数对读数进行小数点添加，得到最终读数。
[0006]更进一步说明，所述YOLOv4开关柜器件检测模型为经过训练的检测模型，所述YOLOv4开关柜器件检测模型的训练包括以下步骤：（1）建立训练集：将巡检机器人多次巡检拍摄的多张开关柜图片用标注软件进行人工标注，将每张开关柜图片中的器件位置和器件类别信息保存在对应的XML文件中，建立得到训练集；（2）建立测试集：将没有参与训练的多张开关柜图片用标注软件进行人工标注，将每张开关柜图片中的器件位置和器件类别信息保存在对应的XML文件中，建立得到测试集；（3）在训练集上训练原始YOLOv4目标检测网络模型，迭代训练后得到YOLOv4开关柜器件检测模型；（4）在测试集上测试YOLOv4开关柜器件检测模型的检测性能。
[0007]更进一步说明，所述步骤S1中，具体包括以下步骤：步骤S10，采用轻量化网络结构MobileNetV3替换原YOLOv4网络模型中的CSPDarknet53网络结构并作为骨干网络；步骤S11，删除原YOLOv4网络模型中的后面两个Yolov3 head结构，只保留一个Yolov3 head结构，并减少锚点数目；步骤S12，将网络输入从416*416缩小为192*256。
[0008]更进一步说明，所述步骤S2中，具体包括以下步骤：步骤S20，从巡检机器人在巡检过程中拍摄的大量开关柜图片中筛选出含有多功能数字表的图片，并人工框选出多功能数字表区域的位置；步骤S21，根据人工框选的位置矩形框从开关柜图片中裁剪出单个多功能表数字表图片并保存；步骤S22，用标注软件对保存的每张多功能数字表图片上的数字进行位置标定和类别标定，将标注信息保存在XML文件中。
[0009]更进一步说明，所述步骤S3具体为：使用经过所述步骤S2标定后的多功能数字表图片和对应的XML文件对YOLOv4轻量化网络模型进行训练，迭代训练后得到YOLOv4轻量化数字检测模型。
[0010]更进一步说明，所述步骤S4中，具体包括以下步骤：步骤S40，用YOLOv4开关柜器件检测模型对巡检机器人拍摄的图片进行检测得出多功能数字表，并根据检测矩形框从开关柜图片中裁剪得到多功能数字表图片；步骤S41，将裁剪得到的多功能数字表图片输入到YOLOv4轻量化数字检测模型中进行数字检测，返回每个数字的位置矩形框信息和类别信息。
[0011]更进一步说明，所述步骤S5中，具体包括以下步骤：步骤S50，根据YOLOv4轻量化数字检测模型返回每个数字的位置矩形框信息和类别信息，按照位置矩形框的左上顶点纵坐标的大小对每个数字进行排序，将识别到的数字分成上、中、下三行；步骤S51，对属于同一行的数字检测结果根据其位置矩形框左上顶点横坐标的大小从左到右进行排序，完成排序重组，得到正确的数字排列顺序，获得正确的读数。
[0012]更进一步说明，所述步骤S6中，具体包括以下步骤：
步骤S60，在巡检机器人正式对配电房开关柜巡检之前，工作人员通过控制机器人运动的Qt上位机界面进行机器人运动路径的踩点规划；步骤S61，在巡检机器人运动踩点时，若该拍摄点有多功能数字表，即在Qt界面的小数点添加栏里输入小数点位数。
[0013]与现有技术相比，本专利技术具有以下有益效果：1、通过对YOLOv4原网络模型进行了轻量化改进，降低了算法的硬件运行成本，提升了数字检测识别速度，每个数字表识别时间只要6.2ms。基于Darknet框架训练，可以方便支持Windows和Linux不同系统部署，具有识别速度快，部署方便的特点；2、通过使用具有强大学习能力的深度学习目标检测算法，可以得到数字表中每个数字的位置和识别结果，实现简单，不易受外界环境变化和图像成像质量好坏的影响，在多种不同环境下的平均数字识别准确率在99.7%，具有更高的识别准确率，且稳定性好，应用于配电房巡检机器人系统中，具有高效、准确、稳定的识别特点；3、通过人工框选出多功能数字表区域，然后对保存的每张多功能数字表图片上的数字进行位置标定和类别标定，标注准确率高，确保后面对YOLOv4轻量化网络模型进行训练的准确率，从而保证YOLOv4轻量化数字检测模型的识别准确率。
附图说明
[0014]附图对本专利技术做进一步说明，但附图中的内容不构成对本专利技术的任何限制。
[0015]图1是本专利技术一个实施例的多功能数字表的示意图；图2是本专利技术一个实施例的基于目标检测算法的多功能数字表自动读数方法的流程图；图3是本专利技术一个实施例的开关柜图片的示意图；图4本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标检测算法的多功能数字表自动读数方法，其特征在于，包括以下步骤：步骤S1，对YOLOv4网络模型进行轻量化改进，得到YOLOv4轻量化网络模型；步骤S2，对多功能数字表图片进行采集并对多功能数字表图片上的数字进行位置标定和类别标定；步骤S3，使用经过步骤S2标定后的多功能数字表图片及其标定信息对YOLOv4轻量化网络模型进行训练，得到YOLOv4轻量化数字检测模型；步骤S4，使用步骤S3得到的YOLOv4轻量化数字检测模型对多功能数字表图片进行数字检测识别，返回检测到的每个数字的信息；其中，所述多功能数字表图片由YOLOv4开关柜器件检测模型对巡检机器人拍摄的图片进行检测得到；步骤S5，根据返回的每个数字的信息对每个数字进行排序重组，得到正确的数字排列顺序，获得正确的读数；步骤S6，根据预先设置的小数位数对读数进行小数点添加，得到最终读数。2.根据权利要求1所述的基于目标检测算法的多功能数字表自动读数方法，其特征在于，所述YOLOv4开关柜器件检测模型为经过训练的检测模型，所述YOLOv4开关柜器件检测模型的训练包括以下步骤：（1）建立训练集：将巡检机器人多次巡检拍摄的多张开关柜图片用标注软件进行人工标注，将每张开关柜图片中的器件位置和器件类别信息保存在对应的XML文件中，建立得到训练集；（2）建立测试集：将没有参与训练的多张开关柜图片用标注软件进行人工标注，将每张开关柜图片中的器件位置和器件类别信息保存在对应的XML文件中，建立得到测试集；（3）在训练集上训练原始YOLOv4目标检测网络模型，迭代训练后得到YOLOv4开关柜器件检测模型；（4）在测试集上测试YOLOv4开关柜器件检测模型的检测性能。3.根据权利要求1所述的基于目标检测算法的多功能数字表自动读数方法，其特征在于，所述步骤S1中，具体包括以下步骤：步骤S10，采用轻量化网络结构MobileNetV3替换原YOLOv4网络模型中的CSPDarknet53网络结构并作为骨干网络；步骤S11，删除原YOLOv4网络模型中的后面两个Yolov3 head结构，只保留一个Yolov3 head结构，并减少锚点数目；步骤S12，将网络输入从416*416缩小为192*256。4....

【专利技术属性】
技术研发人员：钟小芳，李方，周伟亮，陈曦，
申请(专利权)人：广东科凯达智能机器人有限公司，
类型：发明
国别省市：