一种数字式仪表定位和数字识别方法、装置和计算机设备制造方法及图纸

本发明专利技术公开了一种数字式仪表定位和数字识别方法、装置和计算机设备，首先利用Imgaug图像数据增强库对现场图像数据进行扩增，获得多角度、亮度和雨雪环境下的图像；然后利用YOLOv4算法检测数字式仪表，获得数字式仪表的仪表盘图像数据；再对仪表盘图像数据进行数字的检测和识别，获得表盘上所有数字的位置与类别；最后基于聚类的思想获得仪表盘上数字的行数，选定所需行数的所有数字框确定小数点的位置，得到最终的数字识别结果。采用本发明专利技术能够定位和识别带有多行数字且具有小数点的高精度数字式仪表示数，具有较高的准确率和较强的鲁棒性。

【技术实现步骤摘要】
一种数字式仪表定位和数字识别方法、装置和计算机设备
本专利技术属于图像处理和深度学习
，具体涉及一种数字式仪表定位和数字识别方法、装置和计算机设备。
技术介绍
近年来，随着计算机算力的极大提升和大数据时代的到来，人工智能领域迎来了前所未有的发展机遇。深度学习作为人工智能领域的重要技术，在图像处理、自然语言处理、语音识别等领域大放异彩。在图像处理领域，利用深度学习技术处理分析各种各样应用场景下的图像，为人们的生活和工业生产制造带来了极大的便利，节省了大量的人力物力，为智能化城市、智能化工厂的建设夯实了技术基础。随着数字电子技术的发展，数字式仪表作为工业生产中一种不可或缺的测量仪器，因其结构简单、读数精准、操作容易、低成本低功耗等优点被广泛应用于油气田、电力、化工等领域。数字式仪表的传统读数方法是依靠人工肉眼读取仪表上的数据进行记录，该方法存在工作量大、效率低、受人为因素影响较大等缺点。同时，如果仪表处在高温、高压或高辐射等恶劣环境中，工人长期在这种环境下工作对其身体损害极大。因此，机器人智能巡检技术应运而生。机器人智能巡检代替人工巡检，通过相机采集图像信息进行数字式仪表的定位和自动读数，在实际工地上定期作业，降低人工巡检的危险成本，提高了巡检效率，实现了自动化监管。虽然机器人智能巡检具有全天候、不受恶劣环境影响等优势，但是现有的对数字式仪表定位和数字识别方法仍旧存在很多问题。例如基于字符分割和模板匹配的识别方法，无法有效应对倾斜图像，同时要求输入图像清晰度高，因此方法受环境噪声影响较大。而且目前很多高精度数字式仪表必然会存在小数点且其出现位置不固定，也可能一个仪表上出现多行数字。因此，如何让机器人在多变的自然环境下，高效精准的定位仪表位置、自动识别数字和定位小数点、包括识别多行数字仪表中的数字信息是机器人执行巡检工作中亟待解决的问题。
技术实现思路
针对现有技术存在的不足，本专利技术所要解决的技术问题是，提出一种能够用于智能巡检中应对多种拍摄环境和角度的数字式仪表定位和数字识别方法。该方法实现数字式仪表定位，并能够对具有单行或多行带小数点数字的仪表提取数字信息，方法具有较高准确率和较强鲁棒性的优点。为达到上述目的，本专利技术所述一种数字式仪表定位和数字识别方法，包括以下步骤：步骤1、采集包含各种仪表的现场图像数据；步骤2、利用训练得到的仪表检测模型对图像中的数字式仪表进行定位，获得数字式仪表的仪表盘图像数据；步骤3、利用训练得到的数字检测和识别模型对仪表盘图像数据进行七段码数字的定位和识别，获得表盘上所有数字的位置与类别；步骤4、利用获得的所有数字的位置进行聚类，选定所需的某行数字进行小数点位置的检测，确定小数点的位置得到数字式仪表的数字识别结果。进一步的，步骤2包括以下步骤：步骤2.1、对现场图像数据，利用目标检测标注工具标注各种仪表的位置框和类别，类别标签分别为pointer、digital、gate、level、glasslevel和ballvalve，分别对应指针式仪表、数字式仪表、门阀式仪表、液体式仪表、玻璃式仪表和球阀式仪表；步骤2.2、使用数据增强的方法对包含各种仪表的现场图像数据进行扩增，获得多种角度、亮度、雨雪环境下的现场图像数据；步骤2.3、使用扩增后的现场图像数据，利用YOLOv4目标检测算法训练一个仪表检测模型；步骤2.4、利用仪表检测模型，定位步骤1获得的现场图像数据中数字式仪表的位置，并且截取仪表盘图像数据。进一步的，步骤2.3的过程为：将扩增后的图像和标签数据按比例分成训练集和验证集，利用YOLOv4算法训练仪表检测模型；训练参数样本是否进行在线水平翻转flip设置为1，每训练N次在验证集上测试一次模型的检测效果指标mAP，500≤N≤1000，最后取在验证集上mAP最高的模型为最终的仪表检测模型。进一步的，步骤3包括以下步骤：步骤3.1、使用获得的仪表盘图像数据，利用YOLOv4目标检测算法训练一个七段码数字检测和识别模型；步骤3.2、利用数字检测和识别模型，对步骤2获得的仪表盘图像数据进行检测，获得仪表盘上所有数字的位置和类别。进一步的，步骤3.1包括以下步骤：S3.1.1、对数字式仪表的仪表盘图像数据，利用目标检测标注工具标注表盘上所有数字的位置框即数字框和类别，类别标签分别为minus，0，1，2，3，4，5，6，7，8，9，所述minus代表负号；S3.1.2、将仪表盘图像数据分成训练集和验证集，训练七段码数字检测模型，将训练参数样本是否进行在线水平翻转flip设置为0，每训练M次在验证集上测试一次模型的检测效果指标mAP，最后取在验证集上mAP最高的模型为最终的数字检测和识别模型，500≤M≤1000。进一步的，步骤3.1中，令是否进行多尺度训练的训练参数random＝1。进一步的，步骤4包括以下步骤：步骤4.1、对步骤3检测到的所有数字框进行聚类，得到仪表盘上数字的行数；步骤4.2、选定要检测的行序，对该行序的所有数字框按照横坐标大小从小到大排序，确定检测到的数字框是否包含负号，如果有负号则去除该数字框；步骤4.3、根据相邻数字框位置确定小数点的候选区域；步骤4.4、判断仪表盘上数字的颜色，如果为红色，则执行步骤4.5，否则执行4.6；步骤4.5、若仪表盘数字为红色，则小数点候选区域所有像素点红色通道的值大小为对应位置像素取反；步骤4.6、选择候选区域的红色通道像素值从小到大排序，取前5个最小像素值的平均值为候选区域的特征值；步骤4.7、对所有候选区域的特征值进行比较，最小特征值对应的候选区域即为小数点所在位置。进一步的，步骤4.4中，判断数字框内数字颜色的过程为：若第一个数字框内红色通道像素值均值与蓝色通道像素值均值之比大于1.5，且红色通道像素值均值大于200，即则判断数字为红色，否则为黑色。一种数字式仪表定位和数字识别装置，包括：采集模块，用于采集包含各种仪表的现场图像数据；定位和识别模块，用于根据现场图像数据输出数字式仪表的数字识别结果。一种计算机设备，包括电连接的存储器和处理器，所述存储器上存储有可在处理器上运行的计算程序，所述处理器执行所述计算程序时，实现上述方法的步骤。与现有技术相比，本专利技术至少具有以下有益的技术效果：(1)本专利技术利用Imgaug图像数据增强库对现场图像数据进行扩增，获得多种角度、亮度、雨雪环境下的图像数据，相比于仅用现场图像数据进行训练得到的检测模型泛化能力强，鲁棒性高。(2)本专利技术根据合作方工业现场的真实情况采用聚类的方法提取所需行数的数字信息，并且选择小数点候选区域的红色通道像素值来确定小数点位置。这是因为合作方现场实际情况为数字式仪表示数均包含小数点，并且示数颜色有“红色”和“黑色”，而为方便工人在工业现场工作，现实中会用红色标记物粘贴到示数颜色为“黑色”的数字式仪本文档来自技高网...

【技术保护点】
1.一种数字式仪表定位和数字识别方法，其特征在于，包括以下步骤：/n步骤1、采集包含各种仪表的现场图像数据；/n步骤2、利用训练得到的仪表检测模型对图像中的数字式仪表进行定位，获得数字式仪表的仪表盘图像数据；/n步骤3、利用训练得到的数字检测和识别模型对仪表盘图像数据进行七段码数字的定位和识别，获得表盘上所有数字的位置与类别；/n步骤4、利用获得的所有数字的位置进行聚类，选定所需的某行数字进行小数点位置的检测，确定小数点的位置得到数字式仪表的数字识别结果。/n

【技术特征摘要】
1.一种数字式仪表定位和数字识别方法，其特征在于，包括以下步骤：
步骤1、采集包含各种仪表的现场图像数据；
步骤2、利用训练得到的仪表检测模型对图像中的数字式仪表进行定位，获得数字式仪表的仪表盘图像数据；
步骤3、利用训练得到的数字检测和识别模型对仪表盘图像数据进行七段码数字的定位和识别，获得表盘上所有数字的位置与类别；
步骤4、利用获得的所有数字的位置进行聚类，选定所需的某行数字进行小数点位置的检测，确定小数点的位置得到数字式仪表的数字识别结果。


2.根据权利要求1所述的一种数字式仪表定位和数字识别方法，其特征在于，所述步骤2包括以下步骤：
步骤2.1、对现场图像数据，利用目标检测标注工具标注各种仪表的位置框和类别，类别标签分别为pointer、digital、gate、level、glasslevel和ballvalve，分别对应指针式仪表、数字式仪表、门阀式仪表、液体式仪表、玻璃式仪表和球阀式仪表；
步骤2.2、使用数据增强的方法对包含各种仪表的现场图像数据进行扩增，获得多种角度、亮度、雨雪环境下的现场图像数据；
步骤2.3、使用扩增后的现场图像数据，利用YOLOv4目标检测算法训练一个仪表检测模型；
步骤2.4、利用仪表检测模型，定位步骤1获得的现场图像数据中数字式仪表的位置，并且截取仪表盘图像数据。


3.根据权利要求2所述的一种数字式仪表定位和数字识别方法，其特征在于，所述步骤2.3的过程为：
将扩增后的图像和标签数据按比例分成训练集和验证集，利用YOLOv4算法训练仪表检测模型；训练参数样本是否进行在线水平翻转flip设置为1，每训练N次在验证集上测试一次模型的检测效果指标mAP，500≤N≤1000，最后取在验证集上mAP最高的模型为最终的仪表检测模型。


4.根据权利要求1所述的一种数字式仪表定位和数字识别方法，其特征在于，所述步骤3包括以下步骤：
步骤3.1、使用获得的仪表盘图像数据，利用YOLOv4目标检测算法训练一个七段码数字检测和识别模型；
步骤3.2、利用数字检测和识别模型，对步骤2获得的仪表盘图像数据进行检测，获得仪表盘上所有数字的位置和类别。


5.根据权利要求4所述的一种数字式仪表定位和数字识别方法，其特征在于，所述步骤3.1包括以下步骤：
S3.1.1、对数字式仪表...

【专利技术属性】
技术研发人员：王萍，王士兴，曹依婕，杨朋，
申请(专利权)人：西安交通大学，西安安森智能仪器股份有限公司，
类型：发明
国别省市：陕西;61