基于深度学习的指针式仪表自动检测读数方法技术

本发明专利技术提供一种基于深度学习的指针式仪表自动检测读数方法，属于深度学习的图像检测、分割领域，首先采用训练好的SSD神经网络对仪表进行识别，当识别到仪表区域后，再采用训练好的卷积神经网络Mask

【技术实现步骤摘要】
基于深度学习的指针式仪表自动检测读数方法


[0001]本专利技术涉及深度学习的图像检测、分割领域，尤其涉及一种基于深度学习的指针式仪表自动检测读数方法。

技术介绍

[0002]在20世纪数字化、信息化飞速发展，传统行业的大部分老旧车间都面临着智能化改造，打造智慧工厂。许多需要人为劳动力的操作生产方式都逐渐要被自动化机器所代替。针对制药行业传统发酵车间中大量电压表、温度表等仪表都采用了价格低廉，结构简单的指针式仪表，在生产过程中仍需要消耗人力物力对指针式仪表进行读数并核对读数，但在长期用人眼检测读数过程中容易出现漏读或者误读的现象，同时还需要人为操作上传数据、记录信息，操作繁琐，时间消耗严重；并且在老旧车间中会具有安全隐患。目前对指针式仪表的自动读数，大多都是采用自动巡检机器小车按照路线对各个位置的指针式仪表进行图像采集，然后再经过一系列数字图像处理方法达到自动读数的目的。但是在对图像处理的时候基本都是采用传统的图像处理技术，比如阈值二值化进行预处理、圆形检测定位表盘，canny边缘检测，Hough变换检测直线等，提取到指针位置信息。这些传统的图像处理方法往往对拍摄的图像质量要求较高，对光照等外界环境因素没有更好的鲁棒性，且计算量庞大，对指针仪表的特征提取达不到精确稳定的效果。在人工智能爆发式发展的今天，在社会生产生活中的各个方面都离不开计算机视觉的帮助，特别是深度学习以及卷积神经网络的应用，让计算机代替人类大脑来参与到社会的生产生活已经非常普遍。

技术实现思路

[0003]为了解决以上技术问题，本专利技术提供了一种基于深度学习的指针式仪表自动检测读数方法。
[0004]本专利技术的技术方案是：
[0005]一种基于深度学习的指针式仪表自动检测读数方法，基于深度学习方法的对指针式仪表进行检测读数，通过卷积神经网络对图像中的仪表进行定位识别，在对仪表中的指针进行定位与分割，通过数字图像处理的方法实现对指针的计算读数。
[0006]采用基于深度学习的方法实现对指针式仪表的表盘检测和分割，首先采用训练好的SSD神经网络对仪表进行识别，当识别到仪表区域后，再采用训练好的卷积神经网络Mask
‑
RCNN直接对图像进行指针区域检测和分割，实现对指针式仪表中表盘指针等元素的特征提取。通过与数据库中仪表模板进行配比，计算仪表指针与零刻度线的夹角，达到自动读数的目的。通过模拟实验发现，利用卷积神经网络提取指针的掩膜区域，再对掩膜区域进行直线提取获得指针指向，得到的仪表示数平均误差在0.45
°
，且最大误差控制在1
°
内。
[0007]进一步的，
[0008]预先使待检测指针式仪表的仪表类型、最大量程、指针最大角度、零刻度线方向等固定信息与二维码数据建立联系，并把信息存到数据库中。二维码图像固定在仪表的一侧。
[0009]在对采集到的仪表图像进行识别检测前，先通过扫描仪表图像中的二维码信息获取数据库中对应的仪表种类、量程等固定信息。
[0010]使用用于图像识别的卷积神经网络SSD模型对图像中的仪表进行检测定位。使用用于图像分割的Mask
‑
RCNN卷积神经网络对检测定位好的仪表区域进行内部指针区域的分割，并在分割图像中提取指针区域蒙版。对提取到的指针区域的进行直线拟合，获得和指尖指向相同的直线。然后计算指针直线从零刻度线转过的夹角，通过二维码预先匹配的仪表模板获得量程等数据，然后进行角度与量程之间的比例计算得到该图像中指针式仪表的读数。
具体实施方式
[0011]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0012]本专利技术提出了一种基于深度学习的指针式仪表自动读数方法。包括仪表的检测分隔、指针的检测分隔。
[0013]i.仪表的识别与检测
[0014]通过使用SSD网络，采用VGG16作为基础模型，其中将VGG16的全连接层FC6和FC7转换成3*3的卷积层Conv6和1*1的卷积层Conv7，并去掉了所有的Dropout层和FC8层，也将Pool5由原来的stride为2的2*2池化变成stride为1的3*3，并且在此基础上增加了额外的卷积层来获得更多的特征图用于检测。其中选取的特征图包括conv4_3、conv7、conv8_2、conv9_2、conv10_2、conv11_2共六个不同卷积深度的特征图。使用低层的feature map检测小目标，使用高层的feature map检测大目标。为了使网络模型能够有更好的识别效果，通过对不同环境下的仪表图像进行采集，然后对仪表表盘区域进行标注。把标注好的图像和数据输入网络进行训练，当网络模型的目标函数Loss值趋近最小值稳定时，结束网络训练。把准备好的测试图像进行测试，得到网络模型输出的仪表检测效果图。可以发现，网络模型对图像中仪表的检测定位基本都达到了99％的概率得分，可以说经过训练的网络模型已经具备了识别采集图像中仪表的功能。同时，在采用VGG16为主干网络表现较好的情况下，也尝试了用轻量型MobileNet网络为主干网络。最终选用了精度更高的VGG16网络模型。
[0015]ii.指针分割
[0016]由于Mask
‑
RCNN网络是实例分割的框架，同时结合了目标检测和语义分割，在正确检测图片的目标区域同时分割每一个目标实例，使用边界框定位每一个实例，并在边界框区域进行掩膜分割。本文实现对指针式仪表的自动读数，需要对仪表进行定位同时进行区域分割，故采用Mask
‑
RCNN神经网络结构进行对指针式仪表中指针区域进行检测与分割。MS COCO数据集是目前用于图像分割最大的数据集，由于数据集包含的图像数目庞大COCO数据集的图像分割难度非常高，是具有挑战性的数据集。其中可供检测的类别有80类，包含了33万多张图片，其中带有标注信息的图像有20多万张，整个数据集中图像存在的目标个体的数目超过150万个。Mask
‑
RCNN模型通过在COCO数据集上进行训练学习，对图像目标物体的分割取得了非常好的效果。
[0017]iii.计算指针读数
[0018]主成分分析(PCA)是一种通过分析数据进行主成分数据筛选的方法，可以对数据的多维特征进行进行降维处理，降低数据复杂度、去掉大量冗余信息的同时能够保留住数据的主特征信息。在指针区域中的所有像素点都是二维中的数据，也就是说这些像素点有两个维度。当使用主成分分析对像素点数据进行降维，能够很容易发现当数据维度降维一维时像素点数据成为一条直线，且这条直线就是该数据的主成分。在指针区域中很容易看出主成分的轴的大体方向，对这些像素数据进行PCA降维拟合的直线能够有效描述该指针本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的指针式仪表自动检测读数方法，其特征在于，通过卷积神经网络对图像中的仪表进行定位识别，再对仪表中的指针进行定位与分割，通过数字图像处理的方法实现对指针的计算读数。2.根据权利要求1所述的方法，其特征在于，采用训练好的SSD神经网络对仪表进行识别，当识别到仪表区域后，再采用训练好的卷积神经网络Mask
‑
RCNN直接对图像进行指针区域检测和分割，实现对指针式仪表中表盘指针等元素的特征提取。3.根据权利要求2所述的方法，其特征在于，通过与数据库中仪表模板进行配比，计算仪表指针与零刻度线的夹角，达到自动读数的目的。4.根据权利要求1所述的方法，其特征在于，预先使待检测指针式仪表的仪表类型、最大量程、指针最大角度、零刻度线方向与二...

【专利技术属性】
技术研发人员：张泽坤，
申请(专利权)人：山东浪潮智慧医疗科技有限公司，
类型：发明
国别省市：