一种基于深度学习的工业表计抄表的方法技术

本申请提供了一种基于深度学习的方式实现工业仪表设备抄表的方法，包括获取巡检点图像：根据设置巡检点拍摄的参考图像以及相机属性的设置，获得带有目标设备位置信息以及设备类型的工作图像；所述参考图像是包含有目标设备的预置图像，相机属性包括相机伸展臂的参数；截取目标设备区域图像：根据检测出的设备位置，从工作图像截取出目标设备的图像，对截取出的目标设备区域图像进行缩放处理，使截取出的感兴趣区域与参考图像中选取的目标仪表图像具有相同的尺寸。本发明专利技术充分考虑了工业场景中指针仪表多样性的特点，结合当下飞速发展的人工智能技术，利用深度学习方法中的目标检测方法，实现了对目标仪表的准确定位。实现了对目标仪表的准确定位。实现了对目标仪表的准确定位。

【技术实现步骤摘要】
一种基于深度学习的工业表计抄表的方法


[0001]本专利技术属于图像处理
，更具体的说，是涉及巡检机器人工业仪表抄表的方法。

技术介绍

[0002]基于传统视觉系统的工业领域仪表设备的抄表方式，通常包括以下步骤。首先，对目标仪表设备进行样本采集，接着对参考图像进行样本中仪表设备进行空间位置的校正，然后进行感兴趣区域的截取。借助传统视觉方法对感兴趣区域的处理得到表计指针，通过人工方式提供的表盘刻度，最终得到较为精确的表盘读值。
[0003]但本申请专利技术人发现上述技术至少存在如下技术问题：
[0004]由于拍摄角度的影响给校正图像带来一定程度的困难，使得在截取表计位置时总是出现位移，不仅导致无法获取完整的表计设备区域，而且在最终的结果展示环节出现边界框偏移情形。
[0005]除此之外，在进行表计指针位置获取的环节由于光照条件以及器件老化带来的影响，给分割指针轮廓带来难度，最终影响表计读值的准确性。

技术实现思路

[0006]为解决现有技术存在的挑战，本专利技术提供一种基于深度学习的方式实现工业仪表设备抄表的方法。，解决了现有技术中图像进行透射变换过程出现图像畸变情形的问题。
[0007]本申请提供了一种基于深度学习的方式实现工业仪表设备抄表的方法，包括以下步骤：
[0008]1)获取巡检点图像：根据设置巡检点拍摄的参考图像以及相机属性的设置，获得带有目标设备位置信息以及设备类型的工作图像；所述参考图像是包含有目标设备的预置图像，相机属性包括相机伸展臂的参数；
[0009]2)截取目标设备区域图像：根据检测出的设备位置，从工作图像截取出目标设备的图像，对截取出的目标设备区域图像进行缩放处理，使截取出的感兴趣区域与参考图像中选取的目标仪表图像具有相同的尺寸；
[0010]3)提取仪表特征：利用卷积神经网络从截取的目标设备图像中提取特征向量；
[0011]4)计算从工作检测出的目标设备区域的图像与参考图像中的设备图像的相似度，相似度计算公式如下，通过设置图像相似度阈值为0.7，实现区别工作图像中的设备与参考图像的设备是否为同一目标；
[0012][0013]其中x1为参考图像中设备区域图像特征，x2为工作图像中目标设备图像特征，k为图像特征维度。余弦值越大表示两幅图像相似度越高
[0014]若判定参考图像中设备区域图像与工作图像中目标设备图像为同一设备，则对工作图像与参考图像进行放射矩阵的计算，计算公式如下，其中[u,v,w]是参考图像像素坐标，[x',y',z']为透视变换后的坐标，a矩阵为透视变换矩阵。通过透视变换可在在工作图像中获得较为精确的目标仪表位置，从而抠出目标设备的图像；
[0015][0016]若判定参考图像中设备区域图像与工作图像中目标设备图像为不同设备，则说明目标检测环节在对目标仪表检测的结果出现误检的情形；则通过传统图像特征算子SI FT描述符进行特征的提取，然后进行透视变换的步骤，实现目标设备区域的抠图，从而获得目标设备的图像；
[0017]5)获取目标设备的掩膜：将抠出的目标设备图像送进卷积神经分割网络分割出目标设备指针的掩膜；
[0018]6)获取指针的斜率：利用传统图像处理算法对指针掩膜轮廓进行直线斜率的计算；
[0019]7)计算表盘读值：借助巡检点属性中表盘提供的信息，计算出指针最终的读值；所述巡检点属性中包含巡检点名称、相机移动参数以及相应表计表盘的信息。
[0020]作为优选，步骤6)中，采用传统图像算法中值滤波算法对指针掩膜进行滤波，实现图像噪声的滤除。
[0021]作为优选，步骤6)中，对图像指针掩膜细化处理，得到指针目标的骨架，通过计算图像指针的倾斜角度实现指针斜率以及相应象限的计算。
[0022]作为优选，步骤6)中，指针斜率计算采用主成分分析的方法，利用特征向量的信息获得指针斜率；再获得指针的斜率参数，通过指定象限的形式，获得指针在图像上一个合理的角度映射。
[0023]作为优选，步骤7)中，从巡检点属性参数获取表盘的读值以及相应的角度信息，通过最大最小值归一化的方法，将指针角度映射到相应的刻度区间。
[0024]本申请至少具有如下技术效果或优点：
[0025]本专利技术充分考虑了工业场景中指针仪表多样性的特点，结合当下飞速发展的人工智能技术，利用深度学习方法中的目标检测方法，实现了对目标仪表的准确定位，减少了在图像进行透射变换过程出现图像畸变情形的发生。其次，在指针目标获取的方式上，通过语义分割模型辅助，可以清晰的获得指针的轮廓，减少了因仪表老化，光照变化以及表计拍摄角度变化影响表计读值错误情形的发生，从而进一步提高了表计读值的准确率。
附图说明
[0026]图1为本专利技术流程图；
[0027]图2为本专利技术实施例1设备区域截图示意图；
[0028]图3为本专利技术实施例1的仪表识别流程示意图；
[0029]图4为本专利技术实施例1中抠出的指针图像象限划分示意图。
具体实施方式
[0030]为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
[0031]实施例一
[0032]本实施例提供一种基于深度学习的方式实现工业仪表设备抄表的方法，如图1
‑
4所示，包括以下步骤：
[0033]1)获取巡检点图像：根据设置巡检点拍摄的参考图像以及相机属性的设置，获得带有目标设备位置信息以及设备类型的工作图像；所述参考图像是包含有目标设备的预置图像，相机属性包括相机伸展臂的参数；
[0034]2)截取指针仪表区域图像：根据检测出的设备位置，从工作图像截取出指针仪表图像，对截取出的目标设备区域图像进行缩放处理，使截取出的指针仪表图像与参考图像中指针仪表区域具有相同的尺寸；
[0035]3)提取指针仪表特征：利用卷积神经网从截取的目标设备图像中提取深度特征；
[0036]4)计算检测出的指针仪表图像与参考图像中的指针仪表区域的相似度，计算公式如下，
[0037][0038]其中x1为参考图像中设备区域图像特征，x2为工作图像中目标设备图像特征，k为图像特征维度。余弦值越大表示两幅图像相似度越高。
[0039]按照余弦相似度的方式，计算相似度阈值判别工作图像中的目标与参考图像是否为同一设备；
[0040]当相似度阈值≥0.7即判定参考图像中设备区域图像与工作图像中目标设备图像为同一设备，则对工作图像与参考图像进行仿射矩阵的计算，计算公式如下，
[0041][0042]其中[u,v,w]是参考图像像素坐标，[x',y',z']为透视变换后的坐标，a矩阵为透视变换矩阵。通过透视变换可在在工作图像中获得较为精确的目标仪表位置，从而抠出目标设备的图像；
[0043]当相似度阈值＜0.7即判定参考图像中设备区域图像与工作图像中目标设备图像不为同一设备，则说明目标检测环节在对目标仪表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的方式实现工业仪表设备抄表的方法，包括以下步骤：1)获取巡检点图像：根据设置巡检点拍摄的参考图像以及相机属性的设置，获得带有目标设备位置信息以及设备类型的工作图像；所述参考图像是包含有目标设备的预置图像，相机属性包括相机伸展臂的参数；2)截取目标设备区域图像：根据检测出的设备位置，从工作图像截取出目标设备的图像，对截取出的目标设备区域图像进行缩放处理，使截取出的感兴趣区域与参考图像中选取的目标仪表图像具有相同的尺寸；3)提取仪表特征：利用卷积神经网络从截取的目标设备图像中提取特征向量；4)计算从工作检测出的目标设备区域的图像与参考图像中的设备图像的相似度，按照余弦相似度的方式获得目标设备的准确位置，根据图像相似度阈值判断图像中的目标与参考图像是否为同一设备；若判定参考图像中设备区域图像与工作图像中目标设备图像为同一设备，则对工作图像与参考图像进行仿射矩阵的计算，得到两张图像的仿射变换矩阵后，通过参考图像进行透视变换，从而在工作图像上获得较为精确的目标仪表位置；若判定参考图像中设备区域图像与工作图像中目标设备图像为不同设备，则说明目标检测环节在对目标仪表检测的结果出现误检的情形；则通过传统图像特征算子进行特征向量的提取，从而获得仿射变换矩阵，接着计算工作图像的透视变换，然后获得目标仪表的准确位置信息；5)获取目标设备的掩膜：根据卷积神经分割网络分割出目标设备中指针的掩膜；6)获取指针的斜率：利用传统图像处理算法对指针掩膜轮廓进行直线斜率的计算；7)计算表盘读值：借助巡检点属性中表盘提供的信息，计算出指针最终的读值；所述巡检点属性中包含巡检点名称、相机移动参数以及相应表计表盘的信息。2.根据权利要求1所述的基于深度学习的方式实现工业仪表设备抄表的方法，其特征在于：步骤6)中，采用传统图像算法中值滤波算法对指针掩膜进行滤波，实现图像噪声的滤除。3.根据权利要求1所述的基于深度学习的方式实现工业仪表设备抄表的方法，其特征在于：步骤...

【专利技术属性】
技术研发人员：王贺贺，刘爽，闵济海，
申请(专利权)人：南京天创电子技术有限公司，
类型：发明
国别省市：