一种基于多分辨率深度特征学习的指针仪表读数识别方法技术

本发明专利技术公开了一种基于多分辨率深度特征学习的指针仪表读数识别方法，包括以下步骤：构建多分辨率形变卷积神经网络，确定网络的主干网络和关键点检测头；对仪表图像集中的每个仪表图像的仪表表征进行关键点标注，制作数据集；将预处理后的数据集输入多分辨率形变卷积神经网络进行训练得到可用于仪表表征关键点预测的多分辨率形变卷积神经网络；将巡检机器人的视屏帧输入已经训练好的网络中进而输出仪表的关键点坐标的预测结果；根据关键点坐标信息使用角度法得到仪表读数

【技术实现步骤摘要】
一种基于多分辨率深度特征学习的指针仪表读数识别方法


[0001]本专利技术涉及图像数据识别
，具体涉及一种基于多分辨率深度特征学习的指针仪表读数识别方法
。

技术介绍

[0002]进入
21
世纪以来，如何利用现有仪器设备快速
、
低成本实现制造业的数字网络化制造成为了一个迫切与重要的难题
。
其中传统指针式仪表的自动识别和读数问题成为制造业升级中急需解决的问题
。
传统的人工目测方法存在读取不准确
、
效率低下和人为误差等问题，限制了生产效率和质量控制的提升
。
在此背景下，将深度学习算法应用于巡检机器人，使其能够自动识别指针仪表的读数，不仅可以解决传统人工目测方法中的人为误差和不稳定性，提高识别的准确性和可靠性，还能够显著提升生产效率和质量控制水平，为实时监测和数据分析提供基础
。
此外，与其他智能设备和系统的集成进一步推动了生产线的智能化管理，为实现制造业的数字化网络化升级和创新提供了新的解决途径
。
[0003]早期研究者们基于传统机器视觉算法设计指针仪表读数识别方案，采用模板匹配的方法实现相机与仪表盘位置的精确对准，对仪表刻度盘和指针进行分割，提取特征并采用查表法实现指针仪表识别
。
尽管这种办法在指针式仪表识别方面很有效，但由于基于传统机器视觉算法，它极易受到各种不可控因素的影响，包括但不限于背景复杂
、
光照变化范围大
、<br/>指针仪表倾斜
、
图像模糊和尺度变化等，只能在特定环境或固定位置运行
。
[0004]近年来，得益于卷积神经网络的快速发展
。
研究者们相继基于目标检测与语义分割制定指针仪表读数识别方案
。
比如现有技术公开号为
CN114037993B
公开的一种变电站指针仪表读数方法
、
装置
、
存储介质以及电子设备等通过预测指针仪表所在的精确区域并基于机器视觉的传统算法提取指针特征实现指针仪表识别
。
尽管解决了复杂背景中仪表识别问题，但却无法有效提取仪表刻度盘和指针的特征
。
比如现有技术公开号为
CN114037824A
公开的一种指针仪表读数识别方法等通过预测仪表标记区域的二进制掩码，将聚类模型插入训练和推理，将掩码像素分组为单个实例，最后使用直线拟合参数化结果
。
然而，直线拟合的像素级输出往往是冗余和嘈杂的，这对最终结果的准确性带来负面影响
。
[0005]同时，上述的研究方法大多仅通过指针的旋转偏转角度判断仪表读数，但是由于巡检机器人是一个移动平台，每幅图片的拍摄偏转角度都不一致，这会导致拍摄图像中每个仪表的倾斜偏转角度都不一样
。
不同的倾斜偏转角度能够在很大程度上影响提取到的指针的旋转偏转角度，进而妨碍模型对仪表读数做出正确的判断
。

技术实现思路

[0006]1.
所要解决的技术问题：
[0007]针对上述技术问题，本专利技术提供一种基于多分辨率深度特征学习的指针仪表读数识别方法，该方法从关键点估计的角度制定指针仪表读数识别任务，并设计了一种多分辨率形变卷积模型，直接用关键点来表示指针仪表中的每个检测目标，实现对指针式仪表的
准确读数
。
可以在移动巡检机器人由于工作环境复杂等原因导致获取的图像模糊，光照情况复杂，拍摄角度倾斜的情况下自动完成指针仪表的读数识别，具有较高的准确性和鲁棒性
。
[0008]2.
技术方案：
[0009]一种基于多分辨率深度特征学习的指针仪表读数识别方法，其特征在于：包括以下步骤：
[0010]步骤一：构建多分辨率形变卷积神经网络，确定网络的主干网络和损失函数；
[0011]步骤二：收集包括原始环境的仪表图像汇总得到仪表图像集，对仪表图像集中的每个仪表图像的仪表表征进行关键点标注，制作数据集；并采用包括数据增强的预处理对数据集进行扩充；
[0012]步骤三：将预处理后的数据集输入多分辨率形变卷积神经网络，进行迭代训练并进行测试，得到可用于仪表表征关键点预测的多分辨率形变卷积神经网络；
[0013]步骤四：通过巡检机器人获取环境视屏，将视屏帧输入已经训练好的多分辨率形变卷积神经网络中，输出该视屏帧中包含的仪表的关键点坐标的预测结果；
[0014]步骤五：根据预测结果中的仪表表征的关键点坐标信息使用角度法进行仪表的读数数值计算，得到仪表读数
。
[0015]进一步地，步骤一中的多分辨率形变卷积神经网络包括空间局部特征增强模块
、
并行多分辨率子网络以及全局感知模块；
[0016]所述空间局部特征增强模块位于并行多分辨率子网络的头部，待识别的图像经过空间局部特征增强模块增强后输入至并行多分辨率子网络；
[0017]所述并行多分辨率子网络呈四层结构；第一层的高分辨率分支为下采样4倍，将经过增强后的图像经过一次卷积
、
四次倒残差块及对应的信息融合处理后输出至子网络的尾端；第二层分支为下采样8倍，将经过增强后的图像经过一次卷积
、
四次倒残差块及对应的信息融合后输出至子网络的尾端；第三层分支为下采样
16
倍，在第二层的一次卷积
、
一次倒残差块处理后的数据融合之后进行分支，该分支依次通过全局感知模块
、
三次倒残差块及其对应的三次信息融合处理后输出至子网络的尾端；第四层为下采样
32
倍，在第三层的全局感知模块
、
一次倒残差块处理后的数据融合之后进行分支，该分支通过全局感知模块
、
两次倒残差块及其对应的信息融合处理后输出至子网络的尾端；其中第一
、
二
、
三
、
四层网络分辨率逐层降低一半；
[0018]在多分辨率形变卷积神经网络中对图片的处理分为4个阶段；第一阶段将经过空间局部特征增强模块增强后的图像并行通过两个卷积核大小为3×3的卷积层分别输出至对应的下采样4倍的分支和下采样8倍的分支；第二阶段将第一第二分支第一阶段输出后依次通过倒残差块后对两个分支进行融合输出；第三阶段在第一第二分支的第二阶段输出后通过全局感知模块新增一个下采样
16
倍的分支，三个分支依次通过倒残差块后对三个分支进行融合输出；第四阶段第一第二第三三个分支在第三阶段输出后通过全局感知模块新增一个下采样
32
倍的分支，四个分支依次通过倒残差块后对四个分支进行融合，融合后的分支再次通过倒残差块后利用上采样将四个分支的输出汇聚到一个维度，通过一个卷积核大小为1×1的卷积层后输出与输入分辨率相同的特征图；第二
、
三...

【技术保护点】

【技术特征摘要】
1.
一种基于多分辨率深度特征学习的指针仪表读数识别方法，其特征在于：包括以下步骤：步骤一：构建多分辨率形变卷积神经网络，确定网络的主干网络和损失函数；步骤二：收集包括原始环境的仪表图像汇总得到仪表图像集，对仪表图像集中的每个仪表图像的仪表表征进行关键点标注，制作数据集；并采用包括数据增强的预处理对数据集进行扩充；步骤三：将预处理后的数据集输入多分辨率形变卷积神经网络，进行迭代训练并进行测试，得到可用于仪表表征关键点预测的多分辨率形变卷积神经网络；步骤四：通过巡检机器人获取环境视屏，将视屏帧输入已经训练好的多分辨率形变卷积神经网络中，输出该视屏帧中包含的仪表的关键点坐标的预测结果；步骤五：根据预测结果中的仪表表征的关键点坐标信息使用角度法进行仪表的读数数值计算，得到仪表读数
。2.
根据权利要求1所述的一种基于多分辨率深度特征学习的指针仪表读数识别方法，其特征在于：步骤一中的多分辨率形变卷积神经网络包括空间局部特征增强模块
、
并行多分辨率子网络以及全局感知模块；所述空间局部特征增强模块位于并行多分辨率子网络的头部，待识别的图像经过空间局部特征增强模块增强后输入至并行多分辨率子网络；所述并行多分辨率子网络呈四层结构；第一层的高分辨率分支为下采样4倍，将经过增强后的图像经过一次卷积
、
四次倒残差块及对应的信息融合处理后输出至子网络的尾端；第二层分支为下采样8倍，将经过增强后的图像经过一次卷积
、
四次倒残差块及对应的信息融合后输出至子网络的尾端；第三层分支为下采样
16
倍，在第二层的一次卷积
、
一次倒残差块处理后的数据融合之后进行分支，该分支依次通过全局感知模块
、
三次倒残差块及其对应的三次信息融合处理后输出至子网络的尾端；第四层为下采样
32
倍，在第三层的全局感知模块
、
一次倒残差块处理后的数据融合之后进行分支，该分支通过全局感知模块
、
两次倒残差块及其对应的信息融合处理后输出至子网络的尾端；其中第一
、
二
、
三
、
四层网络分辨率逐层降低一半；在多分辨率形变卷积神经网络中对图片的处理分为4个阶段；第一阶段将经过空间局部特征增强模块增强后的图像并行通过两个卷积核大小为3×3的卷积层分别输出至对应的下采样4倍的分支和下采样8倍的分支；第二阶段将第一第二分支第一阶段输出后依次通过倒残差块后对两个分支进行融合输出；第三阶段在第一第二分支的第二阶段输出后通过全局感知模块新增一个下采样
16
倍的分支，三个分支依次通过倒残差块后对三个分支进行融合输出；第四阶段第一第二第三三个分支在第三阶段输出后通过全局感知模块新增一个下采样
32
倍的分支，四个分支依次通过倒残差块后对四个分支进行融合，融合后的分支再次通过倒残差块后利用上采样将四个分支的输出汇聚到一个维度，通过一个卷积核大小为1×1的卷积层后输出与输入分辨率相同的特征图；第二
、
三
、
四阶段中每个阶段的不同层分支之间的信息融合通过上采样与下采样实现
。3.
根据权利要求2所述的一种基于多分辨率深度特征学习的指针仪表读数识别方法，其特征在于：所述空间局部特征增强模块用于对输入的图像的空间特征进行局部增强，过滤无效信息；其处理输入的图片的具体过程为：将输入的图片经过3×3和1×1卷积学习局
部的空间信息并将输入特征投影到高维空间后，展开为
N
个不重叠的
patch
，对于每个
patch
，进而执行多头注意力机制；最后将执行过多头注意力机制的结果与输入的图片进行融合作为模块的输出
。4.
根据权利要求2所述的一种基于多分辨率深度特征学习的指针仪表读数识别方法，其特征在于：所述全局感知模块能够自适应地学习输入图片中的形变特征，加速其所在的子网络收敛，进一步提高模型检测的准确率；具体对输入的图片进行处理...

【专利技术属性】
技术研发人员：焦文华，赵达，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：