一种仪表图像分析方法及装置制造方法及图纸

本发明专利技术实施例公开一种仪表图像分析方法及装置，所述方法包括步骤：对仪表训练图像进行标注形成若干个标记信息；将标注后的仪表训练图像输入至初始模型，通过初始模型同时检测仪表训练图像上的若干个标记信息；根据检测出的若干个标记信息对初始模型进行训练，形成检测模型，所述若干个标记信息包括种类标记、位置标记和n个关键点标记。本发明专利技术利用centernet同时对仪表进行仪表种类位置以及关键点识别，降低了算法的复杂程度使其更容易实现；利用检测出来的关键点以及配置的关键点计算投影矩阵，利用投影矩阵对图像矫正从而计算出更加精确的仪表读数。确的仪表读数。确的仪表读数。

【技术实现步骤摘要】
一种仪表图像分析方法及装置


[0001]本专利技术实施例涉及机器视觉
，具体涉及一种仪表图像分析方法及装置。

技术介绍

[0002]计算指针式仪表的读数，最常见的方法有角度法和距离法。传统的角度法，对夹角的测量误差会对读数带来影响，使读数误差较大。并且只能应用于均匀刻度的仪表读数。传统的距离法通过大量的计算两条刻度线上像素点到待测指针直线的距离比来判断指针读数，但是由于距离法计算的是垂直距离而表盘是有一定弧度的，存在一定的误差。
[0003]目前大多数的分析算法都是基于深度学习中的目标检测算法对仪表进行检测，通过传统图像分析算法对指针式仪表进行结果分析。仪表分析算法主要是找到仪表的指针并通过分析指针的角度最终得到仪表的角度。通常对指针类仪表的智能分析算法往往是通过二阶段或多阶段完成的，如：一阶段通过目标检测算法检测出仪表的种类,位置和大小后提取指针位置，二阶段通过卷积神经网络或者传统图像算法获取指针角度从而计算出指针式仪表的分析结果；另外，在进行指针式仪表的分析时很多算法是没有对图像进行矫正这一步骤的，这样会大大的降低分析结果的精度。而具备同样矩阵计算功能的算法往往无法自动获取计算投影矩阵的条件导致很多算法需要依靠人的介入去获得投影矩阵。

技术实现思路

[0004]本专利技术所要解决的技术问题是现有的对指针类仪表的智能分析算法往往是通过二阶段或多阶段完成的且缺乏图像矫正方法，针对上述现有技术的不足，提供一种仪表图像分析方法及装置。
[0005]为实现上述技术目的，本专利技术采取的技术方案为：一种仪表图像分析方法，包括步骤：对仪表训练图像进行标注形成若干个标记信息；将标注后的仪表训练图像输入至初始模型，通过初始模型同时检测仪表训练图像上的若干个标记信息；根据检测出的若干个标记信息对初始模型进行训练，形成检测模型。
[0006]优选地，所述若干个标记信息包括种类标记、位置标记和n个关键点标记。
[0007]优选地，所述n个关键点标记包括仪表指针针尖点标记、仪表指针轴心点标记、仪表刻度的起点标记、仪表刻度的终点标记和仪表刻度的中间点标记。
[0008]优选地，所述的根据检测出的若干个标记信息对初始模型进行训练，形成检测模型包括步骤：对输入的标注后的仪表训练图像进行卷积，形成特征图像；对所述特征图像进行中心点预测、中心点偏移预测、仪表框大小预测和关键点预测，形成中心点预测图、中心点偏移预测图、仪表框大小预测图和关键点预测图；
将总损失函数回归，其中总损失函数包括中心点预测损失函数、中心点偏移预测损失函数和仪表框大小预测损失函数；对总损失函数回归处理后的模型进行后处理，形成检测模型。
[0009]优选地，所述总损失函数为：；其中，L
k
表示仪表的中心点预测损失函数，L
off
表示仪表的中心点偏移预测损失函数；Lsize表示仪表框的大小预测损失函数，L
1n
为仪表的关键点预测损失函数，λ
off
、λ
size
和λ
1n
表示预定义的超参数。
[0010]优选地，所述中心点预测损失函数L
k
采用focal loss函数，L
k
的计算式为：；其中，和是超参数，N是图像中关键点的数量，代表对二分类函数的求和；所述中心点偏移预测损失函数L
off
采用L1损失，L
off
的计算式为：；其中，N表示图像中关键点的数量；表示低分辨率关键点坐标；p表示真实关键点；R表示下采样系数，表示原始图像经过下采样；表示预测偏移量；所述仪表框大小预测损失函数L
size
采用L1损失函数，L
size
的计算式为：；其中，N为关键点数量，目标边界顶点坐标为（x
1（k）
，y
1（k）
，x
2（k）
，y
2（k）
）,k表示目标的类别C
k
，则目标中心点可表示为，目标大小可表示为,为减少计算负担，为每个目标种类使用单一的尺寸预测；所述关键点预测损失函数L
1n
采用L1损失函数，L
1n
的计算式为：；
其中，p
k
为仪表目标k的中心点，为下采样后的预测值i
n
=(x
(k)
,y
(k)
)为仪表目标k的关键点，，w,h为仪表目标k的宽和高。
[0011]优选地，在形成检测模型之后包括步骤：获取标准仪表图像中的n个标准关键点的坐标以及标准量程；将所述标准仪表图像中的n个标准关键点的坐标以及标准量程配置至检测模型中。
[0012]优选地，还包括步骤：将待检仪表图像输入至所述检测模型，获取待检仪表图像中的n个关键点的坐标；将待检仪表图像的n个关键点与标准仪表图像中的n个标准关键点组成关键点对，并根据所述关键点对计算投影矩阵；根据所述投影矩阵对待检仪表图像上的n个关键点进行矫正。
[0013]优选地，在所述的根据所述投影矩阵对待检仪表图像上的n个关键点进行矫正之后包括步骤：根据矫正后的n个关键点以及标准量程计算待检仪表图像的数据。
[0014]本专利技术还提供一种仪表图像分析装置，包括：标注单元，用于对仪表训练图像进行标注形成若干个标记信息；第一输入单元，用于将标注后的仪表训练图像输入至初始模型；初始模型，初始模型用于同时检测仪表训练图像上的若干个标记信息；训练单元，用于根据检测出的若干个标记信息对初始模型进行训练，形成检测模型。
[0015]优选地，所述若干个标记信息包括种类标记、位置标记和n个关键点标记。
[0016]优选地，所述n个关键点包括仪表指针针尖点、仪表指针轴心点、仪表刻度的起点、仪表刻度的终点和仪表刻度的中间点。
[0017]优选地，所述训练单元包括：卷积模块，用于对输入的标注后的仪表训练图像进行卷积，形成特征图像；预测模块，用于对所述特征图像进行中心点预测、中心点偏移预测、仪表框大小预测和关键点预测，形成中心点预测图、中心点偏移预测图、仪表框大小预测图和关键点预测图；回归模块，用于将总损失函数回归，其中总损失函数包括中心点预测损失函数、中心点偏移预测损失函数、仪表框大小预测损失函数和关键点预测损失函数；后处理模块，用于对总损失函数回归处理后的模型进行后处理。
[0018]优选地，所述总损失函数为：；其中，L
k
表示仪表的中心点预测损失函数，L
off
表示仪表的中心点偏移预测损失函数；Lsize表示仪表框的大小预测损失函数，L
1n
为仪表的关键点预测损失函数，λ
off
、λ
size
和
λ
1n
表示预定义的超参数。
[0019]优选地，所述中心点预测损失函数Lk采用focal loss函数，Lk的计算式为：；其中，和是超参数，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种仪表图像分析方法，其特征在于，包括步骤：对仪表训练图像进行标注形成若干个标记信息；将标注后的仪表训练图像输入至初始模型，通过初始模型同时检测仪表训练图像上的若干个标记信息；根据检测出的若干个标记信息对初始模型进行训练，形成检测模型。2.根据权利要求1所述的仪表图像分析方法，其特征在于，所述若干个标记信息包括种类标记、位置标记和n个关键点标记。3.根据权利要求2所述的仪表图像分析方法，其特征在于，所述n个关键点标记包括仪表指针针尖点标记、仪表指针轴心点标记、仪表刻度的起点标记、仪表刻度的终点标记和仪表刻度的中间点标记。4.根据权利要求1、2或3所述的仪表图像分析方法，其特征在于，所述的根据检测出的若干个标记信息对初始模型进行训练，形成检测模型包括步骤：对输入的标注后的仪表训练图像进行卷积，形成特征图像；对所述特征图像进行中心点预测、中心点偏移预测、仪表框大小预测和关键点预测，形成中心点预测图、中心点偏移预测图、仪表框大小预测图和关键点预测图；将总损失函数回归，其中总损失函数包括中心点预测损失函数、中心点偏移预测损失函数和仪表框大小预测损失函数；对总损失函数回归处理后的模型进行后处理，形成检测模型。5.根据权利要求4所述的仪表图像分析方法，其特征在于，所述总损失函数为：；其中，L
k
表示仪表的中心点预测损失函数，L
off
表示仪表的中心点偏移预测损失函数；L
size
表示仪表框的大小预测损失函数，L
1n
为仪表的关键点预测损失函数，λ
off
、λ
size
和λ
1n
表示预定义的超参数。6.根据权利要求5所述的仪表图像分析方法，其特征在于：所述中心点预测损失函数L
k
采用focal loss函数，L
k
的计算式为：；其中，和是超参数，N是图像中关键点的数量，代表对二分类函数的求和；所述中心点偏移预测损失函数L
off
采用L1损失函数，L
off
的计算式为：；其中，N表示图像中关键点的数量；表示低分辨率关键点坐标；p表示真实关键点；R表示下采样系数，表示原始图像经过下采样；表示预测偏移量；所述仪表框大小预测损失函数L
size
采用L1损失函数，L
size
的计算式为：；
其中，N为关键点数量，设目标边界顶点坐标为（x
1（k）
，y
1（k）
，x
2（k）
，y
2（k）
），k表示目标的类别C
k
，则目标k的中心点表示为，对每个目标k回归，得到目标大小；表示中心点的预测值；所述关键点预测损失函数L
1n
采用L1损失函数，L
1n
的计算式为：；其中，P
k
为仪表目标k的中心点，为下采样后的预测值，为仪表目标k的关键点，，w,h为仪表目标k的宽和高。7.根据权利要求4所述的仪表图像分析方法，其特征在于，在形成检测模型之后包括步骤：获取标准仪表图像中的n个标准关键点的坐标以及标准量程；将所述标准仪表图像中的n个标准关键点的坐标以及标准量程配置至检测模型中。8.根据权利要求7所述的仪表图像分析方法，其特征在于，还包括步骤：将待检仪表图像输入至所述检测模型，获取待检仪表图像中的n个关键点的坐标；将待检仪表图像的n个关键点与标准仪表图像中的n个标准关键点组成关键点对，并根据所述关键点对计算投影矩阵；根据所述投影矩阵对待检仪表图像上的n个关键点进行矫正。9.根据权利要求8所述的仪表图像分析方法，其特征在于，在所述的根据所述投影矩阵对待检仪表图像上的n个关键点进行矫正之后包括步骤：根据矫正后的n个关键点以及标准量程计算待检仪表图像的数据。10.一种仪表图像分析装置，其特征在于，包括：标注...

【专利技术属性】
技术研发人员：魏尚杨，唐志勇，陆子清，朱兵，王弈心，马浩铮，代茜，栗鹏，陈晖，韩猛，王欢，
申请(专利权)人：北京全路通信信号研究设计院集团有限公司，
类型：发明
国别省市：