一种物理电路实验自动识别方法技术

本发明专利技术涉及一种物理电路实验自动识别方法，该方法是深度卷积神经网络的基础上，利用目标检测技术得到的位置信息以及HSV阈值过滤方法得到的分割信息，通过对位置信息进行IoU计算、比较判断电路实验中元器件位置及其状态，再通过对分割信息做广度优先遍历确定元器件之间是否连接，进而画出连接电路的电路图，本发明专利技术能够用于中学物理电路实验分析、处理。处理。处理。

【技术实现步骤摘要】
一种物理电路实验自动识别方法


[0001]本专利技术涉及计算机视觉及目标检测领域，具体涉及一种物理电路实验自动识别方法。

技术介绍

[0002]目标检测是当下计算机视觉领域的一个重要研究方向，在城市安防监控、医疗、信息化教育等领域得到广泛应用。随着教育事业的发展，老师的负担越来越重，在物理电路实验中，老师通过人眼逐个验收实验无疑是耗时耗力且效率低下的。近年来，基于深度卷积神经网络的目标检测技术得到了快速发展，这使得基于图像的目标检测方法用于教育领域成为可能。为了减轻老师在实验教学中的负担，设计一种基于视觉的中学物理电路实验自动识别方法是很有必要的。

技术实现思路

[0003]本专利技术的目的：在于提供一种物理电路实验自动识别方法，基于深度卷积神经网络、HSV阈值过滤方法以及IoU交并比对比法，判断物理电路实验中各元器件位置、状态，以及各元器件的接线柱之间是否连接，进而画出电路图；
[0004]为实现以上功能，本专利技术设计一种物理电路实验自动识别方法，按预设周期执行步骤S1
‑
S6，获得物理电路实验识别模型，然后应用物理电路实验识别模型，判断物理电路实验中各元器件位置、状态，以及各元器件的接线柱之间是否连接，进而获得电路图；
[0005]S1：以固定图像获取姿态，实时采集物理电路实验场景所对应的物体类图像和状态类图像，各物体类图像和状态类图像中包括各元器件、各元器件的接线柱、导线，格式为三通道RGB图像；
[0006]S2：分别以各物体类图像和各状态类图像为输入，基于深度学习检测算法，分别以各物体类图像中的各元器件位置、种类，以及各状态类图像中的元器件状态标签为输出，构建元器件检测模块；
[0007]S3：分别以各物体类图像和各状态类图像为输入，基于HSV阈值过滤方法，对各物体类图像和各状态类图像中的导线进行分割，以各物体类图像和各状态类图像分别所对应的导线与背景二值图为输出，构建导线与背景分割模块；
[0008]S4：以元器件检测模块输出的各物体类图像中的各元器件位置、种类，以及各状态类图像中的元器件状态标签为输入，基于IoU交并比对比法，将各物体类图像中的各元器件与各状态类图像中的元器件状态标签对应，以各元器件的位置、种类，各元器件分别所对应的状态为输出，构建元器件状态模块；
[0009]S5：以导线与背景分割模块输出的各导线与背景二值图为输入，针对各导线与背景二值图中的各元器件的接线柱，基于广度优先遍历法，判断两两接线柱之间是否通过导线连接，以各元器件的接线柱连接状态为输出，构建接线柱连接状态模块；
[0010]S6：基于元器件检测模块、元器件检测模块、导线与背景分割模块、元器件状态模
块、接线柱连接状态模块，构建物理电路实验识别待训练模型，以各物体类图像和各状态类图像为输入对物理电路实验识别待训练模型进行训练，以元器件状态模块输出的各元器件的位置、种类，各元器件分别所对应的状态，以及接线柱连接状态模块输出的各元器件的接线柱连接状态为输出，构建物理电路实验识别模型，然后应用物理电路实验识别模型，获得电路图。
[0011]作为本专利技术的一种优选技术方案：元器件种类包括电源、电阻、灯泡、开关，各状态类图像中的元器件状态标签为开关闭合、开关打开、灯泡亮、灯泡灭。
[0012]作为本专利技术的一种优选技术方案：步骤S3中分别以各物体类图像和各状态类图像为输入，基于HSV阈值过滤方法，对各物体类图像和各状态类图像中的导线进行分割，以各物体类图像和各状态类图像分别所对应的导线与背景二值图为输出，构建导线与背景分割模块的具体步骤如下：
[0013]S31：分别将三通道RGB图像格式的各物体类图像和各状态类图像转换为对应的三通道HSV格式图像，其中三个通道分别为H、S、V；
[0014]S32：针对各三通道HSV格式图像，分别根据属于导线的各像素以及属于背景的各像素的像素值，对导线及背景进行分割，获得导线与背景二值图；
[0015]S33：通过对步骤S32所获得的各导线与背景二值图进行窗口大小为5的中值滤波处理，以获得优化后的各导线与背景二值图。
[0016]作为本专利技术的一种优选技术方案：所述步骤S4中以元器件检测模块输出的各物体类图像中的各元器件位置、种类，以及各状态类图像中的元器件状态标签为输入，基于IoU交并比对比法，将各物体类图像中的各元器件与各状态类图像中的元器件状态标签对应，以各元器件的位置、种类，各元器件分别所对应的状态为输出，构建元器件状态模块的具体步骤如下：
[0017]S41：分别计算各状态类图像中的各元器件与各物体类图像中的各元器件的IoU交并比，其中状态类图像中的元器件如下式：
[0018]s([x
a1
,y
a1
],[x
a2
,y
a2
])
[0019]式中，[x
a1
,y
a1
]为状态类图像中的元器件IoU矩形框的左上角坐标，[x
a2
,y
a2
]为状态类图像中的元器件IoU矩形框的右下角坐标；
[0020]物体类图像中的元器件如下式：
[0021]o([x
b1
,y
b1
],[x
b2
,y
b2
])
[0022]式中，[x
b1
,y
b1
]为物体类图像中的元器件IoU矩形框的左上角坐标，[x
b2
,y
b2
]为物体类图像中的元器件IoU矩形框的右下角坐标；
[0023]状态类图像中的元器件与物体类图像中的元器件的IoU交并比的计算方法如下式：
[0024][0025]其中X1、Y1、s
a
、s
b
如下式：
[0026]X1＝max(x
a1
,x
b1
),Y1＝max(y
a1
,y
b1
)
[0027]X2＝min(x
a2
,x
b2
),Y2＝min(y
a2
,y
b2
)
[0028]s
a
＝(x
a2
‑
x
a1
)
×
(y
a2
‑
y
a1
)
[0029]s
b
＝(x
b2
‑
x
b1
)
×
(y
b2
‑
y
b1
)
[0030]S42：选取与状态类图像中的元器件IoU交并比最大的物体类图像中的元器件，将该状态类图像中的元器件状态标签与物体类图像中该元器件对应；
[0031]S43：重复步骤S本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物理电路实验自动识别方法，其特征在于，按预设周期执行步骤S1
‑
S6，获得物理电路实验识别模型，然后应用物理电路实验识别模型，判断物理电路实验中各元器件位置、状态，以及各元器件的接线柱之间是否连接，进而获得电路图；S1：以固定图像获取姿态，实时采集物理电路实验场景所对应的物体类图像和状态类图像，各物体类图像和状态类图像中包括各元器件、各元器件的接线柱、导线，格式为三通道RGB图像；S2：分别以各物体类图像和各状态类图像为输入，基于深度学习检测算法，分别以各物体类图像中的各元器件位置、种类，以及各状态类图像中的元器件状态标签为输出，构建元器件检测模块；S3：分别以各物体类图像和各状态类图像为输入，基于HSV阈值过滤方法，对各物体类图像和各状态类图像中的导线进行分割，以各物体类图像和各状态类图像分别所对应的导线与背景二值图为输出，构建导线与背景分割模块；S4：以元器件检测模块输出的各物体类图像中的各元器件位置、种类，以及各状态类图像中的元器件状态标签为输入，基于IoU交并比对比法，将各物体类图像中的各元器件与各状态类图像中的元器件状态标签对应，以各元器件的位置、种类，各元器件分别所对应的状态为输出，构建元器件状态模块；S5：以导线与背景分割模块输出的各导线与背景二值图为输入，针对各导线与背景二值图中的各元器件的接线柱，基于广度优先遍历法，判断两两接线柱之间是否通过导线连接，以各元器件的接线柱连接状态为输出，构建接线柱连接状态模块；S6：基于元器件检测模块、元器件检测模块、导线与背景分割模块、元器件状态模块、接线柱连接状态模块，构建物理电路实验识别待训练模型，以各物体类图像和各状态类图像为输入对物理电路实验识别待训练模型进行训练，以元器件状态模块输出的各元器件的位置、种类，各元器件分别所对应的状态，以及接线柱连接状态模块输出的各元器件的接线柱连接状态为输出，构建物理电路实验识别模型，然后应用物理电路实验识别模型，获得电路图。2.如权利要求1所述的一种物理电路实验自动识别方法，其特征在于，元器件种类包括电源、电阻、灯泡、开关，各状态类图像中的元器件状态标签为开关闭合、开关打开、灯泡亮、灯泡灭。3.如权利要求1所述的一种物理电路实验自动识别方法，其特征在于，步骤S3中分别以各物体类图像和各状态类图像为输入，基于HSV阈值过滤方法，对各物体类图像和各状态类图像中的导线进行分割，以各物体类图像和各状态类图像分别所对应的导线与背景二值图为输出，构建导线与背景分割模块的具体步骤如下：S31：分别将三通道RGB图像格式的各物体类图像和各状态类图像转换为对应的三通道HSV格式图像，其中三个通道分别为H、S、V；S32：针对各三通道HSV格式图像，分别根据属于导线的各像素以及属于背景的各像素的像素值，对导线及背景进行分割，获得导线与背景二值图；S33：通过对步骤S32所获得的各导线与背景二值图进行窗口大小为5的中值滤波处理，以获得优化后的各导线与背景二值图。4.如权利要求1所述的一种物理电路实验自动识别方法，其特征在于，所述步骤S4中以
元器件检测模块输出的各物体类图像中的各元器件位置、种类，以及各状态类图像中的元器件状态标签为输入，基于IoU交并比对比法，将各物体类图像中的各元器件与各状态类图像中的元器件状态标签对应，以各元器件的位置、种类，各元器件分别所对应的状态为输出，构建元器件状态模块的具体步骤如下：S41：分别计算各状态类图像中的各元器件与各物体类图像中的各元器件的IoU交并比，其中状态类图像中的元器件如下式：s([x
a1
,y
a1
],[x
a2
,y
a2
])式中，[x
a1
,y
a1
]为状态类图像中的元器件IoU矩形框的左上角坐标，[x
a2
,y
a2
]为状态类图像中的元器件IoU矩形框的右下角坐标；物体类图像中的元器件如下式：o([x
b1
,y
b1
],[x
b2
,y
b2
])式中，[x
b1
,y
b1
]为物体类图像中的元器件IoU矩形框的左上角坐标，[x
b2
,y
b2
]为物体类图像中的元器件IoU矩形框的右下角坐标；状态类图像中的元器件与物体类图像中的元器件的IoU交并比的计算方法如下式：其中X1、Y1、s
a
、s
b
如下式：X1＝max(x
a1
,x
b1
),Y1＝max(y
a1
,y
b1
)X2＝min(x
a2
,x
b2
),Y2＝min(y
a2
,y
b2
)s
a
＝(x
a2
‑
x
a1
)
×
(y
a2
‑
y
a1
)s
b
＝(x
b2
‑
x
b1
...

【专利技术属性】
技术研发人员：刘烨，王洪章，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：