一种基于机器视觉的自动化测试作业方法、机器人及系统技术方案

本发明专利技术涉及一种基于机器视觉的自动化测试作业方法、机器人及系统，其方法包括：基于自动接线的指示信息构建置于环境箱中的待测试设备与测试台之间的信号通道；或基于自动拆线的指示信息拆除自动配置的置于环境箱中的待测试设备与测试台之间的信号通道；在信号通道有效时间段内，基于状态监测的指示信息获取指定区域的包含人机界面与指示灯的图像并传输至集控平台进行识别，在获取到识别结果时通过对人机界面的进行触控操作来调整测试方案。实施本发明专利技术方案可在包含无源电子元件、电路板、芯片、线缆以及电子装置等设备测试试验中的绝大部分环节均实现自动化，使得机器人满足包括机器视觉采集工作、自动拆接线以及触控显示屏等多种作业能力。等多种作业能力。等多种作业能力。

【技术实现步骤摘要】
一种基于机器视觉的自动化测试作业方法、机器人及系统


[0001]本专利技术涉及电子设备测试
，尤其涉及一种基于机器视觉的自动化测试作业方法、机器人及系统。

技术介绍

[0002]随着技术发展，现代试验室已经有了长足的进步，试验室针对仪器设备的测试部分已实现计算机程序自动化控制，但是在设备与设备之间的转运、接线等关键环节依然需要试验人员在现场操作，并实行人工记录试验参数，这样不仅存在人力成本过高、测试过程易出错等问题，且在环境要求苛刻的试验室中更加需要减少测试人员的参与。
[0003]另一方面，考虑到目前试验室的各个环节大多是分散进行，有人工参与就无法进行统一地集中控制，这大大降低了效率，且提高了测试试验的成本。
[0004]由此，试验室的测试方案和测试流程的自动化程度仍然亟需提高。

技术实现思路

[0005]（一）要解决的技术问题鉴于现有技术的上述缺点、不足，本专利技术提供一种基于机器视觉的自动化测试作业方法、机器人及系统，其解决了目前试验室中的各个环节自动化程度低依然需要依赖人工参与的技术问题。
[0006]（二）技术方案为了达到上述目的，本专利技术采用的主要技术方案包括：第一方面，本专利技术实施例提供一种基于机器视觉的自动化测试作业方法，其包括：基于自动接线的指示信息构建置于环境箱中的待测试设备与测试台之间的信号通道；或，基于自动拆线的指示信息拆除自动配置的置于环境箱中的所述待测试设备与所述测试台之间的信号通道；以及，在信号通道有效时间段内，基于状态监测的指示信息获取指定区域的包含人机界面与指示灯的图像并传输至预设的集控平台进行识别，在获取到识别结果时通过对人机界面的进行触控操作来调整测试方案；其中，所述自动接线的指示信息和所述自动拆线的指示信息均为所述集控平台依据待测试设备的信号点位信息和测试台的信号点位信息生成的，且所述状态监测的指示信息是由所述集控平台依据操作人员的输入信号或预先设置的巡查表生成的。
[0007]可选地，基于自动接线的指示信息构建形成测试环境的环境箱中待测试设备与控制所述环境箱的测试台之间的信号通道包括：基于所述自动接线的指示信息，在所述待测试设备的信号点位从所述环境箱的测试孔中引出接线至外置的第一转接板以及所述测试台的信号点位转接至外置的第二转接板之后，进行所述第一转接板与所述第二转接板之间的自动接线和/或所述第二转接板与
所述测试台的自动接线，以实现所述待测试设备与所述测试台之间的信号通道搭建。
[0008]可选地，基于自动拆线的指示信息拆除自动配置的所述待测试设备与所述测试台之间的信号通道包括：基于所述自动拆线的指示信息，进行所述第一转接板与所述第二转接板之间的自动拆线和/或所述第二转接板与所述测试台的自动拆线，以实现所述待测试设备与所述测试台之间的当前信号通道的断连。
[0009]可选地，在信号通道有效时间段内，基于状态监测的指示信息获取指定区域的包含人机界面与指示灯的图像并传输至预设的集控平台进行识别，在获取到识别结果时通过对人机界面的执行相应的触控操作来调整测试方案包括：在信号通道有效时间段内，基于状态监测的指示信息采集指定区域的人机界面和与所述测试台连接的指示灯的原始图像并传输至预设的集控平台中，以使集控平台进行如下识别过程：对所述原始图像分别按照轮廓检测、颜色检测以及OCR识别的方式进行相应的预处理，得到轮廓检测图像组、颜色识别图像组以及显示内容识别图像组；将所述轮廓检测图像组和预先配置在集控平台中的轮廓模板进行匹配，得以区分指示灯区域与人机界面区域；依据所述颜色识别图像组进行指示灯颜色与状态的确定，进而依据所述指示灯颜色与状态确定所述测试台的运行状态和待测试设备的运行状态；基于预先构建的CNN
‑
HMM混合模型对所述显示内容识别图像组进行显示内容的识别；将所述轮廓检测图像组、所述颜色识别图像组以及所述显示内容识别图像的处理结果进行综合分析，得到综合分析结果。
[0010]可选地，依据所述颜色识别图像组进行指示灯颜色与状态的确定包括：依据所述颜色识别图像组上的颜色空间不同聚集区块与像素值所处范围，确定指示灯的颜色为红色、绿色、黄色之中的任意一种；通过统计预设时间段内指示灯颜色的变化规律判断指示灯的状态；若预设时间段内指示灯在预设时间段内均为红色，则判断指示灯显示红色状态；若预设时间段内指示灯在预设时间段内均为绿色，则判断指示灯显示绿色状态；若预设时间段内指示灯在不同颜色之间相互变化，则判断指示灯处于闪烁状态；进而，若指示灯处于闪烁状态时，在颜色识别图像组在预设时段内截取的图像中若存在任意相邻的图像之间的显示状态相同，则判断指示灯为慢闪；在颜色识别图像组在预设时段内截取的图像中若不存在任意相邻的图像之间的显示状态相同，则判断指示灯为快闪；其中，颜色识别图像组在预设时段内截取的图像为20
‑
30张。
[0011]可选地，基于预先构建的CNN
‑
HMM混合模型对所述显示内容识别图像组进行显示内容的识别包括：基于预先构建的CNN
‑
HMM混合模型为获取的显示内容识别图像组建立特征模板数据库；
基于CNN
‑
HMM混合模型对获取的显示内容识别图像组进行包含ROI目标区域截取、灰度处理、阈值分割、校正以及字符切割之中的一种或多种的匹配前处理；通过将经匹配前处理得到的图像数据与所述特征模板数据库中的特征模板进行匹配得到置信度值，并依据得到的置信度值输出识别结果；其中，所述CNN
‑
HMM混合模型为通过将CNN层的输出与HMM层的观测概率矩阵端对端设置所得到的模型，且所述CNN
‑
HMM混合模型中的CNN层为HMM层提供任意状态的输出概率，所述HMM层为所述CNN层提供对应状态的归属分类。
[0012]可选地，基于预先构建的CNN
‑
HMM混合模型为获取的显示内容识别图像组建立特征模板数据库包括：基于预先构建的CNN
‑
HMM混合模型的CNN层获取的人机界面的历史原始图像进行特征提取，生成若干按预设编号排序的特征序列，各个特征序列中的保存数据的特征样式均不相同；基于预先构建的CNN
‑
HMM混合模型的HMM层为每一特征序列分别建模得到若干序列建模，在HMM层下优化训练所有序列建模，得到特征模板数据库。
[0013]可选地，通过将经匹配前处理得到的图像数据与所述特征模板数据库中的特征模板进行匹配得到置信度值，并依据得到的置信度值输出识别结果包括：将经匹配前处理得到的图像数据与所述特征模板数据库中的每一内容特征数据进行匹配得到置信度值；当置信度不小于0.95时判断为识别成功，并将包含置信度以及对应的特征模板的识别结果输出到预先建立通信连接的测试台；当置信度小于0.95时判断为识别失败，并将包含识别失败信息的识别结果预先建立通信连接的测试台；交由所述测试台依据得到的所述识别结果输出测试报告。
[0014]第二方面，本专利技术实施例提供一种走动作业机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的自动化测试作业方法，其特征在于，包括：基于自动接线的指示信息构建置于环境箱中的待测试设备与测试台之间的信号通道；或，基于自动拆线的指示信息拆除自动配置的置于环境箱中的所述待测试设备与所述测试台之间的信号通道；以及，在信号通道有效时间段内，基于状态监测的指示信息获取指定区域的包含人机界面与指示灯的图像并传输至预设的集控平台进行识别，在获取到识别结果时通过对人机界面的进行触控操作来调整测试方案；其中，所述自动接线的指示信息和所述自动拆线的指示信息均为所述集控平台依据待测试设备的信号点位信息和测试台的信号点位信息生成的，且所述状态监测的指示信息是由所述集控平台依据操作人员的输入信号或预先设置的巡查表生成的。2.如权利要求1所述的一种基于机器视觉的自动化测试作业方法，其特征在于，基于自动接线的指示信息构建形成测试环境的环境箱中待测试设备与控制所述环境箱的测试台之间的信号通道包括：基于所述自动接线的指示信息，在所述待测试设备的信号点位从所述环境箱的测试孔中引出接线至外置的第一转接板以及所述测试台的信号点位转接至外置的第二转接板之后，进行所述第一转接板与所述第二转接板之间的自动接线和/或所述第二转接板与所述测试台的自动接线，以实现所述待测试设备与所述测试台之间的信号通道搭建。3.如权利要求2所述的一种基于机器视觉的自动化测试作业方法，其特征在于，基于自动拆线的指示信息拆除自动配置的所述待测试设备与所述测试台之间的信号通道包括：基于所述自动拆线的指示信息，进行所述第一转接板与所述第二转接板之间的自动拆线和/或所述第二转接板与所述测试台的自动拆线，以实现所述待测试设备与所述测试台之间的当前信号通道的断连。4.如权利要求1
‑
3任一项所述的一种基于机器视觉的自动化测试作业方法，其特征在于，在信号通道有效时间段内，基于状态监测的指示信息获取指定区域的包含人机界面与指示灯的图像并传输至预设的集控平台进行识别，在获取到识别结果时通过对人机界面的执行相应的触控操作来调整测试方案包括：在信号通道有效时间段内，基于状态监测的指示信息采集指定区域的人机界面和与所述测试台连接的指示灯的原始图像并传输至预设的集控平台中，以使集控平台进行如下识别过程：对所述原始图像分别按照轮廓检测、颜色检测以及OCR识别的方式进行相应的预处理，得到轮廓检测图像组、颜色识别图像组以及显示内容识别图像组；将所述轮廓检测图像组和预先配置在集控平台中的轮廓模板进行匹配，得以区分指示灯区域与人机界面区域；依据所述颜色识别图像组进行指示灯颜色与状态的确定，进而依据所述指示灯颜色与状态确定所述测试台的运行状态和待测试设备的运行状态；基于预先构建的CNN
‑
HMM混合模型对所述显示内容识别图像组进行显示内容的识别；将所述轮廓检测图像组、所述颜色识别图像组以及所述显示内容识别图像的处理结果进行综合分析，得到综合分析结果。
5.如权利要求4所述的一种基于机器视觉的自动化测试作业方法，其特征在于，依据所述颜色识别图像组进行指示灯颜色与状态的确定包括：依据所述颜色识别图像组上的颜色空间不同聚集区块与像素值所处范围，确定指示灯的颜色为红色、绿色、黄色之中的任意一种；通过统计预设时间段内指示灯颜色的变化规律判断指示灯的状态；若预设时间段内指示灯在预设时间段内均为红色，则判断指示灯显示红色状态；若预设时间段内指示灯在预设时间段内均为绿色，则判断指示灯显示绿色状态；若预设时间段内指示灯在不同颜色之间相互变化，则判断指示灯处于闪烁状态；进而，若指示灯处于闪烁状态时，在颜色识别图像组在预设时段内截取的图像中若存在任意相邻的图像之间的显示状态相同，则判断指示灯为慢闪；在颜色识别图像组在预设时段内截取的图像中若不存在任意相邻的图像之间的显示状态相同，则判断指示灯为快闪；其中，颜色...

【专利技术属性】
技术研发人员：肖燕，邓波，张全良，
申请(专利权)人：长沙艾克赛普仪器设备有限公司，
类型：发明
国别省市：