一种图像与时序数据融合的焊接缺陷检测方法及系统技术方案

本发明专利技术公开了一种图像与时序数据融合的焊接缺陷检测方法及系统，该检测方法包括：首先构建焊缝图像异常检测模型，然后同步采集焊接过程中的焊缝图像和电流电压等时序数据，通过焊缝图像异常检测模型实时判断焊接异常，并将异常图片回传，由此确定异常时间段以及缺陷类别，自动给时序数据打标注，积累足够多的时序标注信息后，构建有监督的时序焊接缺陷检测模型；之后仅运行该时序缺陷检测模型进行焊接缺陷的实时检测。本发明专利技术通过图像异常检测算法实时检测焊接过程中的异常，并对时序数据打标注，让时序数据的高效标注成为可能，由此基于大量真实工业场景下的时序标注信息，进行实时准确的缺陷检测，可极大的降低成本，具有较高的实用性。的实用性。的实用性。

【技术实现步骤摘要】
一种图像与时序数据融合的焊接缺陷检测方法及系统


[0001]本专利技术涉及一种图像与时序数据融合的焊接缺陷检测方法及系统，属于自动化焊接


技术介绍

[0002]目前，有超过200亿台物联网设备投入使用，物联网设备通过各种传感器收集数据，构成了新数据的最大来源之一，物联网数据实际上可以被视为大数据的缩影。大量的物联网应用需要使用有监督的机器学习，这一类机器学习算法，需要在训练模型之前标记数据。由于手动标记大型数据集是一项耗时、容易出错且成本高昂的任务，因此机器学习专业人员通常会先从标记的开源数据集开始，或者从少量数据开始标记。然而物联网数据的困难来自于它的特殊性：因为这些数据通常是独一无二的，所以不能保证现有的开源数据集是随时可用的，因此工程师必须标记自己的数据，但是，由于物联网数据的可变性，标记一个小的随机样本可能是不够的。因此，目前物联网数据AI应用的最大困境就是数据标记问题。
[0003]智能焊接作为物联网的重要组成部分之一，焊接缺陷检测这一物联网应用同样面临数据难以标注的困境。尤其是电流电压等时序焊接数据，在实际的工业场景中，几乎是无法标注。目前的常规做法是做控制实验，人工制造异常数据，然后记录下焊接缺陷的开始时间和结束时间，这种数据标注方法不仅耗时耗力，而且在实用性上存在很大局限：一方面实验室数据和真实工业场景之间还是有所差距的，另一方面实验室得到的数据是小样本的，真实的工业数据量是巨大的。
[0004]专利CN202010993829.1公开了一种时序数据异常标注的方法、系统及相关组件，该方法首先采集系统运行的性能数据，然后利用无监督式机器学习算法和有监督式机器学习模型结合对性能数据进行判定。因此其本身仍然需要一个有监督的时序模型辅助判定，而这个有监督的时序模型仍然需要大量有标注的时序数据来训练得到。

技术实现思路

[0005]专利技术目的：针对现有技术所存在的问题，本专利技术提供一种图像与时序数据融合的焊接缺陷检测方法及系统，通过焊缝图像异常检测模型对同步采集的电流电压等时序数据进行缺陷标注，从而高效地完成焊接时序数据的标注以及时序缺陷检测模型的构建。
[0006]技术方案：为实现上述目的，本专利技术提供一种图像与时序数据融合的焊接缺陷检测方法，包括以下步骤：步骤1：基于历史的焊缝图像数据，构建图像异常检测模型；步骤2：同步采集设定时长的焊缝图像和时序数据，通过图像异常检测模型判断焊缝图像是否存在异常，由此确定焊接异常的发生时间段以及焊接缺陷的具体类别，并为对应的时序数据打标注；步骤3：根据有标注的时序数据，构建有监督的时序缺陷检测模型，而后通过该时
序缺陷检测模型进行焊接缺陷的实时检测。
[0007]在同步采集焊缝图像和时序数据一段时间（例如3个月）之后，就可以积累足够多的时序标注信息，来构建有监督的时序焊接缺陷检测模型；而后仅运行该有监督的时序缺陷检测模型进行焊接缺陷的实时检测，并撤走相机，移到下一台焊机上重复此操作，以此类推。本专利技术提出的方法让时序数据的高效标注成为可能，由此得到基于大量真实工业场景下的时序标注信息，进一步定义特征、构建模型，来做焊接缺陷实时准确的检测。在焊机数量较多时，可极大的降低成本，具有较高的实用性和商业应用价值。
[0008]进一步的，所述步骤1具体包括：步骤1.1：将正常焊缝的图像按照设定窗长进行采样（滑窗的窗口大小可由相机采集照片的帧率和焊接速度进行调整），构造数据集DataSet；步骤1.2：从DataSet中随机选取设定比例的数据构建AutoEncoder模型，其中Latent层的数据维度为dim，取Latent层数据求均值Latent_mean并做零值处理，即可得到DeepSVDD模型的超球体球心C；步骤1.3：搭建ResNet+FPN网络作为DeepSVDD模型的特征提取器，确保特征提取器的输出维度为dim，利用DataSet中剩下的数据来训练DeepSVDD模型，确定DeepSVDD模型的超球体半径R。
[0009]进一步的，所述步骤1.2中的零值处理过程是将球心向量中接近于零的数值替换成
‑
0.1或0.1，因为零值数据容易导致权重为零，影响网络优化，具体包括：将Latent_mean中绝对值小于设定值的负值数据替换为
‑
0.1，并将Latent_mean中绝对值小于设定值的正值数据替换为0.1。
[0010]进一步的，所述步骤2中图像异常检测模型的异常判断过程具体包括：通过训练后的DeepSVDD模型对输入的焊缝图像进行推理，记DeepSVDD模型的输出向量为y，如果|y
‑
C|≤R，则判定焊缝图像正常，否则为异常。
[0011]进一步的，所述步骤2中焊缝图像和时序数据的同步采集过程包括：步骤2.1：焊接开始时，获取第一条时序数据对应的时间戳，记为t1；步骤2.2：将实时采集的图像信息从当前时间戳开始向前滑窗，获取设定长度的图像信息；步骤2.3：将获取的图像转换为灰度图，并对灰度图进行二值化，得到二值化图像；步骤2.4：计算二值化图像中值为0像素点个数与值为255像素点个数的比值，当比值大于阈值th2时，则采集到的图像中第一次出现焊缝，记下对应的时间戳t2；步骤2.5：记补偿时间Δt=t2
‑
t1，由此将当前时刻的图像数据与Δt之前的时序数据对齐。
[0012]进一步的，所述步骤2中时序数据的标注过程包括：步骤3.1：根据图像异常检测模型的判断结果，获取存在异常的焊缝图像；步骤3.2：根据存在异常的焊缝图像，通过人工辅助精确判定焊接缺陷的开始时间、结束时间以及缺陷类别（包含不限于烧穿、焊偏、气孔、漏焊等）；步骤3.3：根据判定结果给对应时间段的时序数据打标注。
[0013]此外，本专利技术还提供了一种图像与时序数据融合的焊接缺陷检测系统，包括用于采集焊缝图像数据的第一数据采集模块（如2D相机等）、用于采集焊接时序数据的第二数据
采集模块（如电流、电压、送丝、气流传感器等）和数据处理模块；首先通过第一数据采集模块、第二数据采集模块同步采集设定时长的焊缝图像和时序数据，同时数据处理模块通过基于历史焊缝图像数据所构建的图像异常检测模型，来判断第一数据采集模块所采集的焊缝图像是否存在异常，由此确定焊缝异常的发生时间段以及焊接缺陷的具体类别，并为对应的时序数据打标注，进而根据有标注的时序数据，构建有监督的时序缺陷检测模型；而后拆除第一数据采集模块，仅通过第二数据采集模块实时采集焊接过程中的时序数据，同时数据处理模块利用所构建的时序缺陷检测模型，根据第二数据采集模块采集的时序数据进行焊接缺陷的实时检测。
[0014]有益效果：本专利技术所提供的一种图像与时序数据融合的焊接缺陷检测方法及系统，相对于现有技术，具有以下优点：1、本专利技术的低成本体现在两方面：一是大规模应用中仅需为每台焊机部署低成本的时序数据采集设备和模型，而无需为每台焊机配备独立的、价格昂贵的焊缝图像采集相机，二是大规模应用中焊接时序数据手工标注的成本极高、不精准，几本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像与时序数据融合的焊接缺陷检测方法，其特征在于，包括以下步骤：步骤1：基于历史的焊缝图像数据，构建图像异常检测模型；步骤2：同步采集设定时长的焊缝图像和时序数据，通过图像异常检测模型判断焊缝图像是否存在异常，由此确定焊接异常的发生时间段以及缺陷类别，并为对应的时序数据打标注；步骤3：根据有标注的时序数据，构建有监督的时序缺陷检测模型，而后通过该时序缺陷检测模型进行焊接缺陷的实时检测。2.根据权利要求1所述的一种图像与时序数据融合的焊接缺陷检测方法，其特征在于，所述步骤1具体包括：步骤1.1：将正常焊缝的图像按照设定窗长进行采样，构造数据集DataSet；步骤1.2：从DataSet中随机选取设定比例的数据构建AutoEncoder模型，其中Latent层的数据维度为dim，取Latent层数据求均值Latent_mean并做零值处理，即可得到DeepSVDD模型的超球体球心C；步骤1.3：搭建ResNet+FPN网络作为DeepSVDD模型的特征提取器，确保特征提取器的输出维度为dim，利用DataSet中剩下的数据来训练DeepSVDD模型，确定DeepSVDD模型的超球体半径R。3.根据权利要求2所述的一种图像与时序数据融合的焊接缺陷检测方法，其特征在于，所述步骤1.2中的零值处理过程具体包括：将Latent_mean中绝对值小于设定值的负值数据替换为
‑
0.1，并将Latent_mean中绝对值小于设定值的正值数据替换为0.1。4.根据权利要求2所述的一种图像与时序数据融合的焊接缺陷检测方法，其特征在于，所述步骤2中图像异常检测模型的异常判断过程具体包括：通过训练后的DeepSVDD模型对输入的焊缝图像进行推理，记DeepSVDD模型的输出向量为y，如果|y
‑
C|≤R，则判定焊缝图像正常，否则为异常。5.根据权利要求1所述的一种...

【专利技术属性】
技术研发人员：田慧云，李波，
申请(专利权)人：苏芯物联技术南京有限公司，
类型：发明
国别省市：