基于事件相机的工件缺陷检测方法及装置制造方法及图纸

本发明专利技术提供一种基于事件相机的工件缺陷检测方法及装置，涉及计算机视觉技术领域，该方法包括：基于事件相机，采集当前周期内目标工件的表面对应的事件数据流，根据事件数据流，获取目标工件的表面图像序列；将表面图像序列输入至缺陷检测模型中，得到目标工件的初始缺陷位置信息、缺陷类型和初始缺陷位置信息对应的缺陷特征图；将缺陷特征图输入至缺陷区域修正模型中，得到目标工件的最终缺陷位置信息；根据缺陷类型和最终缺陷位置信息，获取目标工件的缺陷检测结果。本发明专利技术实现精准捕捉工件的缺陷信息以及准确定位工件的缺陷位置。件的缺陷信息以及准确定位工件的缺陷位置。件的缺陷信息以及准确定位工件的缺陷位置。

【技术实现步骤摘要】
基于事件相机的工件缺陷检测方法及装置


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于事件相机的工件缺陷检测方法及装置。

技术介绍

[0002]随着工业的发展与进步，智能制造相关技术也得到了高速发展。在工业制造中工件的缺陷不仅影响产品美观，而且会对其使用性能带来负面影响，因此工件缺陷检测是控制产品质量的重要一环。
[0003]现有的工件缺陷检测通常采用基于传统的机器视觉方案，该种方案使用传统相机作为成像设备，以采集工件的单帧图像，实现工件的缺陷检测。而传统相机采用的CCD(Charge Coupled Device)或CMOS(Complementary Metal
‑
Oxide
‑
Semiconductor，互补金属氧化物半导体)传感器对成像条件要求苛刻，而实际工业生产中的成像环境复杂，且光照干扰也具有不确定性。因此，难以捕捉到工件的缺陷并对其准确定位。

技术实现思路

[0004]本专利技术提供一种基于事件相机的工件缺陷检测方法及装置，用以解决现有技术中使用传统相机作为成像设备，以采集工件的单帧图像，实现工件的缺陷检测，难以捕捉到工件的缺陷并对其准确定位的缺陷，实现对工件进行高效精准地缺陷检测。
[0005]本专利技术提供一种基于事件相机的工件缺陷检测方法，包括：
[0006]基于事件相机，采集当前周期内目标工件的表面对应的事件数据流，根据所述事件数据流，获取所述目标工件的表面图像序列；
[0007]将所述表面图像序列输入至缺陷检测模型中，得到所述目标工件的初始缺陷位置信息、缺陷类型和所述初始缺陷位置信息对应的缺陷特征图；
[0008]将所述缺陷特征图输入至缺陷区域修正模型中，得到所述目标工件的最终缺陷位置信息；
[0009]根据所述缺陷类型和所述最终缺陷位置信息，获取所述目标工件的缺陷检测结果；
[0010]其中，所述缺陷检测模型是基于样本工件的表面图像序列、所述样本工件的缺陷位置标签和缺陷类型标签进行训练得到的；所述缺陷区域修正模型是基于所述缺陷检测模型得到的所述样本工件的初始缺陷位置信息对应的缺陷特征图，以及所述样本工件的缺陷位置标签进行训练得到的。
[0011]根据本专利技术提供的一种基于事件相机的工件缺陷检测方法，所述缺陷检测模型包括骨干网络、特征金字塔和输出模块；
[0012]所述将所述表面图像序列输入至缺陷检测模型中，得到所述目标工件的初始缺陷位置信息、缺陷类型和所述初始缺陷位置信息对应的缺陷特征图，包括：
[0013]将所述目标工件的表面图像序列输入至所述骨干网络中，得到所述目标工件的多
分辨率特征矩阵；
[0014]将所述多分辨率特征矩阵输入至所述特征金字塔，得到所述目标工件的特征图；
[0015]将所述特征图输入至所述输出模块，得到所述目标工件的初始缺陷位置信息和缺陷类型；
[0016]根据所述目标工件的初始缺陷位置信息，在所述特征图中获取所述目标工件的初始缺陷位置信息对应的缺陷特征图。
[0017]根据本专利技术提供的一种基于事件相机的工件缺陷检测方法，所述骨干网络包括第一特征提取模块、第二特征提取模块、第三特征提取模块和第四特征提取模块；
[0018]所述将所述目标工件的表面图像序列输入至所述骨干网络中，得到所述目标工件的多分辨率特征矩阵，包括：
[0019]将所述目标工件的表面图像序列输入至所述第一特征提取模块，得到第一特征矩阵，将所述第一特征矩阵输入至所述第二特征提取模块，得到第二特征矩阵，将所述第二特征矩阵输入至所述第三特征提取模块，得到第三特征矩阵，将所述第三特征矩阵输入至所述第四特征提取模块，得到第四特征矩阵；
[0020]根据所述第二特征矩阵、所述第三特征矩阵和所述第四特征矩阵，获取所述多分辨率特征矩阵。
[0021]根据本专利技术提供的一种基于事件相机的工件缺陷检测方法，所述特征金字塔包括第一上采样模块和第二上采样模块；
[0022]所述将所述多分辨率特征矩阵输入至所述特征金字塔，得到所述目标工件的特征图，包括：
[0023]将所述第四特征矩阵输入至所述第一上采样模块，得到第五特征矩阵；
[0024]将所述第五特征矩阵和所述第三特征矩阵进行融合，得到第六特征矩阵；
[0025]将所述第六特征矩阵输入至所述第二上采样模块，得到第七特征矩阵；
[0026]将所述第七特征矩阵和所述第二特征矩阵进行融合，得到所述目标工件的特征图。
[0027]根据本专利技术提供的一种基于事件相机的工件缺陷检测方法，所述根据所述事件数据流，获取所述目标工件的表面图像序列，包括：
[0028]根据所述事件数据流中每一事件数据的事件时间戳，确定所述每一事件数据所属的图像帧；
[0029]根据每一图像帧内的每一事件数据的事件灰度值和事件坐标，获取所述每一图像帧对应的表面图像；
[0030]根据多个不同图像帧对应的表面图像，获取所述目标工件的表面图像序列。
[0031]根据本专利技术提供的一种基于事件相机的工件缺陷检测方法，所述根据多个不同图像帧对应的表面图像，获取所述目标工件的表面图像序列，包括：
[0032]在每一图像帧对应的表面图像中获取所述目标工件的位置信息；
[0033]根据所述目标工件的位置信息，在每一图像帧对应的表面图像中裁剪出所述目标工件的局部表面图像；
[0034]根据多个不同图像帧对应的所述局部表面图像，生成所述目标工件的表面图像序列。
[0035]根据本专利技术提供的一种基于事件相机的工件缺陷检测方法，所述缺陷检测模型的损失函数包括缺陷类型分类任务对应的分类损失函数和缺陷位置预测任务对应的回归损失函数；
[0036]所述分类损失函数是基于交叉熵损失函数构建的，所述回归损失函数是基于分段平滑损失函数构建的。
[0037]本专利技术还提供一种基于事件相机的工件缺陷检测装置，包括：
[0038]采集模块，用于基于事件相机，采集当前周期内目标工件的表面对应的事件数据流，根据所述事件数据流，获取所述目标工件的表面图像序列；
[0039]第一检测模块，用于将所述表面图像序列输入至缺陷检测模型中，得到所述目标工件的初始缺陷位置信息、缺陷类型和所述初始缺陷位置信息对应的缺陷特征图；
[0040]修正模块，用于将所述缺陷特征图输入至缺陷区域修正模型中，得到所述目标工件的最终缺陷位置信息；
[0041]第二检测模块，用于根据所述缺陷类型和所述最终缺陷位置信息，获取所述目标工件的缺陷检测结果；
[0042]其中，所述缺陷检测模型是基于样本工件的表面图像序列、所述样本工件的缺陷位置标签和缺陷类型标签进行训练得到的；所述缺陷区域修正模型是基于所述缺陷检测模型得到的所述样本工件的初始缺陷位置信息对应的缺陷特征图，以及所述样本工件的缺陷位置标签进行训练得到的。
[0043]本专利技术还提供一种电子设备，包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件相机的工件缺陷检测方法，其特征在于，包括：基于事件相机，采集当前周期内目标工件的表面对应的事件数据流，根据所述事件数据流，获取所述目标工件的表面图像序列；将所述表面图像序列输入至缺陷检测模型中，得到所述目标工件的初始缺陷位置信息、缺陷类型和所述初始缺陷位置信息对应的缺陷特征图；将所述缺陷特征图输入至缺陷区域修正模型中，得到所述目标工件的最终缺陷位置信息；根据所述缺陷类型和所述最终缺陷位置信息，获取所述目标工件的缺陷检测结果；其中，所述缺陷检测模型是基于样本工件的表面图像序列、所述样本工件的缺陷位置标签和缺陷类型标签进行训练得到的；所述缺陷区域修正模型是基于所述缺陷检测模型得到的所述样本工件的初始缺陷位置信息对应的缺陷特征图，以及所述样本工件的缺陷位置标签进行训练得到的。2.根据权利要求1所述的基于事件相机的工件缺陷检测方法，其特征在于，所述缺陷检测模型包括骨干网络、特征金字塔和输出模块；所述将所述表面图像序列输入至缺陷检测模型中，得到所述目标工件的初始缺陷位置信息、缺陷类型和所述初始缺陷位置信息对应的缺陷特征图，包括：将所述目标工件的表面图像序列输入至所述骨干网络中，得到所述目标工件的多分辨率特征矩阵；将所述多分辨率特征矩阵输入至所述特征金字塔，得到所述目标工件的特征图；将所述特征图输入至所述输出模块，得到所述目标工件的初始缺陷位置信息和缺陷类型；根据所述目标工件的初始缺陷位置信息，在所述特征图中获取所述目标工件的初始缺陷位置信息对应的缺陷特征图。3.根据权利要求2所述的基于事件相机的工件缺陷检测方法，其特征在于，所述骨干网络包括第一特征提取模块、第二特征提取模块、第三特征提取模块和第四特征提取模块；所述将所述目标工件的表面图像序列输入至所述骨干网络中，得到所述目标工件的多分辨率特征矩阵，包括：将所述目标工件的表面图像序列输入至所述第一特征提取模块，得到第一特征矩阵，将所述第一特征矩阵输入至所述第二特征提取模块，得到第二特征矩阵，将所述第二特征矩阵输入至所述第三特征提取模块，得到第三特征矩阵，将所述第三特征矩阵输入至所述第四特征提取模块，得到第四特征矩阵；根据所述第二特征矩阵、所述第三特征矩阵和所述第四特征矩阵，获取所述多分辨率特征矩阵。4.根据权利要求3所述的基于事件相机的工件缺陷检测方法，其特征在于，所述特征金字塔包括第一上采样模块和第二上采样模块；所述将所述多分辨率特征矩阵输入至所述特征金字塔，得到所述目标工件的特征图，包括：将所述第四特征矩阵输入至所述第一上采样模块，得到第五特征矩阵；将所述第五特征矩阵和所述第三特征矩阵进行融合，得到第六特征矩阵；
将所述第六特征矩阵输入至所述第二上采样模块，得...

【专利技术属性】
技术研发人员：袁烨，张永，何志超，王茂霖，兰儒恺，
申请(专利权)人：元始智能科技南通有限公司，
类型：发明
国别省市：