一种基于多维度度量的小样本MiniLED缺陷检测方法及系统技术方案

本发明专利技术公开了一种基于多维度度量的小样本Mini LED缺陷检测方法及系统，方法包括以下步骤：S1：获取Mini LED屏幕图片并进行图像灰度化处理；S2：将灰度化处理的图像进行二值化处理；S3：确定二值化处理后图像的轮廓坐标，根据轮廓坐标对单个LED矩阵图像进行裁剪；S4：以ResNet18作为特征提取模块构建检测模型并训练，得到训练后的检测模型；S5：待检测的单个LED矩阵图像输入训练好的检测模型，输出缺陷检测结果。本发明专利技术通过图像预处理能够快速确定LED矩阵位置进而得到单个LED矩阵图，同时在检测模型中采用多维度度量方式来克服经典度量方式计算相似度维度单一不能很好表达图片相似度的问题，提高了缺陷检测的准确度。提高了缺陷检测的准确度。提高了缺陷检测的准确度。

【技术实现步骤摘要】
一种基于多维度度量的小样本Mini LED缺陷检测方法及系统


[0001]本专利技术涉及屏幕缺陷检测
，更具体地，涉及一种基于多维度度量的小样本Mini LED缺陷检测方法及系统。

技术介绍

[0002]随着Mini LED显示技术的迅速发展，Mini LED显示产品已开始应用于超大屏高清显示，如监控指挥、高清演播、高端影院、医疗诊断、广告显示、会议会展、办公显示、虚拟现实等商用领域。但是随着Mini LED的需求量越来越大，生产过程中的各种问题也就接踵而来，各种产品缺陷问题凸显，传统LED屏幕自成一个整体，拍摄的图片比较平滑，缺陷相对于Mini LED来说呈现的比较清晰，而Mini LED要求拍摄出的图片能够清晰地显示出每个LED矩阵，要求对每个LED矩阵进行检测识别缺陷，这就大大提高了缺陷检测的难度。
[0003]传统的视觉检测基于差分，滤波等一些操作对于普通的平滑呈现出来的LED屏幕缺陷检测效果显著，能够很好的识别到屏幕上的不同缺陷，可是对于Mini LED来说则不同，它独立分部的LED灯珠矩阵使其没有普通LED那种平滑呈现，其检测精度也要求其必须达到单灯珠的检测，因此传统的机器视觉很难达到对其准确的检测。
[0004]基于模版匹配方法的原理是利用LED矩阵当作模版去遍历整张图片，去识别出与模版图片相似度高的模块坐标。这种方法直接对图像对应位置像素值和模版像素值进行比较得出总的相似度，这种单一的标准不能够很好的区分不同的缺陷种类，虽然提高阈值可以提高精度，检测出缺灯珠的缺陷，可是对于灯珠旋转角度过大等问题却是不能很好的解决，还是不能够很好的检测出Mini LED屏幕的缺陷。
[0005]而基于目标检测的方法对Mini LED屏幕进行检测也存在一些问题：单个LED矩阵结构比较复杂，而不同缺陷的图片又存在很大的相似性，因此直接使用目标检测的方式对其进行检测则需要大量的标记图片。目前对于大量的Mini LED图片的获取存在问题，对获取到的图片进行打标也需要大量的人力物力，存在一个又一个的困难。
[0006]现有技术公开了一种Mini LED产品缺陷检测方法及相关设备，该方法包括：采集Mini LED产品图像并将Mini LED产品图像作为检测图像；选取Mini LED产品对应的模板特征数据库，将检测图像输入到Mini LED产品对应的模板特征数据库中，利用函数库得到参考图像；基于检测图像和参考图像，利用ET算法得到残影图；将残影图中灰度值大于阈值的像素点标记为缺陷点，灰度值不大于阈值的像素点标记为非缺陷点。该方案需要足够多的样本来构建模板特征数据库，无法实现小样本的准确检测。

技术实现思路

[0007]本专利技术提供一种基于多维度度量的小样本Mini LED缺陷检测方法及系统方法，实现了小样本缺陷检测，同时提高了缺陷检测的准确率。
[0008]本专利技术的首要目的是为解决上述技术问题，本专利技术的技术方案如下：
[0009]本专利技术第一方面提供了一种基于多维度度量的小样本Mini LED缺陷检测方法，包
括以下步骤：
[0010]S1：获取Mini LED屏幕图片并进行图像灰度化处理；
[0011]S2：将灰度化处理的图像进行二值化处理；
[0012]S3：确定二值化处理后图像的轮廓坐标，根据轮廓坐标对单个LED矩阵图像进行裁剪；
[0013]S4：以ResNet18作为特征提取模块构建检测模型并训练，得到训练后的检测模型；
[0014]S5：待检测的单个LED矩阵图像输入训练好的检测模型，输出缺陷检测结果。
[0015]进一步地，步骤S1中图像灰度化处理的数学表达式为：
[0016][0017]其中，Gray(i,j)表示像素点(i,j)的灰度值，R(i,j)表示图像像素点的R分量，G(i,j)表示图像像素点的G分量，B(i,j)表示图像像素点的B分量。
[0018]进一步地，在进行二值化操作中，若灰度图上像素点灰度值小于预设阈值则置为0，若大于预设阈值时置为最大值maxval。
[0019]进一步地，确定二值化处理后图像的轮廓坐标，根据轮廓坐标对单个LED矩阵图像进行裁剪具体步骤为：
[0020]利用掏空内部点法确定二值化处理后图像的轮廓，确定轮廓左上和右下点的坐标，根据左上和右下点的坐标确定LED矩阵的外接矩形，根据外接矩形对单个LED矩阵图像进行裁剪。
[0021]进一步地，以ResNet18作为特征提取模块构建检测模型，其中，检测模型采用多维度度量方式MDM作为度量方式，以交叉熵损失函数作为损失函数进行训练和预测。
[0022]进一步地，所述检测模型的训练包括三个部分：网络的数据处理、网络的训练模式的确定以及预训练辅助数据集；
[0023]网络的数据处理：
[0024]在的单个任务中，从训练数据集中随机选取N个标签类别，在每个类别中随机采样K个样本作为当前任务的训练集集，并随机采样不重复的一个或多个样本作为测试集；网络模型的输入通过一个标准的特征提取层g(θ),提取到训练集的特征向量；
[0025]测试集用于评估检测模型的性能，从训练集和测试集的图像中获得特征提取的结果后，将提取到的特征图传入度量函数来计算MDM相似度；
[0026]网络的训练模式：
[0027]网络的训练过程是将训练集分成小的few
‑
shot子集，并且划分为训练集和测试集，即网络的训练阶段实是多次FSL学习的叠加；
[0028]预训练辅助数据集：
[0029]网络训练是辅助数据集预训练加目标数据集微调的方式进行训练，其中，辅助训练集为PVEL
‑
AD数据集。
[0030]进一步地，检测模型采用多维度度量方式，多维度度量包括：余弦距离单元、结构相似性单元，其中，余弦距离单元用于计算余弦距离，结构相似性单元用于从亮度、对比度、结构的维度去计算两个特征向量之间的相似度。
[0031]进一步地，结构相似性单元分别进行三个方面的度量：亮度、对比度、结构：
[0032]亮度：通过对所有像素值进行平均测量得到亮度值μ
x
，
[0033][0034]其中，x
i
为图像x的第i个像素值，N为像素值的总数；
[0035]对比度：取所有像素值的标准差(方差的平方根)来测量，对比度σ
x
的表达式为：
[0036][0037]σ
x
表示图像x的对比度；
[0038]结构：研究的是归一化的两个向量：(x
‑
μ
x
)/σ
x
和(y
‑
μ
y
)/σ
y
之间的关系，结构s(x,y)的具体公式：
[0039][0040]分别定义亮度比较函数、对比度比较函数、结构比较函数；
[0041]亮度比较函数的表达式为：...

【技术保护点】

【技术特征摘要】
1.一种基于多维度度量的小样本Mini LED缺陷检测方法，其特征在于，包括以下步骤：S1：获取Mini LED屏幕图片并进行图像灰度化处理；S2：将灰度化处理的图像进行二值化处理；S3：确定二值化处理后图像的轮廓坐标，根据轮廓坐标对单个LED矩阵图像进行裁剪；S4：以ResNet18作为特征提取模块构建检测模型并训练，得到训练后的检测模型；S5：待检测的单个LED矩阵图像输入训练好的检测模型，输出缺陷检测结果。2.根据权利要求1所述的一种基于多维度度量的小样本Mini LED缺陷检测方法，其特征在于，步骤S1中图像灰度化处理的数学表达式为：其中，Gray(i,j)表示像素点(i,j)的灰度值，R(i,j)表示图像像素点的R分量，G(i,j)表示图像像素点的G分量，B(i,j)表示图像像素点的B分量。3.根据权利要求1所述的一种基于多维度度量的小样本MiniLED缺陷检测方法，其特征在于，在进行二值化操作中，若灰度图上像素点灰度值小于预设阈值则置为0，若大于预设阈值时置为最大值maxval。4.根据权利要求1所述的一种基于多维度度量的小样本MiniLED缺陷检测方法，其特征在于，确定二值化处理后图像的轮廓坐标，根据轮廓坐标对单个LED矩阵图像进行裁剪具体步骤为：利用掏空内部点法确定二值化处理后图像的轮廓，确定轮廓左上和右下点的坐标，根据左上和右下点的坐标确定LED矩阵的外接矩形，根据外接矩形对单个LED矩阵图像进行裁剪。5.根据权利要求1所述的一种基于多维度度量的小样本MiniLED缺陷检测方法，其特征在于，以ResNet18作为特征提取模块构建检测模型，其中，检测模型采用多维度度量方式MDM作为度量方式，以交叉熵损失函数作为损失函数进行训练和预测。6.根据权利要求5所述的一种基于多维度度量的小样本Mini LED缺陷检测方法，其特征在于，所述检测模型的训练包括三个部分：网络的数据处理、网络的训练模式的确定以及预训练辅助数据集；网络的数据处理：在单个任务中，从训练数据集中随机选取N个标签类别，在每个类别中随机采样K个样本作为当前任务的训练集，并随机采样不重复的一个或多个样本作为测试集；网络模型的输入通过一个标准的特征提取层g(θ)，提取到训练集的特征向量；测试集用于评估检测模型的性能，从训练集和测试集的图像中获得特征提取的结果后，将提取到的特征图传入度量函数来计算MDM相似度；网络的训练模式：网络的训练过程是将训练集分成小的few
‑
shot子集，并且划分为训练集和测试集，即网络的训练阶段实是多次FSL学习的叠加；预训练辅助数据集：网络训练是辅助数据集预训练加目标数据集微调的方式进行训练，其中，辅助训练集为PVEL
‑
AD数据集。
7.根据权利要求1所述的一种基于多维度度量的小样本MiniLED缺陷检测方法，其特征在于，检测模型采用多维度度量方式，多维度度量包括：余弦距离单元、结构相似性单元，其中，余弦距离单元用于计算余弦距...

【专利技术属性】
技术研发人员：曹增辉，吴宗泽，任志刚，谭淇，赖家伦，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：