基于特征金字塔网络FPN的NLED/QLED/OLED像素缺陷检测方法及系统技术方案

本发明专利技术涉及一种基于特征金字塔网络FPN的NLED/QLED/OLED像素缺陷检测方法及系统，该方法包括：分块获取待测打印像素面板的原始图像；对分块原始图像进行预处理；拼接同一面板的所有分块图像；对拼接后的图像建立样本数据库，使用正常图像作为训练图像，不同类型缺陷图像及正常图像作为测试图像；选择正常图像，使用预训练的ResNet

【技术实现步骤摘要】
基于特征金字塔网络FPN的NLED/QLED/OLED像素缺陷检测方法及系统


[0001]本专利技术属于显示面板缺陷检测
，具体涉及一种基于特征金字塔网络FPN的NLED/QLED/OLED像素缺陷检测方法及系统。

技术介绍

[0002]纳米发光二极管(Nano crystal Light
‑
EmittingDiode，NLED)是使用纳米发光材料制备的电致发光或者光致发光器件；量子点发光二极管(Quantum dotLight
‑
EmittingDiode，QLED)和OLED结构相似，制作方法也互相兼容；有机发光二极管(Organic Light
‑
Emitting Diode，OLED)是基于有机材料的电致发光器件。在进行NLED/QLED/OLED器件的制作时,通过喷墨打印设备的喷墨头,采用喷墨打印的方式,将墨水打入至玻璃基板的像素坑内,形成器件上的一层材料薄膜。喷墨打印像素制程中墨水、基板、打印工艺的差异等使得面板不可避免地出现各种缺陷，这些缺陷将直接影响显示器的显示效率、寿命及价格。
[0003]描述缺陷的类型随着缺陷检测在显示面板上应用技术的不断发展，各个专家学者及企业对这方面的深入探索，缺陷检测技术也逐渐开始从理论学术走向落地项目。NLED/QLED/OLED常见的像素成膜完整性缺陷主要包括：像素bank之间的阻隔壁上存在卫星点、沉积在相邻像素bank中不正确的墨水颜色和墨水颜色混合、以及墨水空洞、为充分填充的像素bank、过填充的像素bank等。对于像素缺陷的检测方法有：(1)利用不同颜色的相邻像素的像素值的平均值以及指定颜色像素阈值来确定所述缺陷要被检测的像素是否有缺陷，这种方法理论比支撑比较丰富，无需训练过程，但是参数改动性太大，稳定性不强。(2)基于周期提取方式对像素缺陷进行检测，这种方式简单有效，对于采集环境高度可控的场景有很高的检测精度，当场景或者目标发生变化时，效果就会产生很大的出入。(3)基于大数据和神经网络的方法从大量数据中自动学习图像的特征，拟合数学模型，从而实现像素的缺陷检测，这类方法识别缺陷的准确率高、适应性强，对很多难以识别的缺陷也能有很好的检测效果，这种方式需要很多样本，同时需要对缺陷数据进行大量人工标注，当数据不够时，会出现欠拟合的问题，无法满足小样本，而打印像素成膜方面的缺陷检测又由于缺少实验样本，难以进行大量数据的训练。
[0004]因此，在NLED/QLED/OLED打印像素缺陷检测的过程中，往往会存在检测稳定性不强、通用性弱、缺少训练数据等问题，使像素缺陷检测效果大打折扣，让带有缺陷的打印面板流入后续步骤，从而导致产品良率的降低和成本损失。

技术实现思路

[0005]本专利技术的目的在于提供一种基于特征金字塔网络FPN的NLED/QLED/OLED像素缺陷检测方法及系统，该方法及系统提高检测的效率与精度，降低检测成本，从而提高生产效率。
[0006]为实现上述目的，本专利技术采用的技术方案是：一种基于特征金字塔网络FPN的NLED/QLED/OLED像素缺陷检测方法，包括以下步骤：
[0007]步骤S1：使用图像获取设备分块获取待测打印像素面板的原始图像；
[0008]步骤S2：对步骤S1得到的分块原始图像进行预处理；
[0009]步骤S3：接收到预处理后的图像，对同一面板的所有分块图像通过SIFT算法进行拼接；
[0010]步骤S4：对拼接后的图像建立样本数据库，使用无缺陷像素图像即正常图像作为训练图像，不同类型缺陷图像以及部分正常图像作为测试图像；
[0011]步骤S5：选择无缺陷像素图像，使用在ImageNet数据集上预先训练的ResNet
‑
18模型作为训练网络的主干，对无缺陷像素图像特征分布进行建模；
[0012]步骤S6：使用与步骤S5中预训练网络相同架构的网络模型作为测试网络，输入测试图像，通过特征金字塔匹配进行数据测试；
[0013]步骤S7：通过测试图像与正常图像之间的异常分数得出缺陷检测结果，判断测试图像是否存在缺陷，是则判定为缺陷产品，否则进入后续工艺。
[0014]进一步地，所述步骤S1中，图像获取设备包括：
[0015]喷墨打印设备，用于将发光材料输入到喷嘴液管里面，使用显示面板的bank进行接收，提供缺陷检测对象；工业CCD相机，处于显示面板上方，用于连续采集喷墨打印分块像素图像；可移动监测平台，用于固定喷墨打印后的打印显示面板，并按照预先设置的步长对显示面板进行移动；计算机，与检测平台及相机相连接，对平台运作速度进行控制，以及对相机采集的分块像素图像进行分析。
[0016]进一步地，所述步骤S2中，对获取的分块原始图像进行直方图均衡化，以提高图像亮度，增强细节；并采用图像增强算法对均衡化后的图像进行增强变换，以实现图像样本的扩充。
[0017]进一步地，所述步骤S2中，采用图像增强算法对均衡化后的图像进行增强变换，包括统一将像素图像裁剪成256*256像素大小的图片，然后采用随机因子对图像进行翻转、角度旋转、平移、噪声变换，以对图像数据进行扩充及增强。
[0018]进一步地，所述步骤S3中，把采集的分块喷墨打印像素图像通过SIFT算法进行拼接，将具有一定重合度和差异性以及相似度极高但有标记的图像进行准确拼接，实现完整匹配图像的融合；所述SIFT算法的实现方法为：
[0019]S31：进行尺度空间的构建；图像的尺度空间是一幅图像在不同解析度下的表示，一幅图像可以产生多组Octave图像，一组图像包括多层图像；构造尺度空间的方法即构造一个高斯金字塔，以原始图像作为最底层，然后对图像进行高斯模糊再降采样作为下一层图像，循环迭代下去；对图像进行尺度变换，以满足特征点的尺度不变性，保留图像轮廓和细节，使用DOG函数进行计算：
[0020]L(x,y,σ)＝G(x,y,σ)*I(x,y)
[0021][0022]D(x,y,σ)＝[G(x,y,kσ)
‑
G(x,y,σ)]*I(x,y)＝L(x,y,kσ)
‑
L(x,y,σ)；
[0023]其中，I(x,y)代表输入图像，G(x,y,σ)代表高斯函数，σ是尺度空间因子，*是卷积
符号，L(x,y,σ)是高斯变换的输出；为了能够有效检测尺度空间极值，将高斯差分(DOG)函数即D(x,y,σ)与图像I(x,y)进行卷积得到D(x,y,σ)，其中的k代表比例系数，将σ乘以一个比例系数k，得到一个新的尺度空间因子kσ；
[0024]S32：选定关键点；首先是局部极值点，特征点是由DOG空间的局部极值点组成的，将每个像素点和其所有的相邻点的特征值作比较，若像素点的特征值大于其周围像素点的特征值，则确定其为区域的特征点即局部极值点；然后去除边缘响应点，由于DOG函数在图像边缘有较强的边缘响应，因此排除边缘响应，DOG函数的峰值点在边缘方向有较大的主曲率，而在垂本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征金字塔网络FPN的NLED/QLED/OLED像素缺陷检测方法，其特征在于，包括以下步骤：步骤S1：使用图像获取设备分块获取待测打印像素面板的原始图像；步骤S2：对步骤S1得到的分块原始图像进行预处理；步骤S3：接收到预处理后的图像，对同一面板的所有分块图像通过SIFT算法进行拼接；步骤S4：对拼接后的图像建立样本数据库，使用无缺陷像素图像即正常图像作为训练图像，不同类型缺陷图像以及部分正常图像作为测试图像；步骤S5：选择无缺陷像素图像，使用在ImageNet数据集上预先训练的ResNet
‑
18模型作为训练网络的主干，对无缺陷像素图像特征分布进行建模；步骤S6：使用与步骤S5中预训练网络相同架构的网络模型作为测试网络，输入测试图像，通过特征金字塔匹配进行数据测试；步骤S7：通过测试图像与正常图像之间的异常分数得出缺陷检测结果，判断测试图像是否存在缺陷，是则判定为缺陷产品，否则进入后续工艺。2.根据权利要求1所述的基于特征金字塔网络FPN的NLED/QLED/OLED像素缺陷检测方法，其特征在于，所述步骤S1中，图像获取设备包括：喷墨打印设备，用于将发光材料输入到喷嘴液管里面，使用显示面板的bank进行接收，提供缺陷检测对象；工业CCD相机，处于显示面板上方，用于连续采集喷墨打印分块像素图像；可移动监测平台，用于固定喷墨打印后的打印显示面板，并按照预先设置的步长对显示面板进行移动；计算机，与检测平台及相机相连接，对平台运作速度进行控制，以及对相机采集的分块像素图像进行分析。3.根据权利要求1所述的基于特征金字塔网络FPN的NLED/QLED/OLED像素缺陷检测方法，其特征在于，所述步骤S2中，对获取的分块原始图像进行直方图均衡化，以提高图像亮度，增强细节；并采用图像增强算法对均衡化后的图像进行增强变换，以实现图像样本的扩充。4.根据权利要求3所述的基于特征金字塔网络FPN的NLED/QLED/OLED像素缺陷检测方法，其特征在于，所述步骤S2中，采用图像增强算法对均衡化后的图像进行增强变换，包括统一将像素图像裁剪成256*256像素大小的图片，然后采用随机因子对图像进行翻转、角度旋转、平移、噪声变换，以对图像数据进行扩充及增强。5.根据权利要求1所述的基于特征金字塔网络FPN的NLED/QLED/OLED像素缺陷检测方法，其特征在于，所述步骤S3中，把采集的分块喷墨打印像素图像通过SIFT算法进行拼接，将具有一定重合度和差异性以及相似度极高但有标记的图像进行准确拼接，实现完整匹配图像的融合；所述SIFT算法的实现方法为：S31：进行尺度空间的构建；图像的尺度空间是一幅图像在不同解析度下的表示，一幅图像可以产生多组Octave图像，一组图像包括多层图像；构造尺度空间的方法即构造一个高斯金字塔，以原始图像作为最底层，然后对图像进行高斯模糊再降采样作为下一层图像，循环迭代下去；对图像进行尺度变换，以满足特征点的尺度不变性，保留图像轮廓和细节，使用DOG函数进行计算：L(x,y,σ)＝G(x,y,σ)*I(x,y)
D(x,y,σ)＝[G(x,y,kσ)
‑
G(x,y,σ)]*I(x,y)＝L(x,y,kσ)
‑
L(x,y,σ)；其中，I(x,y)代表输入图像，G(x,y,σ)代表高斯函数，σ是尺度空间因子，*是卷积符号，L(x,y,σ)是高斯变换的输出；为了能够有效检测尺度空间极值，将高斯差分(DOG)函数即D(x,y,σ)与图像I(x,y)进行卷积得到D(x,y,σ)，其中的k代表比例系数，将σ乘以一个比例系数k，得到一个新的尺度空间因子kσ；S32：选定关键点；首先是局部极值点，特征点是由DOG空间的局部极值点组成的，将每个像素点和其所有的相邻点的特征值作比较，若像素点的特征值大于其周围像素点的特征值，则确定其为区域的特征点即局部极值点；然后去除边缘响应点，由于DOG函数在图像边缘有较强的边缘响应，因此排除边缘响应，DOG函数的峰值点在边缘方向有较大的主曲率，而在垂直边缘的方向有较小的主曲率，主曲率通过计算在该点位置尺度的2
×
2的Hessian矩阵得到，导数由采样点相邻差来估计：其中，D
xx
表示DOG金字塔中某一尺度的图像x方向求导两次，同理，D
yy
表示在y方向求导两次，D
xy
...

【专利技术属性】
技术研发人员：叶芸，刘兰，郭太良，秦新智，郑雅倩，
申请(专利权)人：福州大学，
类型：发明
国别省市：