一种基于深度学习的制造技术

本发明专利技术涉及缺陷检测领域，更具体地说，它涉及一种基于深度学习的

【技术实现步骤摘要】
一种基于深度学习的MicroLED缺陷实时检测方法


[0001]本专利技术涉及缺陷检测领域，更具体地说，它涉及一种基于深度学习的
MicroLED
缺陷实时检测方法
。

技术介绍

[0002]MicroLED
是一种新型的显示技术，可以提供高亮度
、
高响应速率
、
广色域和高分辨率的显示效果，在虚拟现实眼镜
、
智能手表
、
柔性屏幕
、
车载显示器等应用领域都有着广阔的前景
。
与传统液晶和有机发光二极管相比，
MicroLED
还能够提供更高的亮度和更鲜明的颜色
。
然而，由于其制造过程的复杂性和高度精密性，
MicroLED
在生产过程中容易出现各种缺陷，而且
MicroLED
显示器中的组成单元
MicroLED
非常微小且数量庞大，靠人工进行缺陷检测极为困难
。
为了避免缺陷产品的流入市场，降低售后维修和替换的成本，提高生产效率和质量，提高用户满意度，研发一种实时
、
准确的
MicroLED
缺陷检测自动化系统成为了一个重要课题
。
[0003]缺陷目标检测是计算机视觉应用领域中的一个基本任务，其目标是在图像中找出缺陷的位置和类别
。
传统的目标检测算法主要有基于特征的目标检测算法，基于模板匹配的目标检测算法和级联分类器目标检测算法等
。
传统目标检测算法存在精度低
、
缺陷定位困难
、
实时性能差和鲁棒性差等问题，最近发展起来的深度学习技术克服了传统缺陷检测方法的缺点，
SSD
，
RetinaNet
，
Faster R
‑
CNN
，
YOLO
等网络模型陆续被提出，在许多视觉任务上取得了显著的效果
。
尤其是单阶段目标检测算法
YOLO
的提出实现了基于深度学习的实时目标检测，与使用两阶段检测框架的
Fast R
‑
CNN
模型不同，
YOLO
模型采用全卷积神经网络，将目标提议和目标分类合并为一个网络，直接从图像中输出目标的类别和位置信息，具有快速检测速度和较高的检测准确率
。
然而，由于
MicroLED
缺陷检测的速度和精度要求很高，
MicroLED
尺寸小
、
目标数量多和特征区别度低，对现有方法的检测仍然不理想
。
因此，开发一种高精度的实时
MicroLED
缺陷实时检测方法非常有助于
MicroLED
产业的发展和应用
。

技术实现思路

[0004]针对现有技术存在的不足，本专利技术的目的在于提供一种基于深度学习的
MicroLED
缺陷实时检测方法，具有能够在多种尺度下精确预测出
MicroLED
图形中存在的缺陷的类别与位置，实现
MicroLED
低区分度缺陷的实时检测的优点
。
[0005]本专利技术的上述技术目的是通过以下技术方案得以实现的：一种域深度学习的
MicroLED
缺陷实时检测方法，包括以下步骤：
[0006]S1、
通过自动扫描系统采集
MicroLED
图像，对所述图像制作标签文件并进行数据增强；
[0007]S2、
将增强后的数据用于训练端到端的
MicroLED
缺陷检测深度神经网络中，并通过执行注意力残差模块
、
多尺度特征快速融合模块及选择特征金字塔模块，评估并保存最优模型参数；
[0008]S3、
将未标注的
MicroLED
图像输入到所述端到端的
MicroLED
缺陷检测深度神经网络中，利用预测模块的检测头检测不同尺度的
MicroLED
缺陷，得到
MicroLED
缺陷的预测坐标与类别信息
。
[0009]在其中一个实施例中，所述
S2
的步骤还包括：
[0010]S201、
执行所述注意力残差模块，以在所述端到端的
MicroLED
缺陷检测深度神经网络内的骨干网络中提取多层次的特征信息；
[0011]S202、
执行所述多尺度特征快速融合模块，以对所述特征信息进行快速融合；
[0012]S203、
执行所述选择特征金字塔模块，以在所述端到端的
MicroLED
缺陷检测深度神经网络的颈部网络中对不同层次的特征进行选择融合
。
[0013]在其中一个实施例中，所述注意力残差模块的网络架构包括第一分支及第二分支
。
[0014]在其中一个实施例中，所述第一分支的运行过程包括：
[0015]S201A、
输入
X
先经过卷积模块得到特征图
U
，然后进入由
n
个通道注意力模块组成的注意力层，输入
U
在经过两个卷积模块后进行挤压操作，并通过全局平均池生成通道统计信息，随后将全局空间信息压缩到信道描述符中，其等式表示为：
[0016][0017]其中，空间维度为
H
×
W
×
C
的输入
P
通过压缩空间维度生成维度为1×1×
C
的向量
z
，
i
，
j
分别表示输入特征图
P
的第
i
行和第
j
列；
[0018]S201B、
激励操作使用两个全连接层和非线性结构显式地建模信道之间的非线性依赖关系，获得各个信道的权重值，其等式表示为：
[0019]s
＝
F
ex
(z,W)
＝
σ
(W2δ
(W1z))
；
[0020]其中，
z
为信道描述符，
σ
为
sigmoid
激活函数，
δ
为
ReLU
激活函数，
W1和
W2分别表示两个线性全连接层；
[0021]S201C、
通过信道权重激活输入特征，将特征图
P
的每一个通道特征与在激活截断时所获得的的权重值相乘并与所述特征图
U
进行残差计算，其等式表示为：
[0022]Q
＝
F...

【技术保护点】

【技术特征摘要】
1.
一种基于深度学习的
MicroLED
缺陷实时检测方法，其特征在于，包括以下步骤：
S1、
通过自动扫描系统采集
MicroLED
图像，对所述图像制作标签文件并进行数据增强；
S2、
将增强后的数据用于训练端到端的
MicroLED
缺陷检测深度神经网络中，并通过执行注意力残差模块
、
多尺度特征快速融合模块及选择特征金字塔模块，评估并保存最优模型参数；
S3、
将未标注的
MicroLED
图像输入到所述端到端的
MicroLED
缺陷检测深度神经网络中，利用预测模块的检测头检测不同尺度的
MicroLED
缺陷，得到
MicroLED
缺陷的预测坐标与类别信息
。2.
根据权利要求1所述的一种基于深度学习的
MicroLED
缺陷实时检测方法，其特征在于，所述
S2
的步骤还包括：
S201、
执行所述注意力残差模块，以在所述端到端的
MicroLED
缺陷检测深度神经网络内的骨干网络中提取多层次的特征信息；
S202、
执行所述多尺度特征快速融合模块，以对所述特征信息进行快速融合；
S203、
执行所述选择特征金字塔模块，以在所述端到端的
MicroLED
缺陷检测深度神经网络的颈部网络中对不同层次的特征进行选择融合
。3.
根据权利要求1所述的一种基于深度学习的
MicroLED
缺陷实时检测方法，其特征在于：所述注意力残差模块的网络架构包括第一分支及第二分支
。4.
根据权利要求3所述的一种基于深度学习的
MicroLED
缺陷实时检测方法，其特征在于：所述第一分支的运行过程包括：
S201A、
输入
X
先经过卷积模块得到特征图
U
，然后进入由
n
个通道注意力模块组成的注意力层，输入
U
在经过两个卷积模块后进行挤压操作，并通过全局平均池生成通道统计信息，随后将全局空间信息压缩到信道描述符中，其等式表示为：其中，空间维度为
H
×
W
×
C
的输入
P
通过压缩空间维度生成维度为1×1×
C
的向量
z
，
i
，
j
分别表示输入特征图
P
的第
i
行和第
j
列；
S201B、
激励操作使用两个全连接层和非线性结构显式地建模信道之间的非线性依赖关系，获得各个信道的权重值，其等式表示为：
s
＝
F
ex
(z,W)
＝
σ
(W2δ
(W1z))
；其中，
z
为信道描述符，
σ
为
sigmoid
激活函数，
δ
为
ReLU
激活函数，
W1和
W2分别表示两个线性全连接层；
S201C、
通过信道权重激活输入特征，将特征图
P
的每一个通道特征与在激活截断时所获得的的权重值相乘并与所述特征图
U
进行残差计算，其等式表示为：
Q
＝
F
fu
(P,s)
＝
P
·
s+U。5.
根据权利要求3所述的一种基于深度学习的
MicroLED
缺陷实时检测方法，其特征在于，所述第二分支的执行过程还包括：输入
X
经过一个卷积模块并输出
V
，并与所述第一分支所输出的结果进行拼接，随后经
过一个卷积模块获得所述注意力残差模块的最终输出结果，即表...

【专利技术属性】
技术研发人员：陈梅云，陈锦标，许峻颐，张静瑜，陈勃睿，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：