基于轻量级YOLOv4的感光元件缺陷检测方法技术

本发明专利技术公开了一种基于轻量级YOLOv4的感光元件缺陷检测方法，包括以下步骤：S1：将YOLOv4的主干特征提取网络替换成轻量级网络MobilenetV2；S2：采用K

【技术实现步骤摘要】
基于轻量级YOLOv4的感光元件缺陷检测方法


[0001]本专利技术涉及缺陷检测
，具体地说，尤其涉及一种基于轻量级YOLOv4的感光元件缺陷检测方法。

技术介绍

[0002]摄像头模组需要在无尘车间生产组装，其中目检、感光元件清洁、镜头点胶等是必须的生产工艺流程。由于生产工艺和生产环境的制约，生产的摄像头难免会有工业缺陷，比如感光元件(iamge sensor)长时间在高温状态下就会产生坏点(dead pixel)缺陷。同时，摄像头模组的生产组装必须在无尘环境中进行，如果组装前对感光元件和镜头除尘不彻底，则灰尘会导致产生污点(stain)缺陷。其中坏点缺陷往往较小，在可视化下通常表现为黑色斑点；污点缺陷较大，又可以分为明显污点的和不明显污点。感光元件的坏点面积较小，污点呈现透明形态，这些特性使得检测具有一定的困难。坏点和污点是目前常见的缺陷，需要花费很大人力进行检测。摄像头的应用比较广泛，涉及智能手机、笔记本电脑、数码相机、视频监控、车载设备、远程医疗等领域。如果感光元件带有上述缺陷，则严重影响成像效果。因此在生产摄像头时必须进行污点和坏点的缺陷检测。

技术实现思路

[0003]本专利技术的目的在于解决感光元件缺陷检测存在漏检、难检以及人工检测缺陷困难和效率低的问题，提供一种基于轻量级YOLOv4的感光元件缺陷检测方法，极大提升了感光元件坏点和污点的缺陷检测效果。
[0004]为了实现上述目的，本专利技术所采用的技术方案如下：
[0005]一种基于轻量级YOLOv4的感光元件缺陷检测方法，包括以下步骤：
[0006]S1：将YOLOv4的主干特征提取网络替换成轻量级网络MobilenetV2；
[0007]S2：采用K
‑
Means++算法进行聚类，优化缺陷数据集的锚框；
[0008]S3：优化YOLOv4损失函数，获得YOLOv4
‑
MobilenetV2的损失函数；
[0009]S4：采用迁移学习作为网络训练的迭代策略；
[0010]S5：构建双分支联合检测网络，对感光元件缺陷进行检测。
[0011]优选地，轻量级网络MobilenetV2具体为：
[0012]MobilenetV2在MobilenetV1基础上改进而来，MobilenetV2沿用了MobilenetV1的深度可分离卷积，深度可分离卷积被用来设计高效的轻量级网络，它有着与标准卷积一样的效果，但计算成本更小；
[0013]给定一个形状为w
i
×
h
i
×
c
i
的输入特征层，并利用c
j
个形状为k
×
k
×
c
i
的卷积核对其进行标准卷积操作，输出形状为w
i
×
h
i
×
c
j
的特征层，w
i
和h
i
分别为特征层的宽和高，c
i
为输入的通道数，c
j
为输出的通道数，标准卷积所需要的计算成本O
s
为：
[0014]O
s
＝w
i
·
h
i
·
c
i
·
k
·
k
·
c
j
[0015]对于输入的特征层w
i
×
h
i
×
c
i
，利用深度可分离卷积进行卷积分为两步，包括：
[0016]第一步利用c
i
个形状大小为k
×
k
×
1的卷积核进行深度卷积操作，得到形状为w
i
×
h
i
×
c
i
的特征层；
[0017]第二步对第一步得到的特征层利用c
j
个形状为1
×
1的卷积核进行逐点卷积操作，输出形状为w
i
×
h
i
×
c
j
的特征层；
[0018]最终，得到深度可分离卷积的计算成本O
ds
为：
[0019]O
ds
＝w
i
·
h
i
·
c
i
·
k
·
k+w
i
·
h
i
·
c
i
·
c
j
[0020]将深度可分离卷积的计算成本O
ds
除以标准卷积的计算成本O
s
，得到两者的关系为：
[0021][0022]根据两者的关系得出，深度可分离卷积的计算成本小于标准卷积的计算成本。
[0023]优选地，采用迁移学习作为网络训练的迭代策略，具体为：
[0024]加载使用VOC数据集的用于目标检测的轻量级网络YOLOv4
‑
MobilenetV2，并把它作为预训练模型；
[0025]将预训练模型的参数迁移到新构建模型的卷积层中，利用训练集进行训练，构建新网络模型；
[0026]新网络模型分为冻结训练和解冻训练，在冻结训练阶段，先冻结模型的主干特征提取网络，此时主干特征提取网络参数不改变；在解冻训练阶段，解冻并训练整个网络，此时所有的参数得到更新，得到训练好的新网络模型；
[0027]用测试集检验新网络模型的性能，并用于缺陷检测。
[0028]优选地，采用K
‑
Means++算法进行聚类，优化缺陷数据集的锚框；
[0029]K
‑
Means++方法如下：
[0030](1)从输入的数据集合中随机选择一个点作为第一个聚类中心；
[0031](2)对于数据集中的每一个点x，计算它与最近聚类中心的距离D(x)；
[0032](3)选择一个新的数据点作为新的聚类中心；
[0033]选择的原则是：选择概率最大的点作为新的聚类中心，概率的计算公式为：
[0034][0035]式中，距离D(x)＝1
‑
IOU(x,x
ctr
)，IOU(x,x
ctr
)为求每一点x与聚类中心x
ctr
的交集与并集的比值，交集与并集的比值又称为交并比IOU，x与x
ctr
的IOU越大距离就越小；
[0036]重复步骤(2)和步骤(3)，直到k个聚类中心被选出来，最后利用这k个初始的聚类中心来运行标准的K
‑
Means算法；
[0037]本专利技术选择9个聚类，并在3个尺度上均等划分这些聚类。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量级YOLOv4的感光元件缺陷检测方法，其特征在于，包括以下步骤：S1：将YOLOv4的主干特征提取网络替换成轻量级网络MobilenetV2；S2：采用K
‑
Means++算法进行聚类，优化缺陷数据集的锚框；S3：优化YOLOv4损失函数，获得YOLOv4
‑
MobilenetV2的损失函数；S4：采用迁移学习作为网络训练的迭代策略；S5：构建双分支联合检测网络，对感光元件缺陷进行检测。2.根据权利要求1所述的基于轻量级YOLOv4的感光元件缺陷检测方法，其特征在于，轻量级网络MobilenetV2具体为：MobilenetV2在MobilenetV1基础上改进而来，MobilenetV2沿用了MobilenetV1的深度可分离卷积，深度可分离卷积被用来设计高效的轻量级网络，它有着与标准卷积一样的效果，但计算成本更小；给定一个形状为w
i
×
h
i
×
c
i
的输入特征层，并利用c
j
个形状为k
×
k
×
c
i
的卷积核对其进行标准卷积操作，输出形状为w
i
×
h
i
×
c
j
的特征层，w
i
和h
i
分别为特征层的宽和高，c
i
为输入的通道数，c
j
为输出的通道数，标准卷积所需要的计算成本O
s
为：O
s
＝w
i
·
h
i
·
c
i
·
k
·
k
·
c
j
对于输入的特征层w
i
×
h
i
×
c
i
，利用深度可分离卷积进行卷积分为两步，包括：第一步利用c
i
个形状大小为k
×
k
×
1的卷积核进行深度卷积操作，得到形状为w
i
×
h
i
×
c
i
的特征层；第二步对第一步得到的特征层利用c
j
个形状为1
×
1的卷积核进行逐点卷积操作，输出形状为w
i
×
h
i
×
c
j
的特征层；最终，得到深度可分离卷积的计算成本O
ds
为：O
ds
＝w
i
·
h
i
·
c
i
·
k
·
k+w
i
·
h
i
·
c
i
·
c
j
将深度可分离卷积的计算成本O
ds
除以标准卷积的计算成本O
s
，得到两者的关系为：根据两者的关系得出，深度可分离卷积的计算成本小于标准卷积的计算成本。3.根据权利要求1所述的基于轻量级YOLOv4的感光元件缺陷检测方法，其特征在于，采用迁移学习作为网络训练的迭代策略，具体为：加载使用VOC数据集的用于目标检测的轻量级网络YOLOv4
‑
MobilenetV2，并把它作为预训练模型；将预训练模型的参数迁移到新构建模型的卷积层中，利用训练集进行训练，构建新网络模型；新网络模型分为冻结训练和解冻训练，在冻结训练阶段，先冻结模型的主干特征提取网络，此时主干特征提取网络参数不改变；在解冻训练阶段，解冻并训练整个网络，此时所有的参数得到更新，得到训练好的新网络模型；用测试集检验新网络模型的性能，并用于缺陷检测。4.根据权利要求1所述的基于轻量级YOLOv4的感光元件缺陷检测方法，其特征在于，采用K
‑
Means++算法进行聚类，优化缺陷数据集的锚框；K
‑
Means++方法如下：
(1)从输入的数据集合中随机选择一个点作为第一个聚类中心；(2)对于数据集中的每一个点x，计算它与最近聚类中心的距离D(x)；(3)选择一个新的数据点作为新的聚类中心；选择的原则是：选择概率最大的点作为新的聚类中心，概率的计算公式为：式中，距离D(x)＝1
‑
IOU(x,x
ctr
)，IOU(x,x
ctr
)为求每一点x与聚类中心x
ctr
的交集与并集的比值，交集与并集的比值又称为交并比IOU，x与x
ctr
的IOU越大距离就越小；重复步骤(2)和步骤(3)，直到k个聚类中心被选出来，最后利用这k个初始的聚类中心来运行标准的K
‑
Means算法；本发明选择9个聚类，并在3个尺度上均等划分这些聚类。5.根据权利要求1所述的基于轻量级YOLOv4的感光元件缺陷检测方法，其特征在于，YOLOv4的损失函数包含回归...

【专利技术属性】
技术研发人员：岳洪伟，张辉，樊亚妮，邢凤闯，陈艳，
申请(专利权)人：广东第二师范学院，
类型：发明
国别省市：