一种基于双边特征融合网络的手机摄像头缺陷检测方法技术

本发明专利技术公开了一种基于双边特征融合网络的手机摄像头缺陷检测方法，其方法包括：获取手机摄像头图像，并对每一张图像中的缺陷区域进行标注，由此构建数据集；构建双边特征融合网络模型，双边特征融合网络以轻量级网络作为骨干网络，引入自注意力模块和双边特征融合模块，其中自注意力模块可以强调缺陷区域并提高轻微缺陷的检测精度，而双边特征融合模块可以使两个不同层次的特征相互引导，从而获得更丰富的信息；利用数据集对网络模型进行训练；应用训练好的网络分割手机摄像头图像缺陷区域。本发明专利技术通过引入自注意力模块和双边特征融合模块可以减少由轻微缺陷引起的漏检情况和图像复杂背景引起的误检情况，提高缺陷检测精度。度。度。

【技术实现步骤摘要】
一种基于双边特征融合网络的手机摄像头缺陷检测方法


[0001]本专利技术涉及深度学习领域，尤其涉及一种基于双边特征融合网络的手机摄像头缺陷检测方法。

技术介绍

[0002]如今手机的使用十分普遍，而手机摄像效果作为现代智能手机重要性能指标，使得手机摄像头成为手机上的重要部件之一。在手机摄像头生产制造的过程中，缺陷的产生是不可避免的，例如划伤、脏污、毛丝异物等，这些缺陷会影响最终的摄像效果，而手机摄像头体积小，玻璃区无色透明，部分轻微缺陷的面积小、与背景对比度低，在质量检测时存在着不小的难度。
[0003]传统的缺陷检测依靠技术人员使用人力进行缺陷的识别，这样的方法效率低下，且有些材质的缺陷识别效果也难以保证。随着机器视觉的崛起，人们开始将机器视觉技术应用于缺陷检测领域。基于机器视觉的缺陷检测方法可以分为传统的机器视觉检测方法和基于深度学习的检测方法。传统的检测方法通过从图像中手动提取有效的特征信息，并使用分类器来进行缺陷的分类识别。这样的检测方法依赖于有效的特征选择和设计，但较多的图像噪声，图像的复杂背景，对比度较低的缺陷以及弱纹理缺陷的存在，会使得此类方法的检测效果大打折扣。与此同时，此类方法的通用性较差，一种方法往往只能用于某一种特征材料的缺陷检测，导致面对不同产品检测时方案的开发周期长。
[0004]与传统的机器视觉方法相比，基于深度学习技术可以通过构建神经网络来自动提取有效的特征，无需再进行复杂的手动特征设计，可以适用于不同的场景。然而，低对比度图像以及背景复杂图像的存在对基于深度学习的检测方法仍是不小的挑战。手机摄像头在生产过程中，灰尘和轻微划伤的存在和图像采集时光强度的变化导致图像中缺陷和背景之间对比度低，造成缺陷的漏检。且四周玻璃屏上涂着油墨的黑色油墨区存在一些与中心圆形白色透光的玻璃区缺陷特征相似的特征，易造成误检。

技术实现思路

[0005]鉴于上述问题，本专利技术的目的在于提供一种基于双边特征融合网络的手机摄像头缺陷检测方法，该网络模型能够更好的获取不同级别特征的互补信息并聚焦于缺陷区域，提高缺陷的检测精度。同时该网络模型检测速度更快，可以更好的满足实际工业需求。一种基于双边特征融合网络的手机摄像头缺陷检测方法，具体包括以下步骤：步骤S1，采集手机摄像头图像，对图像中手机摄像头缺陷区域进行标注，构建手机摄像头数据集，并将其按比例划分为训练集和测试集；步骤S2，建立双边特征融合分割网络，网络包括骨干网络、自注意力模块及双边特征融合模块。
[0006]步骤S21，骨干网络使用了轻量化的Resnet18网络，将Resnet18第三个stage提取到的特征作为浅层特征，最后两个stage提取到的特征作为深层特征；并将自注意力模块以
及双分支特征融合模块融入基础网络模型中，构建新网络模型。
[0007]步骤S22，自注意力模块会以深层特征作为输入，在特征输入后会依次经过一层卷积核大小为1
×
1的卷积层、一层多头自注意力层和一层卷积核大小为1
×
1的卷积层，每个卷积层后会接上Layer normalization和rectified linear unit(ReLU)，并在模块最后进行一次残差计算作为最终的输出。自注意力不同于卷积层，其不受感受野的限制，是更好地获取全局和远程语义信息的方法，能够加深模型对整个特征图的理解。同时自注意机制可获取特征图中所以特征点之间的关联性，计算出一个特征点与其余特征点的加权信息，在聚焦于分割的关键性区域的同时，抑制背景信息。
[0008]步骤S23，双边特征融合模块同时使用Resnet18提取的浅层特征信息和自注意力模块输出的深层特征信息进行相互指导，更好的捕获了不同级别特征的重要互补信息，在不同级别特征拼接后计算特征的权重向量，并利用权重向量对特征进行重新加权，在进行一次残差后作为模块的最终输出。
[0009]步骤S3，利用训练集的图像数据对构建的双边特征融合网络进行训练，并得到训练后的网络。
[0010]步骤S31，网络使用主损失函数加辅助损失函数的方式来辅助网络收敛，其中主损失函数用以监督整个网络的输出，而两个辅助损失函数则用以监督深层语义特征的输出，网络整体损失函数如下式所示：式中为整体网络的主损失函数，为辅助损失函数，为联合损失函数，参数用以平衡主损失和辅助损失的权重，辅助损失函数仅会在训练时使用。
[0011]步骤S32，双边特征融合网络训练过程主损失函数和辅助损失函数都中采用交叉熵损失函数，其计算方法如下：式中表示样本的标签，正类为1，负类为0；表示样本为正类的概率；。
[0012]步骤S4，利用训练好的网络对手机摄像头缺陷图像数据进行分割，通过模型以像素级的精度定位每一个缺陷位置，并按F1
‑
score、Precision以及Recall对网络模型性能进行评估；行评估；行评估；其中，、、和分别代表缺陷区域分类正确的数量、无缺陷区域分类正确的数量、缺陷区域漏检的数量和无缺陷区域误检的数量。
[0013]本专利技术通过构建双边特征融合网络来检测手机摄像头缺陷，网络中的自注意力模块可以更好的获取全局语义信息，并使模型聚焦于分割的关键性区域，而双边特征融合模块则将骨干卷积神经网络提取到的不同层次的特征进行融合，以更好地获取不同级别特征的互补信息，从而提高检测精度。该网络与现有方法相比，在实际工业应用场景下的手机摄像头缺陷数据集上表现出最优的检测结果，同时检测速度更快，可以更好的满足实际工业
需求。
附图说明
[0014]为了更清楚的说明本申请的专利技术点，提供了专利技术相关的附图。
[0015]图1为本专利技术中网络整体结构图。
[0016]图2为本专利技术中双边特征融合模块结构图。
[0017]图3为本专利技术中自注意力模块结构图及其中多头自注意层结构图。
[0018]图4为本专利技术中流程示意图。
具体实施方式
[0019]为了使本专利技术申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。
[0020]本申请以真实手机摄像头缺陷图像数据集，并由相关企业的专业人士标注了缺陷区域。手机摄像头数据集图像中的白色透光区域为玻璃，称为玻璃区；而四周黑色区域实际为玻璃涂抹上了油墨，称为油墨区。需要检测的缺陷为玻璃区上存在的嘶类缺陷，分别为划伤、异物、白点、灰尘、脏污和崩边。其中数据集中共计12018张图像。
[0021]手机摄像头缺陷检测的具体流程包括以下步骤：S1，将数据集以8：2的比例划分为训练集和测试集，设置图像大小统一为128
×
128，并对图像中缺陷区域进行了像素级标注。
[0022]S2，基于pytorch构建双边特征融合分割网络（如图1所示），引入自注意力模块和双边特征融合模块。方法包括：S21，将训练间图像输入网络，首先使用了轻量化的Resnet18网络作为骨干网络对图像进行下采样，将Resnet18第三个stage提取到的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双边特征融合网络的手机摄像头缺陷检测方法，其特征在于设计一种基于特征融合网络用以优化手机摄像头缺陷检测效果，其方法如下：S1，使用轻量化骨干网络、自注意力模块及双边特征融合模块构建双边特征融合网络；S2，利用图像数据对构建的双边特征融合网络进行训练，并得到训练后的网络；S3，利用训练好的网络对手机摄像头缺陷图像数据进行分割，评估双边特征融合网络的缺陷检测效果。2.根据权利要求1所述的一种基于双边特征融合网络的手机摄像头缺陷检测方法，其特征在于，步骤S1中的双边特征融合网络由轻量级的Resnet18网络作为骨干网络，将Resnet18第三个stage提取到的特征作为浅层特征，最后两个stage提取到的特征作为深层特征。3.根据权利要求1、2所述的一种基于双边特征融合网络的手机摄像头缺陷检测方法，其特征在于，步骤S1中的自注意力模块会以深层特征作为输入，在特征输入后会依次经过一层卷积核大小为1
×
1的卷积层、一层多头自注意力层和一层卷积核大小为1
×
1的卷积层，每个卷积层后会接上Layer normalization和rectified linear unit(ReLU)，并在...

【专利技术属性】
技术研发人员：刘聪，佘文浩，汤文阳，张坤，
申请(专利权)人：盐城工学院，
类型：发明
国别省市：