一种基于深度学习的手机外壳缺陷检测方法技术

本发明专利技术涉及一种基于深度学习的手机外壳缺陷检测方法，该方法包括如下步骤：(1)获取待检测手机外壳图像并进行预处理；(2)将预处理后的图像输入至预先训练好的缺陷检测模型进行缺陷检测得到手机外壳上存在缺陷的位置，并给出该位置为缺陷的置信度；其中，缺陷检测模型为基于深度学习的深度网络，包括依次级联而成的特征提取网络以及分类器与回归器网络，所述的特征提取网络对预处理的图像进行特征提取得到特征图像，所述的分类器与回归器网络对特征图像进行分类回归得到手机外壳缺陷位置以及置信度。与现有技术相比，本发明专利技术检测精度高，检测结果准确可靠。

A mobile phone shell defect detection method based on depth learning

The invention relates to a mobile phone shell defect detection method based on deep learning, the method comprises the following steps: (1) to get the test of mobile phone shell image and pretreatment; (2) the input image after preprocessing to defect detection model of pre trained defect detection are obtained the position of defects on the outside of the mobile phone and, given the location of confidence defects; the defect detection model for deep web based on deep learning, includes a cascade of feature extraction and classifier and regression network network, the network feature extraction feature of image pre-processing of extracted image features, the classifier and regression the network characteristics of image classification and regression by mobile phone shell defect location and confidence. Compared with the prior art, the present invention has high detection accuracy and accurate and reliable detection results.

【技术实现步骤摘要】
一种基于深度学习的手机外壳缺陷检测方法
本专利技术涉及一种手机外壳缺陷检测方法，尤其是涉及一种基于深度学习的手机外壳缺陷检测方法。
技术介绍
随着手机的普及及其快速的更新换代，工业产线的手机外壳产品，有着极大的产量需求。从配料到最终成型的整个过程中，由于运输、生产工艺、意外等情况，手机外壳上常常存在各种缺陷(例如磕伤、划伤、擦伤、异色不均等)，而这些存在缺陷的产品会影响其性能或降低用户体验，因而是不允许流入市场的。尽管在过去的十几年中，工业产品生产有了极大的进步且生产需求日益增加，但对相关工业产品的缺陷检测仍依赖人工完成，现在主流的人工目视检测不仅效率低下，而且检测标准主观因素大，严重制约工业制造的自动化进程，并且人工在线缺陷检测不但会使成本上升，也对人力资源提出了考验。近年来，基于机器视觉的自动化缺陷检测方法被广大研究者所关注，也越来越受到厂商的青睐，但现行方法检测精度低且耗时长，不能满足实时检测需求，成为了制约机器取代人类进行缺陷检测的主要因素。目前尚未有针对手机外壳的缺陷检测专利，但存在对于手机液晶屏幕缺陷检测以及对手机底板连接器的缺陷检测。已有的手机缺陷检测检测技术，大多采用传统的图像处理与识别技术，例如灰度变换、图像二值化、边缘检测、模板匹配等；且利用了较为经典的人工特征，例如SIFT，SURF，Haar，HOG等算子，并通过神经网络或SVM分类器进行图像分类。其中对手机屏幕的缺陷检测是通过采集液晶屏清晰图像，将采集到的图像进行灰度处理，随后对灰度图像分别进行列投影和行投影，根据投影的极小值，将最开始获取的图像划分为网状的像素块图像，再将整个图像划分为多个区域，每个区域包含多个像素块，针对各区域根据各像素块灰度与该区域平均灰度的差距检测出有缺陷的像素块；从而多种像素的缺陷检测的。而对手机底板连接器的缺陷检测则是主要通过模板匹配进行的。首先要制作标准的手机底板连接器灰度图像模板；随后，对待测试图像进行预处理和灰度变换；并分别对测试图像和模板进行SURF算法处理获取特征点和仿射变化，用最近邻匹配法匹配特征点；之后，用RANSAC模型来消除误匹配特征点；再根据仿射矩阵将待测试图像转换到模板尺度空间上，得到一副新图像，分别对矫正后的测试图像和标准图像进行二值化，并将二值化图像进行相减；最后，对差值图像进行形态学处理，以此为依据判断测试图像是否为合格，如果有缺陷，标记缺陷位置。类似的以传统图像处理与特征提取为主要手段的缺陷检测方式，还运用到了太阳能板的缺陷检测，钢轨的缺陷检测，LED缺陷检测等领域上，但是对于手机外壳的缺陷检测这一问题，由于手机外壳缺陷存在面积较小，极其轻微，缺陷形式多种多样，与背景对比度不强的特点，上述传统算法并不能良好地应用于手机外壳的缺陷检测中，无论从处理时间还是检测的精准度上，都不能满足工业生产的需求。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的手机外壳缺陷检测方法。本专利技术的目的可以通过以下技术方案来实现：一种基于深度学习的手机外壳缺陷检测方法，该方法包括如下步骤：(1)获取待检测手机外壳图像并进行预处理；(2)将预处理后的图像输入至预先训练好的缺陷检测模型进行缺陷检测得到手机外壳上存在缺陷的位置，并给出该位置为缺陷的置信度；其中，缺陷检测模型为基于深度学习的深度网络，包括依次级联而成的特征提取网络以及分类器与回归器网络，所述的特征提取网络对预处理的图像进行特征提取得到特征图像，所述的分类器与回归器网络对特征图像进行分类回归得到手机外壳缺陷位置以及置信度。步骤(1)中预处理具体包括如下步骤：(101)将待检测手机外壳图像进行尺寸变换至设定大小；(102)将步骤(101)中尺寸变换后的图像进行边缘检测得到边缘图像；(103)对边缘图像进行霍夫变换并提取检测区域得到长条形图像；(104)将长条形图像进行倾斜校正并将校正后的长条形图像进行切割与拼接得到正方形图像。步骤(102)中采用Canny算子进行边缘检测。缺陷检测模型的训练方法为：(a)建立所述的深度网络；(b)采集大量手机外壳图像并进行人工标记，圈出存在缺陷的区域，给出存在缺陷区域的起点坐标与终点坐标，进而得到数据样本；(c)将数据样本输入至深度网络进行特征提取与分类回归得到缺陷的位置和缺陷的置信度；(d)将步骤(c)得到的缺陷位置和缺陷的置信度与人工标记的结果进行对比，从而调整深度网络中的各个链接权值，进而完成深度网络的训练。所述的特征提取网络包括5个依次级联的特征提取基本单元，每个特征提取单元包括依次连接的卷积层、局部响应归一化层、最大值池化层和平均值池化层；所述的卷积层利用卷积核在图像上滑动，对图像进行卷积操作，从而提取输入图像特征得到较为粗略的特征图；所述的局部响应归一化层采用3像素*3像素的领域在卷积层中得到的较为粗略的特征图上滑动，并对每个领域内的像素值进行均值和方差的归一化，得到不受光照变化影响的粗略的特征图；所述的最大池化层采用3像素*3像素的领域在局部响应归一化层中得到的粗略的特征图上滑动，并对每个领域内的所有像素值取最大值，得到具有平移不变性的较为精确的特征图；所述的平均池化层采用3像素*3像素的领域在最大池化层中得到的较为精确的的特征图上滑动，并对每个领域内的所有像素值取平均值，得到对微小形变有鲁棒性的精确的特征图，所述的精确的特征图即最终对应的特征提取基本单元输出的特征图；经过5个依次级联的特征提取基本单元最终输出特征图像。5个依次级联的特征提取基本单元中的卷积层设置方式如下：第一个特征提取基本单元中，卷积核大小为7，用于提取较大的特征，输出特征图数目为30；第二个特征提取基本单元中，卷积核大小为5，用于提取中等大小的特征，输出特征图数目为60；第三个特征提取基本单元中，卷积核大小为3，用于提取较小的特征，输出特征图数目为90；第四个特征提取基本单元中，卷积核大小为3，用于提取细节特征，输出特征图数目为128；第五个特征提取基本单元中，卷积核大小为3，用于提取细节特征，输出特征图数目为256。所述的分类器与回归器网络依次级联的第一全连接层和第二全连接层，所述第一全连接层输入特征图像，第二全连接层输出端连接有分类器和回归器；所述的第一全连接层对特征提取网络输出的特征图像进行加权计算，得到特征向量；所述的第二全连接层对第一全连接层输出的特征向量进行加权计算，得到细化且特征突出的特征向量；所述的分类器对第二全连接层输出的细化且特征突出的特征向量进行判断，判断是否属于缺陷并给出属于缺陷的置信度；所述的回归器对第二全连接层输出的细化且特征突出的特征向量进行回归处理，得到检测出的缺陷的位置信息。与现有技术相比，本专利技术具有如下优点：(1)本专利技术建立基于深度学习的深度网络并进行训练得到缺陷检测模型，通过该缺陷检测模型进行缺陷检测，检测精度高，检测结果准确可靠；(2)本专利技术对待检测手机外壳图像进行一系列的预处理，一方面减少后续程序的处理量，提高检测速度，另一方面对提取出的区域进行了局部放大，使可能存在缺陷的位置更加突出，即缺陷特征更为突出，为后面的特征提取步骤做好准备，最终提高检出率降低错误率；(3)本专利技术采用Canny算子进行边缘检测，Canny边缘提取的效果好，在设定合本文档来自技高网...

【技术保护点】
一种基于深度学习的手机外壳缺陷检测方法，其特征在于，该方法包括如下步骤：(1)获取待检测手机外壳图像并进行预处理；(2)将预处理后的图像输入至预先训练好的缺陷检测模型进行缺陷检测得到手机外壳上存在缺陷的位置，并给出该位置为缺陷的置信度；其中，缺陷检测模型为基于深度学习的深度网络，包括依次级联而成的特征提取网络以及分类器与回归器网络，所述的特征提取网络对预处理的图像进行特征提取得到特征图像，所述的分类器与回归器网络对特征图像进行分类回归得到手机外壳缺陷位置以及置信度。

【技术特征摘要】
1.一种基于深度学习的手机外壳缺陷检测方法，其特征在于，该方法包括如下步骤：(1)获取待检测手机外壳图像并进行预处理；(2)将预处理后的图像输入至预先训练好的缺陷检测模型进行缺陷检测得到手机外壳上存在缺陷的位置，并给出该位置为缺陷的置信度；其中，缺陷检测模型为基于深度学习的深度网络，包括依次级联而成的特征提取网络以及分类器与回归器网络，所述的特征提取网络对预处理的图像进行特征提取得到特征图像，所述的分类器与回归器网络对特征图像进行分类回归得到手机外壳缺陷位置以及置信度。2.根据权利要求1所述的一种基于深度学习的手机外壳缺陷检测方法，其特征在于，步骤(1)中预处理具体包括如下步骤：(101)将待检测手机外壳图像进行尺寸变换至设定大小；(102)将步骤(101)中尺寸变换后的图像进行边缘检测得到边缘图像；(103)对边缘图像进行霍夫变换并提取检测区域得到长条形图像；(104)将长条形图像进行倾斜校正并将校正后的长条形图像进行切割与拼接得到正方形图像。3.根据权利要求2所述的一种基于深度学习的手机外壳缺陷检测方法，其特征在于，步骤(102)中采用Canny算子进行边缘检测。4.根据权利要求1所述的一种基于深度学习的手机外壳缺陷检测方法，其特征在于，缺陷检测模型的训练方法为：(a)建立所述的深度网络；(b)采集大量手机外壳图像并进行人工标记，圈出存在缺陷的区域，给出存在缺陷区域的起点坐标与终点坐标，进而得到数据样本；(c)将数据样本输入至深度网络进行特征提取与分类回归得到缺陷的位置和缺陷的置信度；(d)将步骤(c)得到的缺陷位置和缺陷的置信度与人工标记的结果进行对比，从而调整深度网络中的各个链接权值，进而完成深度网络的训练。5.根据权利要求1所述的一种基于深度学习的手机外壳缺陷检测方法，其特征在于，所述的特征提取网络包括5个依次级联的特征提取基本单元，每个特征提取单元包括依次连接的卷积层、局部响应归一化层、最大值池化层和平均值池化层；所述的卷积层利用卷积核在图像上滑动，对图像进行卷积操作，从而提取输入图像特征得到较为粗...

【专利技术属性】
技术研发人员：李树，陈启军，王德明，颜熠，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海,31