基于半监督多任务检测的木地板颜色分类及缺陷检测方法技术

本发明专利技术涉及一种基于半监督多任务检测的木地板颜色分类及缺陷检测方法，属于图像处理领域。该方法包括：对输入图像进行缺陷色彩校正；标记少量图像作为数据集输入Color

【技术实现步骤摘要】
基于半监督多任务检测的木地板颜色分类及缺陷检测方法


[0001]本专利技术属于木地板颜色分类和缺陷检测领域，具体涉及基于半监督多任务检测的木地板颜色分类及缺陷检测方法。

技术介绍

[0002]木地板生产加工过程中，颜色分类和缺陷检测是两个重要的
在传统方法的基础上，随着计算机视觉和人工智能技术的发展，这两个领域得到了很大的改进。对于颜色分类，图像处理技术、特征提取技术和机器学习技术的应用，使得木地板颜色的分类更加准确高效；对于缺陷检测，图像处理技术、特征提取技术和深度学习技术的应用，使得木地板缺陷的检测更加准确和自动化。目前，主流的木地板分类和检测模型的缺点是需要大量经过人工标记的数据集，花费的时间多，效率慢。
[0003]在此基础上，有公开号CN103761743A的专利技术专利申请公开了一种基于深度学习的地板缺陷检测方法，该检测方法自动提取关键特征免去人工提取特征环节，提高了效率，但仍需要大量人工标记图像作为数据集。

技术实现思路

[0004]专利技术目的：针对现有技术存在的不足，提供一种基于半监督多任务检测的木地板颜色分类及缺陷检测方法。
[0005]技术方案：为了解决上述技术问题，本专利技术采用的技术方案如下：
[0006]采集木地板图像利用基于灰度世界算法和完美反射算法结合的色彩矫正公式进行缺陷色彩校正；标记少量图像作为数据集输入基于Faster
‑
RCNN改进的Color
‑
RCNN模型进行训练，实现木地板的颜色分类和缺陷检测；将有标记图像中的检测框作为正样本，在未标记图像上随机画框作为负样本，训练基于卷积神经网络设计的半监督预测监视网络判别伪标签是否准确；用训练好的Color
‑
RCNN模型预测剩余的未标记图像，实现颜色分类，生成伪标签，利用半监督预测监视网络对伪标签进行判别，将正确识别的检测框留下，过滤掉错误的检测框；将识别正确的图像加入数据集，重新输入Color
‑
RCNN模型训练，预测剩余的未标记图像，直至未标记图像全部获得可靠标签，实现半监督学习。
[0007]作为优选，包括以下步骤：
[0008]S1：采集多种颜色并且有缺陷的木地板图像，标注少量木地板中的颜色类别以及框选缺陷位置作为有标记图像，剩余作为未标记图像，由于缺陷可能对木地板颜色识别造成影响，根据缺陷色彩校正公式矫正木地板颜色，见公式1
‑
4；
[0009]S2：利用有标记图像训练出一个Color
‑
RCNN模型，见图3，实现木地板的颜色分类和缺陷检测；
[0010]S3：将有标记图像的检测框作为正样本，在部分图像上随机画框作为负样本，构建一个包含正负样本的数据集，训练一个半监督预测监视网络，见图4，输入为ROI的特征表示和ROI的类别，输出为该ROI是否为可靠的伪标签，判别伪标签是否准确；
[0011]S4：用训练好的Color
‑
RCNN模型预测剩余的未标记图像，实现颜色分类，生成伪标签，利用半监督预测监视网络对伪标签进行判别，将正确识别的检测框留下，过滤掉错误的检测框；
[0012]S5：筛选后的未标记图像和有标记图像结合起来，重新训练Color
‑
RCNN模型，预测剩余的未标记图像，直至未标记图像全部获得可靠标签，实现半监督学习。
[0013]作为优选，在所述步骤S1中，使用基于灰度世界和完美反射结合的色彩矫正器矫正木地板颜色，将缺陷占比面积作为影响参数，缺陷占比面积的分布情况可以用一个核函数g(x)来描述，可以将其作为一个权重因子，与原始的颜色校正公式相乘，通过对核函数进行傅里叶变换，可以将其从时域转换到频域，以便更好地对图像进行颜色校正。计算RGB三个通道各自的均值，得到R
avg
、G
avg
和B
avg
，计算RGB三个通道各自的最大值，得到R
max
、G
max
和B
max
，选用高斯核函数。基于灰度世界算法和完美反射算法结合的色彩矫正公式，如下所示：
[0014][0015]其中，R
corr
表示考虑了缺陷占比面积和分布情况的R通道校正值，G
corr
表示考虑了缺陷占比面积和分布情况的G通道校正值，B
corr
表示考虑了缺陷占比面积和分布情况的B通道校正值，R
avg
表示R通道平均值，G
avg
表示G通道平均值，B
avg
表示B通道平均值，R
max
表示R通道最大值，G
max
表示G通道最大值，B
max
表示B通道最大值，G(f)表示核函数g(x)的傅里叶变换，g(x)表示描述缺陷占比面积的分布情况的高斯核函数，f表示频率，A表示木地板中多有缺陷占比面积的总和，x表示单个缺陷占比面积，将傅里叶变换和反变换的过程进行展开，可以得到：
[0016][0017]接着，可以将指数项进行合并，得到：
[0018][0019]最后，可以将x从积分中提出来，得到：
[0020][0021]其中，表示核函数在频域中的值，可以通过傅里叶反变换得到。当缺陷占比面积分布更加均匀时，的值会更加集中在低频部分，反之则会更加分散在高频部
分。因此，的值可以用来表示缺陷占比面积分布对颜色的影响程度，在色彩校正公式中，将与x进行卷积或积分，就可以得到考虑缺陷占比面积分布影响后的色彩校正值。
[0022]作为优选，所述步骤S2中，基于Faster
‑
RCNN设计一个Color
‑
RCNN模型。利用一个色彩预测网络用于颜色分类，该网络包括卷积层和全连接层。输入为经过PyramidROIAlign输出的缺陷区域的ROI(感兴趣区域)以及FPN_Classifier网络的输出结果，输出为颜色分类结果。将FPN_Classifier网络与色彩预测网络级联，再将FPN_Classifier网络输出的ROI的分类和BB回归结果输入色彩预测网络，使其可以同时进行目标检测和颜色分类。
[0023]作为优选，所述步骤S2的具体实现方法如下：
[0024]S21：首先将有标记图像输入，进行数据预处理；
[0025]S22：将处理好的图像传入ResNet
‑
101+FPN中，获得相应的feature map，并提取颜色分类器的输入特征；
[0026]S23：通过feature map中的每一点设定ROI，获得多个ROI候选框；
[0027]S24：对这些多个ROI候选框送到RPN中进行二值分类(前景或后景)和BB回归(Bounding
‑
box regression)，过滤掉一部分候选的ROI；
[0028]S25：对剩下的ROI进行ROIAlign本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于半监督多任务检测的木地板颜色分类及缺陷检测方法，其特征在于，采集木地板图像利用基于灰度世界算法和完美反射算法结合的色彩矫正公式进行缺陷色彩校正；标记少量图像作为数据集输入基于Faster
‑
RCNN改进的Color
‑
RCNN模型进行训练，实现木地板的颜色分类和缺陷检测；将有标记图像中的检测框作为正样本，在未标记图像上随机画框作为负样本，训练基于卷积神经网络设计的半监督预测监视网络判别伪标签是否准确；用训练好的Color
‑
RCNN模型预测剩余的未标记图像，实现颜色分类，生成伪标签，利用半监督预测监视网络对伪标签进行判别，将正确识别的检测框留下，过滤掉错误的检测框；将识别正确的图像加入数据集，重新输入Color
‑
RCNN模型训练，预测剩余的未标记图像，直至未标记图像全部获得可靠标签，实现半监督学习。2.根据权利要求1所述的基于半监督多任务检测的木地板颜色分类及缺陷检测方法，其特征在于，包括以下步骤：S1：采集多种颜色并且有缺陷的木地板图像，标注少量木地板中的颜色类别以及框选缺陷位置作为有标记图像，剩余作为未标记图像，由于缺陷可能对木地板颜色识别造成影响，根据缺陷色彩校正公式矫正木地板颜色；S2：利用有标记图像训练出一个Color
‑
RCNN模型，实现木地板的颜色分类和缺陷检测；S3：将有标记图像的检测框作为正样本，在部分图像上随机画框作为负样本，构建一个包含正负样本的数据集，训练一个半监督预测监视网络，见图4，输入为ROI的特征表示和ROI的类别，输出为该ROI是否为可靠的伪标签，判别伪标签是否准确；S4：用训练好的Color
‑
RCNN模型预测剩余的未标记图像，实现颜色分类，生成伪标签，利用半监督预测监视网络对伪标签进行判别，将正确识别的检测框留下，过滤掉错误的检测框；S5：筛选后的未标记图像和有标记图像结合起来，重新训练Color
‑
RCNN模型，预测剩余的未标记图像，直至未标记图像全部获得可靠标签，实现半监督学习。3.根据权利要求2所述的基于半监督多任务检测的木地板颜色分类及缺陷检测方法，其特征在于，在所述步骤S1中，使用基于灰度世界和完美反射结合的色彩矫正器矫正木地板颜色，基于灰度世界算法和完美反射算法结合的色彩矫正公式，如下所示：其中，R
corr
表示考虑了缺陷占比面积和分布情况的R通道校正值，G
corr
表示考虑了缺陷占比面积和分布情况的G通道校正值，B
corr
表示考虑了缺陷占比面积和分布情况的B通道校正值，R
avg
表示R通道平均值，G
avg
表示G通道平均值，B
avg
表示B通道平均值，R
max
表示R通道最大值，G
max
表示G通道最大值，B
max
表示B通道最大值，G(f)表示核函数g(x)的傅里叶变换，g(x)表示描述缺陷占比面积的分布情况的高斯核函数，f表示频率，A表示木地板中多有缺陷占比面积的总和，x表示单个缺陷占比面积，将傅里叶变换和反变换的过程进行展开，可以得到：
接着，可以将指数项进行合并，得到：最后，可以将x从积分中提出来，得到：其中，表示核函数在频域中的值，可以通过傅里叶反变换得到。当缺陷占比面积分布更加均匀时，的值会更加集中在低频部分，反之则会更加分散在高频部分。因此，的值可以用来表示缺陷占比面积分布对颜色的影响程度，在色彩校正公式中，将与x进行卷积或积分，就可以得到考虑缺陷占比面积分布影响后的色彩校正值。4.根据权利要求2所述的基于半监督多任务检测的木地板颜色分类及缺陷检测方法，其特征在于，所述步骤S2中...

【专利技术属性】
技术研发人员：倪超，端木安宁，朱婷婷，李振业，崔闻琪，薛胜，
申请(专利权)人：南京林业大学，
类型：发明
国别省市：