一种针对数据不平衡的两阶段式道路缺陷检测方法技术

本发明专利技术属于道路自动检测领域，本发明专利技术提出一种针对数据不平衡的两阶段式道路缺陷检测方法，采集道路原始图像数据，获得道路原始图像数据集，对其存在道路缺陷的区域进行人工标注，分别建立检测模型和分类模型，并进行训练；将实时道路图像输入训练后的检测模型和分类模型中，输出缺陷的位置信息与类别信息，将所述缺陷的位置信息和缺陷类别信息融合，获得道路缺陷的实时检测结果。本申请将一段式模型拆成两段式，完全解耦，支持独立调优。为了消弭解耦后分类网络训练和推理过程中输入图像的差异，引入了半监督训练。本申请引入focal loss进一步提升数据不平衡下的模型性能。进一步提升数据不平衡下的模型性能。进一步提升数据不平衡下的模型性能。

【技术实现步骤摘要】
一种针对数据不平衡的两阶段式道路缺陷检测方法


[0001]本专利技术属于道路自动检测领域，一种针对数据不平衡的两阶段式道路缺陷检测方法。

技术介绍

[0002]目前的目标检测模型没有针对收集到的数据情况设计模型，在数据收集时，由于各类别缺陷数量差异较大，导致数据分布不均匀，基于样本不平衡的数据集进行模型训练时，会使学习到的模型具有很大的局限性，模型的输出偏向于比例大的样本，影响检测效果。为解决上述问题，提出一种针对数据不平衡的两阶段式道路缺陷检测方法，在保证检测速度的同时有效解决了现有路面缺陷数据不平衡带来的问题，使模型输出更加均衡，提升模型检测精度。
[0003]现有技术中，CN202210608746.5基于卷积神经网络的道路病害检测方法及系统，基于生成对抗网络的阴影去除模块去除待检测道路病害图像的阴影，然后将去除阴影后的图像和目标检测模型检测得到道路病害类型。用到的目标检测模型是基于Yolov5模型进行改进，分别在通道和空间维度上执行注意力机制，提取得到不同维度的特征图，基于特征双向融合的思想，采用自适应特征融合方法对不同维度的特征图进行加权融合得到融合的特征图。解决了传统道路病害检测方案存在的弊病，并且在检测精度上有着显著提升。但仍旧是传统的单阶段检测算法，检测不准确。
[0004]现有技术，CN202210793236.X基于半监督模型的道路裂痕检测方法、系统及介质，采集道路裂痕数据集，并划分为训练集和测试集，构建半监督检测模型，包括教师模型和学生模型，使用训练集对教师模型进行训练并优化损失函数，生成训练集中无标签数据的伪标签，得到伪标签数据集；将伪标签数据集输入学生模型中进行训练，计算得到损失函数，得到训练好的半监督检测模型，使用训练好的半监督检测模型，得到道路裂痕检测结果；仍旧是传统的单阶段检测算法，检测不准确。
[0005]综上，现有技术中道路缺陷检测方法通常使用单阶段检测算法或两阶段检测算法，在直接收集到的缺陷数据集上直接进行训练，缺少针对数据集的特点设计模型，导致检测精度较低。

技术实现思路

[0006]本专利技术提出的检测方法，使用Focal Loss损失函数计算各样本损失值，Focal Loss能够动态地给数量少的样本分配更多权重，在不增加网络模型参数量的情况下，有效改善数据不平衡问题，提高模型检测精度，解决现有技术中检测精度比较差的问题。
[0007]相比于单阶段检测算法和传统的两阶段检测算法，本专利技术提出的一种针对数据不平衡的两阶段式道路缺陷检测方法，将检测和分类模型解耦开来，对其中一个模型进行优化和参数调整时，不会对另一个模型造成影响，方便对单个模型进行调整和优化。
[0008]本专利技术技术方案为：
一种针对数据不平衡的两阶段式道路缺陷检测方法，包括以下步骤：步骤一：采集道路原始图像数据，获得道路原始图像数据集，对道路原始图像数据集中存在道路缺陷的区域进行人工标注，获得标注数据区域，标注数据区域包括标注框和真实标签信息，真实标签信息包括真实缺陷类别（横向裂缝、纵向裂缝、龟裂、块裂、修补和坑槽）和真实缺陷位置信息，获得带有真实标签信息的图像数据，将所有带有真实标签信息的图像数据建立为检测数据集，将检测数据集按比例分为检测训练数据集S1、检测测试数据集S2和检测验证数据集S3；步骤二：建立检测模型，基于检测训练数据集S1训练检测模型，基于检测验证数据集S3调整网络参数并对检测模型进行评估，基于评价指标得到训练好的检测模型；用训练好的检测模型对检测测试数据集S2进行缺陷检测，获取带有预测位置信息的缺陷数据，带有预测位置信息的缺陷数据组成伪标签分类数据集P；步骤三：建立分类模型，裁剪检测数据集中每个样本数据的标注数据区域，裁剪后的标注数据区域组成真实标签分类数据集T，将真实标签分类数据集T分为分类训练数据集T1和分类验证数据集T2，采用半监督的训练方式，基于分类损失值通过反向传播更新分类模型的网络参数，获得训练好的分类模型；步骤四：采集实时道路图像，将实时道路图像输入训练后的检测模型和分类模型中，输出缺陷的位置信息与缺陷类别信息，将所述缺陷的位置信息和缺陷类别信息融合，获得道路缺陷的实时检测结果。
[0009]步骤二具体包括以下步骤：S201，根据缺陷检测的具体任务设置检测模型中的缺陷类别个数、检测模型网络参数和检测模型损失函数，设定初始学习率和优化器，其中检测模型设置的类别数为2，分别为0和1，0和1分别表示无缺陷和缺陷；检测模型网络参数为神经网络中的权重，基于检测训练数据集S1训练检测模型；S202，将检测训练数据集S1输入到检测模型对模型进行训练，输出检测训练数据集S1的图像数据的缺陷预测结果，所述缺陷预测结果包括预测的缺陷类别（0或者1）和缺陷的位置信息，在训练过程中，遍历检测训练数据集S1中的图像数据，得到检测模型的缺陷类别预测结果，根据缺陷类别预测结果和真实标签信息（步骤一中人工标注的真实缺陷类别和真实缺陷位置信息）计算检测模型损失值，通过反向传播更新检测模型的网络参数，直至检测模型损失值在损失值阈值范围内，则检测模型收敛，得到损失最小的检测模型；S203，基于检测验证数据集S3调整网络参数进行评估，若评价指标满足要求，得到训练好的检测模型；S204，所述检测模型只对检测数据集中的图像数据中是否存在缺陷进行判断，若存在缺陷，则输出缺陷的位置信息，检测模型训练后，用训练后的检测模型对检测测试数据集S2进行缺陷检测，获取带有预测位置信息的缺陷数据，带有预测位置信息的缺陷数据组成伪标签分类数据集P。
[0010]检测模型的评价指标包括准确率P1（Precision）、召回率R1（Recall）和全类平均精度均值Av1（mean Average Precision）；检测模型采用yolov5模型，yolov5模型中随着卷积层的不断加深，感受野也在增大，感受野是卷积神经网络每一层输出的特征图上的像素点在输入图像上映射区域大小。
图像数据经过卷积操作被划分成M*M（包括80*80、40*40、20*20）的网格，网格的每个格子都预测三个指标，三个指标分别是二分类概率、检测框和置信度；其中二分类概率表示缺陷类别的概率，检测框表示缺陷的位置信息，缺陷的位置信息指检测框的中心点坐标以及长宽，置信度表示检测框中存在缺陷的概率；判断每个检测框的置信度是否超过设定的阈值，若超过检测框的设定阈值则所述检测框内存在目标，得到缺陷的预测位置。根据非极大抑制算法对存在目标的预测框进行筛选，剔除对应同一目标的重复检测框，Yolov5中采用DIoU NMS方式剔除重复矩形框。根据筛选后的检测框的分类概率，得到缺陷的类别。
[0011]二分类概率、检测框和置信度的预测值与对应真实值之间的差距通过对应的损失函数计算，二分类概率、检测框、置信度的损失函数分别为二分类损失、定位损失和置信度损失；置信度损失和二分类损失都使用交叉熵损失（Cross Entropy Loss）计算，交叉熵损失（Cross Entropy Loss）计算公式为公式（1）：（1）表示交叉熵损失，为样本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对数据不平衡的两阶段式道路缺陷检测方法，其特征在于，包括以下步骤：步骤一：采集道路原始图像数据，获得道路原始图像数据集，对道路原始图像数据集中存在道路缺陷的区域进行人工标注，获得标注数据区域，标注数据区域包括标注框和真实标签信息，真实标签信息包括真实缺陷类别和真实缺陷位置信息，获得带有真实标签信息的图像数据，将所有带有真实标签信息的图像数据建立为检测数据集，将检测数据集按比例分为检测训练数据集S1、检测测试数据集S2和检测验证数据集S3；步骤二：建立检测模型，基于检测训练数据集S1训练检测模型，基于检测验证数据集S3调整网络参数并对检测模型进行评估，基于评价指标得到训练好的检测模型；用训练好的检测模型对检测测试数据集S2进行缺陷检测，获取带有预测位置信息的缺陷数据，带有预测位置信息的缺陷数据组成伪标签分类数据集P；步骤三：建立分类模型，裁剪检测数据集中每个样本数据的标注数据区域，裁剪后的标注数据区域组成真实标签分类数据集T，将真实标签分类数据集T分为分类训练数据集T1和分类验证数据集T2，采用半监督的训练方式，基于分类损失值通过反向传播更新分类模型的网络参数，获得训练好的分类模型；步骤四：采集实时道路图像，将实时道路图像输入训练后的检测模型和分类模型中，输出缺陷的位置信息与类别信息，将所述缺陷的位置信息和缺陷类别信息融合，获得道路缺陷的实时检测结果。2.根据权利要求1所述的一种针对数据不平衡的两阶段式道路缺陷检测方法，其特征在于，步骤二具体包括以下步骤：S201，根据缺陷检测的具体任务设置检测模型中的缺陷类别个数、检测模型网络参数和检测模型损失函数，设定初始学习率和优化器，其中检测模型设置的类别数为2，分别为0和1，0和1分别表示无缺陷和缺陷；检测模型网络参数为神经网络中的权重，基于检测训练数据集S1训练检测模型；S202，将检测训练数据集S1输入到检测模型对模型进行训练，输出检测训练数据集S1图像数据的缺陷预测结果，所述缺陷预测结果包括预测的缺陷类别和缺陷的位置信息，在训练过程中，遍历检测训练数据集S1中的图像数据，得到检测模型的缺陷类别预测结果，根据缺陷类别预测结果和真实标签信息计算检测模型损失值，通过反向传播更新检测模型的网络参数，直至检测模型损失值在损失值阈值范围内，则检测模型收敛，得到损失最小的检测模型；S203，基于检测验证数据集S3调整网络参数进行评估，若评价指标满足要求，得到训练好的检测模型；S204，所述检测模型只对检测数据集中的图像数据中是否存在缺陷进行判断，若存在缺陷，则输出缺陷的位置信息，检测模型训练后，用训练后的检测模型对检测测试数据集S2进行缺陷检测，获取带有预测位置信息的缺陷数据，带有预测位置信息的缺陷数据组成伪标签分类数据集P。3.根据权利要求2所述的一种针对数据不平衡的两阶段式道路缺陷检测方法，其特征在于，
检测模型的评价指标包括准确率P1、召回率R1和全类平均精度均值Av1。4.根据权利要求2所述的一种针对数据不平衡的两阶段式道路缺陷检测方法，其特征在于，检测模型采用yolov5模型，图像数据经过卷积操作被划分成M*M的网格，网格的每个格子都预测三个指标，三个指标分别是二分类概率、检测框和置信度；其中二分类概率表示缺陷类别的概率，检测框表示缺陷的位置信息，缺陷的位置信息指检测框的中心点坐标以及长宽，置信度表示检测框中存在缺陷的概率；判断每个检测框的置信度是否超过设定的阈值，若超过检测框的设定阈值则所述检测框内存在缺陷，得到缺陷的预测位置；根据非极大抑制算法对存在缺陷的预测框进行筛选，剔除对应同一目标的重复检测框，根据筛选后的检测框的分类概率，得到缺陷的类别。5.根据权利要求4所述的一种针对数据不平衡的两阶段式道路缺陷检测方法，其特征在于，二分类概率、检测框和置信度的预测值与对应真实值之间的差距通过对应的损失函数计算，二分类概率、检测框、置信度的损失函数分别为二分类损失、定位损失和置信度损失；置信度损失和二分类损失都使用交叉熵损失计算，交叉熵损失计算公式为公式（1）：（1）表示交叉熵损失，为样本数，，为总的缺陷类别数， =2；为符号函数，若第个样本的真实类别等于，则取 1，否则取 0；为第个样本属于类别的预测概率；定位损失...

【专利技术属性】
技术研发人员：徐传昶，李庆营，李英勇，曲建波，李明月，李隆吉，李辉，赵世晨，刘境奇，张彤晖，管灵通，
申请(专利权)人：山东省交通运输事业服务中心，
类型：发明
国别省市：