一种基于人工智能的智能化高精度路面病害识别方法技术

本发明专利技术属于路面病害检测领域，具体涉及一种基于人工智能的智能化高精度路面病害识别方法，包括：提供一个路面病害识别模型，路面病害识别模型将输入的路面病害图片与输出的路面病害类型对应；路面病害特征生成时，基于路面病害图片多层级地提取路面病害特征，第一层级基于原路面病害图片提取路面病害特征，其后的每一层级皆基于上一层级提取路面病害特征；将排列在前的，除第一层级以外的层级所提取到的路面病害特征作为低层特征；与排列在前的层级相对应，将排列在后的层级所提取到的路面病害特征作为高层特征；与路面病害识别模型输出的所述路面病害类型所对应的路面病害特征即为低层特征和高层特征融合后生成的特征。本识别模型精度效率高。别模型精度效率高。别模型精度效率高。

【技术实现步骤摘要】
一种基于人工智能的智能化高精度路面病害识别方法


[0001]本专利技术属于路面病害检测领域，具体涉及一种基于人工智能的智能化高精度路面病害识别方法。

技术介绍

[0002]公路是国家的命脉，良好的公路环境便于货物及人员的流动，对国家经济建设起着至关重要的作用。随着车载及冻融循环的影响，路面病害逐渐增加，如果不加以修补，在水平方向将加大路面的破环程度，严重影响车速及行车舒适度；在纵向上将加深道路的损伤程度，甚至扩展至路基，对道路造成严重的结构性破坏。因此，应当及时检测路面病害，用于路面损伤程度的判断和病害的精确维修。
[0003]传统基于计算机视觉的道路病害检测方法主要可以分为两类：一种是基于传统图像处理
‑
Canny边缘检测的方法，一种是基于深度神经网络路面病害检测的方法。然而，传统图像处理方法对环境比较敏感，在恶劣环境下对路面病害检测效果表现十分糟糕。目前深度卷积网络检测算法提取目标多层次的特征信息，能够适用于恶劣环境低质量的病害图像检测，但定位精确度明显不高，并不能准确识别出病害。
[0004]因此，需要一种在“光污染”、“雾天”等恶劣环境下对路面病害进行高精度、高效率的检测识别方法。

技术实现思路

[0005]本专利技术提供了一种对路面病害进行精准识别的智能化高精度路面病害识别方法，包括以下步骤：
[0006]提供一个路面病害识别模型，所述路面病害识别模型将输入的路面病害图片与输出的路面病害类型对应；
[0007]其中，所述路面病害识别模型基于图片上的路面病害对象生成相应的路面病害特征，由所述路面病害特征与输出的路面病害类型对应；
[0008]路面病害特征生成时，基于路面病害图片多层级地提取路面病害特征，第一层级基于原路面病害图片提取路面病害特征，其后的每一层级皆基于上一层级提取路面病害特征；
[0009]将排列在前的，除第一层级以外的层级所提取到的路面病害特征作为低层特征；
[0010]与排列在前的层级相对应，将排列在后的层级所提取到的路面病害特征作为高层特征；
[0011]与路面病害识别模型输出的所述路面病害类型所对应的路面病害特征即为低层特征和高层特征融合后生成的特征。
[0012]进一步地，除第一层级以外的每一层级提取出的特征皆处理为具有路面病害对象轮廓的路面病害特征图，而最后一层级的路面病害特征图经过候选窗口框选出路面病害对像主体所在具体位置，并生成具有路面病害对象主体的候选框路面病害特征图；候选框路
面病害特征图的路面病害对象主体分别与除第一层级以外的每一层级处理出的路面病害特征图中的路面病害对象轮廓相融合，以生成相应的融合特征图；除第一层级以外的每一层级处理出的融合特征图组合成相应的一组特征图组合特征，每一组特征图组合特征与所述路面病害识别模型要输出的路面病害类型对应，所述一组特征图组合特征的特征图数与除第一层级以外的层级数相等。
[0013]进一步地，所述模型的构建方式如下：
[0014]将另一源域中预训练网络模型的主干特征提取网络，作为路面病害识别目标域的Faster RCNN网络模型的多层级的特征提取网络；
[0015]其中，预训练网络模型选择为VGG16、VGG19、VGG96、ResNet32、ResNet48、ResNet101、ResNet152卷积网络之中的一种；
[0016]其中，主干特征提取网络最后一层卷积层连接一个RPN模型，用于RPN模型生成候选窗口以框选出路面病害对象主体所在具体位置；
[0017]其中，主干特征提取网络除第一层以外的每层卷积层都连接一个NAM模块，用于重生成路面病害对象轮廓所需的通道权重和像素值权重；
[0018]构建全连接层，一组特征图组合特征转换为特征向量后，经所述全连接层与所述路面病害类型对应。
[0019]进一步地，所述路面病害识别模型的训练方式如下：
[0020]构建一个包括路面病害图片与对应的路面病害标签的数据集；
[0021]设置源域中预训练网络模型的主干特征提取网络的超参数；
[0022]构建一个多任务损失函数，包括全连接层阶段的类别损失loss
cl
，以及RPN阶段的边框位置损失loss
lc
和目标与背景损失loss
ob
；
[0023]其公式如(1.5)、(1.6)所示：
[0024]Loss
all
＝loss
cl
+loss
lc
+loss
ob
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1.5)
[0025]其中Loss
all
为真实数据与预测数据之间的偏差；
[0026][0027]其式(1.6)中k表示预测得分大小，而T0表示置信分数，loss
ob
(k)表示当前是否为检测目标；结果得到函数值为1则表示边框中包含目标；函数值为0时，表示边框中不包括目标；
[0028]根据所构建的数据集及源域中预训练网络模型和多任务损失函数，基于迁移学习算法，训练所述路面病害识别模型，在训练过程中，保留下全连接层阶段确定出的具体的路面病害类别和保留下RPN阶段最佳的边框区域。
[0029]进一步地，所述主干特征提取网络中的第一层卷积核，提取原路面病害图片上的特征之前，采用NMS算法删减路面病害对象候选框，具体步骤如下：
[0030]将路面病害对象上的多个候选框按各自置信值大小排序；并计算置信值最高的候选框与其余待处理候选框之间的重叠率，并设置一个重叠率阈值T；重叠率不在所设置阈值范围内的待处理候选框，采用高斯加权算法重生成待处理候选框置信值；并按重生成的置信值排列候选框，并设置重生成置信值阈值，以剔除得分低于置信值阈值的待处理候选框；
公式如下：
[0031][0032]s
i
为待处理候选框的置信值，M为当前置信值最高候选框，bi是待处理候选框；iou是置信值最高候选框与待处理候选框之间的重叠率，bi和M的iou越大，表示bi的重生成的置信值越低。
[0033]进一步地，将重叠率阈值T作为路面病害识别模型的参数，在多次训练中，计算预测值与真实值之间的偏差，设定偏差容许值，如果偏差比偏差容许值大，则使T加大；如果偏差比偏差容许值小，则T减少，逐步调整其大小，以使多任务损失函数值更小。
[0034]进一步地，所述NAM模块中，对卷积输出的每个通道经通道批量归一化处理如式(1.3)，并由激活函数sigmoid重生成了每个通道的权重系数；对卷积输出的每个通道的特征图经像素值批量归一化处理如式(1.4)，并同样由激活函数sigmoid重生成特征图上每个像素值的像素权重，并按重生成的通道权重和像素权重，处理出需要与候选框路面病害特征图相融合的路面病害特征图；式(1.3)式(1.4)如下：
[0035][0036][0037]μ...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的智能化高精度路面病害识别方法，其特征在于，包括以下步骤：提供一个路面病害识别模型，所述路面病害识别模型将输入的路面病害图片与输出的路面病害类型对应；其中，所述路面病害识别模型基于图片上的路面病害对象生成相应的路面病害特征，由所述路面病害特征与输出的路面病害类型对应；路面病害特征生成时，基于路面病害图片多层级地提取路面病害特征，第一层级基于原路面病害图片提取路面病害特征，其后的每一层级皆基于上一层级提取路面病害特征；将排列在前的，除第一层级以外的层级所提取到的路面病害特征作为低层特征；与排列在前的层级相对应，将排列在后的层级所提取到的路面病害特征作为高层特征；与路面病害识别模型输出的所述路面病害类型所对应的路面病害特征即为低层特征和高层特征融合后生成的特征。2.根据权利要求1所述智能化高精度路面病害识别方法，其特征在于，除第一层级以外的每一层级提取出的特征皆处理为具有路面病害对象轮廓的路面病害特征图，而最后一层级的路面病害特征图经过候选窗口框选出路面病害对像主体所在具体位置，并生成具有路面病害对象主体的候选框路面病害特征图；候选框路面病害特征图的路面病害对象主体分别与除第一层级以外的每一层级处理出的路面病害特征图中的路面病害对象轮廓相融合，以生成相应的融合特征图；除第一层级以外的每一层级处理出的融合特征图组合成相应的一组特征图组合特征，每一组特征图组合特征与所述路面病害识别模型要输出的路面病害类型对应，所述一组特征图组合特征的特征图数与除第一层级以外的层级数相等。3.根据权利要求2所述智能化高精度路面病害识别方法，其特征在于，所述模型的构建方式如下：将另一源域中预训练网络模型的主干特征提取网络，作为路面病害识别目标域的Faster RCNN网络模型的多层级的特征提取网络；其中，预训练网络模型选择为VGG16、VGG19、VGG96、ResNet32、ResNet48、ResNet101、ResNet152卷积网络之中的一种；其中，主干特征提取网络最后一层卷积层连接一个RPN模型，用于RPN模型生成候选窗口以框选出路面病害对象主体所在具体位置；其中，主干特征提取网络除第一层以外的每层卷积层都连接一个NAM模块，用于重生成路面病害对象轮廓所需的通道权重和像素值权重；构建全连接层，一组特征图组合特征转换为特征向量后，经所述全连接层与所述路面病害类型对应。4.根据权利要求3所述智能化高精度路面病害识别方法，其特征在于，所述路面病害识别模型的训练方式如下：构建一个包括路面病害图片与对应的路面病害标签的数据集；设置源域中预训练网络模型的主干特征提取网络的超参数；构建一个多任务损失函数，包括全连接层阶段的类别损失loss
cl
，以及RPN阶段的边框位置损失loss
lc
和目标与背景损失loss
ob
；其公式如(1.5)、(1.6)所示：
Loss
all
＝loss
cl
+loss
lc
+loss
ob
ꢀꢀꢀ
(1.5)其中Loss
all
为真实数据与预测数据之间的偏差；其式(1.6)中k表示预测得分大小，而T0表示置信分数，loss
ob
(k)表示当前是否为检测目标；结果得到函数值为1则表示边框中包含目标；函数值为0...

【专利技术属性】
技术研发人员：宋凯，陈韶华，周从源，高俊伟，
申请(专利权)人：广西玉柴新能源汽车有限公司，
类型：发明
国别省市：