【技术实现步骤摘要】
本专利技术涉及一种基于实例分割的路面病害智能检测方法及系统，属于人工智能在道路病害检测的应用。
技术介绍
1、定期检测沥青道路的质量、及时发现路面病害对于维护道路交通安全尤为重要。该工作最早以人工巡检为主，效率低下且成本较高，同时存在一定的主观因素干扰。
2、随着图像处理技术的进步，很多基于传统数字图像处理技术的算法可以有效识别部分路面裂缝等病害，但在实际场景中，路面病害种类、形态各异，传统算法在实际应用中的鲁棒性与检测性能总是不尽人意。
3、随着深度学习技术的崛起促使了计算机视觉的迅猛发展，各种优秀的基于深度学习的视觉检测算法相继涌现，近年来将这些技术用于交通场景的例子也是数不胜数。在深度学习的计算机视觉算法通常使用骨干网络如resnet提取特征，再进行特征融合并通过不同的检测头输出预期的检测结果，如申请号为cn202210481982.5的中国专利公开的基于人工智能的复杂工况下路面病害高精度提取识别方法。不同的算法在不同的应用场景中表现不同，在沥青路面病害检测任务中，通常要求对路面病害进行高精度的识别和分割，然而沥青路面病害通常具有面积小、形状细长等特点，大多数算法在识别此类目标时精度较低，主要原因之一是以卷积神经网络为基础的特征提取层过于关注图像的局部特征，对一些细长或空间上不连续的图像特征信息提取能力欠缺；此外检测算法在融合主干网络输出的特征时，在高层特征图向浅层传播时高层语义信息的损失会影响最后模型对中小尺寸目标的检测效果。
4、在现有的方法中，还有大部分算法以卷积神经网络为基础提取
技术实现思路
1、本专利技术解决的技术问题是：针对现有基于深度学习技术在识别路面病害特征上存在的局限性，提供一种基于实例分割的路面病害智能检测方法及系统，来解决跨图病害识别的难点，提升路面病害检测精度。
2、本专利技术采用如下技术方案实现：
3、本专利技术首先公开了一种基于实例分割的路面病害智能检测方法，具体包括如下步骤：
4、s100、利用线阵相机采集包含路面病害的图像数据并对图像数据中的路面病害进行人工标注真值，通过自适应直方图均衡化对所采集的图像数据进行预处理；
5、s200、建立多层级特征提取网络提取图像数据中的全局特征，输出多尺度特征图；
6、s300、采用空间-通道注意力机制对多尺度特征图进行处理，增强其特征信息，使多尺度特征图中对应路面病害特征的目标区域充分激活；
7、s400、采用转置卷积上采样的路径聚合金字塔网络，对多尺度特征图进行特征融合，将金字塔网络的输出特征通过自适应增强机制进一步增强；
8、s500、将增强后的多尺度特征图输入实例分割模型进行模型训练，通过实例分割模型的图像分类、目标检测与实例分割分别预测路面病害的种类、空间位置与分割掩码，并与s100中人工标注的真值分别计算分类损失、框回归损失和掩码损失，对实例分割模型参数进行优化；
9、s600、使用训练好的实例分割模型对采集的多张路面图像进行预测，得到每张图像的预测结果后拼接得到整条路面的分割掩码，使用自适应形态学操作对每个病害种类的掩码矩阵进行处理，最终得到整条路面的病害检测结果。
10、在本专利技术的基于实例分割的路面病害智能检测方法中，进一步的，所述步骤s100包括如下子步骤：
11、s101、使用labelme标注工具对包含路面病害的图像数据进行标注，构建全监督数据集；
12、s102、获取全监督数据集中图像亮度，若图像亮度低于设定的亮度阈值，通过以下公式调整对应图像的像素值，
13、
14、式中pi,j表示原图像中的像素值，为调整后的像素值，β为提升图像整体基础亮度的偏移因子，α为对原图像整体像素值进行缩放的尺度缩放因子，表示为：
15、
16、bright表示图像亮度，为0到255之间的值，b’为设定的亮度阈值；
17、s103、将全监督数据集中的图像从rgb格式转化为hsv格式，其中对v通道进行直方图均衡化提升图像整体对比度，在处理直方图时通过对比度限制和双线性插值法保证图像的连续性，最后将hsv格式的图像转换回rgb格式的图像。
18、在本专利技术的基于实例分割的路面病害智能检测方法中，进一步的，在步骤s200中，所述多层级特征提取网络以swin transformer模块为基础构建，其基本单元包括两个相连的swintransformer块，通过叠加的方式将所述基本单元构建若干个子模块，再将所有子模块拼接得到所述多层级特征提取网络。
19、在本专利技术的基于实例分割的路面病害智能检测方法中，进一步的，所述步骤s300中，所述空间-通道注意力机制包括第一分支和第二分支，其中，所述第一分支通过下式对多尺度特征图进行空间注意力增强，得到第一特征图fks：
20、
21、其中表示多层级特征提取网络输出的第k层初始特征图，σ为sigmoid函数，cat表示对第一个维度进行拼接，mlp为由线性层组成的多层感知机，和分别为对fk进行空间最大池化和空间平均池化的结果；
22、所述第二分支通过下式对多尺度特征图进行通道注意力增强，得到第二特征图fkc：
23、
24、其中conv5表示5×5卷积操作，和分别为对fk进行通道维度最大池化和通道维度平均池化的结果；
25、通过下式将第一特征图fks和第二特征图fkc融合得到本步骤输出多尺度特征图fkout：
26、fkout＝relu(gn(conv3(fkc+fks)))，
27、式中relu表示非线性激活函数，gn表示组正则化，conv3表示3×3卷积操作。
28、在本专利技术的基于实例分割的路面病害智能检测方法中，进一步的，所述步骤s400包括如下子步骤：
29、s401、通过1×1卷积操作将s300输出多尺度特征图的通道调整统一为256，得到一级特征图fi；
30、s402、利用采用转置卷积上采样的路径聚合金字塔网络对一级特征图fi进行特征融合，得到二级特征图fi'；
31、s403、将多尺度特征图每层二级特征图fi'与其特征融合前的一级特征图fi、相邻层的两个二级特征图fi+1'、fi-1'通过下式进行自适应加权，得到增强后特征图f″i，
32、fi″＝conv3(ωiifi+ωi1fi-1′+ωi2f′i+ωi3fi+1′)，
33、其中conv3表示3×3卷积，ωi、ωi1、ωi2、ωi3为加权参数，均为搭建路径聚合金字塔网络定义的可学习参数。
34、在本专利技术的基于实例分割的路面病害智能检测方法中，进一步本文档来自技高网...
【技术保护点】
1.基于实例分割的路面病害智能检测方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的基于实例分割的路面病害智能检测方法，其特征在于：所述步骤S100包括如下子步骤：
3.根据权利要求1所述的基于实例分割的路面病害智能检测方法，其特征在于：在步骤S200中，所述多层级特征提取网络以Swin Transformer模块为基础构建，其基本单元包括两个相连的Swin Transformer块，通过叠加的方式将所述基本单元构建若干个子模块，再将所有子模块拼接得到所述多层级特征提取网络。
4.根据权利要求1所述的基于实例分割的路面病害智能检测方法，其特征在于：所述步骤S300中，所述空间-通道注意力机制包括第一分支和第二分支，其中，所述第一分支通过下式对多尺度特征图进行空间注意力增强，得到第一特征图Fks：
5.根据权利要求1所述的基于实例分割的路面病害智能检测方法，其特征在于：所述步骤S400包括如下子步骤：
6.根据权利要求5所述的基于实例分割的路面病害智能检测方法，其特征在于：所述步骤S403中，所述金字塔网络聚合的转
7.根据权利要求5所述的基于实例分割的路面病害智能检测方法，其特征在于：所述步骤S500中，实例分割模型的分类、检测与分割检测头输出包括类别预测、目标边界框预测和目标掩码预测，分别对应路面病害的种类、空间位置与分割掩码的预测，将实例分割模型输出预测与真值的分类损失、框回归损失和掩码损失通过下式进行加权计算获得总损失：
8.根据权利要求5所述的基于实例分割的路面病害智能检测方法，其特征在于：所述步骤S600中，使用训练好的实例分割模型对路面图片进行预测，每张图片都得到C个分割掩码的二值矩阵，C为图片中路面病害种类的数量，按图片拼接顺序将C个分割掩码的二值矩阵进行拼接，得到整条路面的分割掩码，使用自适应形态学操作闭运算对每个病害类别的掩码矩阵进行处理，将属于同一病害的区域连接，形成一个连通区域，使用深度优先算法遍历整条路面的分割掩码二值矩阵，得到每个矩阵中连通域的个数，即得到整条路面中每个病害的数量、面积、位置信息，最终记录在检测结果中。
9.基于实例分割的路面病害智能检测系统，其特征在于，包括如下模块：
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有被编程或配置实现权利要求1-8中的基于实例分割的路面病害智能检测方法的计算机程序。
...【技术特征摘要】
1.基于实例分割的路面病害智能检测方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的基于实例分割的路面病害智能检测方法，其特征在于：所述步骤s100包括如下子步骤：
3.根据权利要求1所述的基于实例分割的路面病害智能检测方法，其特征在于：在步骤s200中，所述多层级特征提取网络以swin transformer模块为基础构建，其基本单元包括两个相连的swin transformer块，通过叠加的方式将所述基本单元构建若干个子模块，再将所有子模块拼接得到所述多层级特征提取网络。
4.根据权利要求1所述的基于实例分割的路面病害智能检测方法，其特征在于：所述步骤s300中，所述空间-通道注意力机制包括第一分支和第二分支，其中，所述第一分支通过下式对多尺度特征图进行空间注意力增强，得到第一特征图fks：
5.根据权利要求1所述的基于实例分割的路面病害智能检测方法，其特征在于：所述步骤s400包括如下子步骤：
6.根据权利要求5所述的基于实例分割的路面病害智能检测方法，其特征在于：所述步骤s403中，所述金字塔网络聚合的转置卷积对多尺度特征图进行二倍上采样。
7.根据权利要求5所述的基于实...
【专利技术属性】
技术研发人员：张辉，刘航，别克扎提·巴合提，曹意宏，杜瑞，吴读桑，王耀南，毛建旭，
申请(专利权)人：湖南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。