一种基于深度学习的道路裂缝检测方法技术

本发明专利技术提供一种基于深度学习的道路裂缝检测方法，属于整地用路面测量及测量信号传输技术领域，包括以下步骤：步骤1，建立路面裂缝数据集，并将裂缝定义为对应类型；步骤2，结合路面裂缝数据集中裂缝几何特征设计裂缝的预设锚框尺寸；步骤3，构建融合注意力和任务解耦的路面裂缝深度学习模型，识别裂缝类别，通过锚框尺寸标识裂缝。发明专利技术公开了在特征提取过程中，利用融合注意力机制，在通道和空间维度进行非均匀加权，突出有用信息；同时，基于分治策略将分类和回归任务进行解耦，有效改善裂缝漏检和定位不准的问题，提升了路面裂缝检测精度的同时保证了检测的实时性。的同时保证了检测的实时性。的同时保证了检测的实时性。

【技术实现步骤摘要】
一种基于深度学习的道路裂缝检测方法


[0001]本专利技术涉及计算机视觉检测
，特别涉及一种基于深度学习的道路裂缝检测方法。

技术介绍

[0002]近年来，我国的公路交通发展迅速，为国民出行带来了极大的便利。与此同时，发达的公路交通体系在其稳定运行和行车舒适性等方面提出了更高的要求。随着我国经济的快速发展，各种重载车辆活动频繁，在长期的行车载荷压作用下极易出现不同类型的道路病害，最常见的就是各种道路裂缝。及时排查并修复路面裂缝及受损区域，能够有效消除道路安全隐患，保证公路交通的稳定运行。由于路面裂缝位置不定、大小不一致以及路面背景复杂等因素，在日常检测中即使耗费大量人力物力，仍极易出现误检和漏检的状况。
[0003]为提高路面巡检效率和降低人为主观因素干扰，目前路面检测中大多采用基于机器学习的检测方法，这些方法依赖于手工设计的特征提取器，方法设计较为复杂。而基于图像处理的裂缝检测方法虽然操作简单，但其检测效果受背景噪声干扰严重。因此，这些方法的实际检测效果并不理想，无法满足路面巡检的要求。

技术实现思路

[0004]专利技术针对路面裂缝漏检和定位不准的问题，提出了一种基于深度学习的道路裂缝检测方法CrackNet，能够准确检测包括横向裂缝、纵向裂缝、龟裂及坑槽在内的四种路面裂缝。
[0005]本专利技术提供一种基于深度学习的道路裂缝检测方法，所述道路裂缝检测方法包括以下步骤：步骤1，建立路面裂缝数据集，并将裂缝定义为对应类型；步骤2，结合路面裂缝数据集中裂缝几何特征设计裂缝的预设锚框尺寸；步骤3，构建融合注意力和任务解耦的路面裂缝深度学习模型，识别裂缝类别，通过锚框尺寸标识裂缝。
[0006]更进一步地，在步骤1中，所述路面裂缝数据集对裂缝分为纵向裂缝、横向裂缝、龟裂和坑槽四种类型。
[0007]更进一步地，在步骤2中，使用K
‑
means聚类算法对路面裂缝数据集中包围框尺寸进行聚类，在8倍、16倍和32倍采样尺度下分别聚类大目标、中等目标和小目标尺寸，并根据聚类结果在每个下采样尺度预设3个锚框。
[0008]更进一步地，在步骤1中，所述路面裂缝数据集包括多张沥青路面裂缝图像，图像分辨率为2048
×
1536。
[0009]更进一步地，在步骤3中，所述路面裂缝深度学习模型包括特征提取网络、特征融合网络和预测网络，还包括以下步骤：步骤31，在特征提取网络中分别生成80
×
80
×
256的特征图和40
×
40
×
512的特征
图，并通过SPFF模块生成20
×
20
×
1024特征图；步骤32，所述20
×
20
×
1024特征图通过卷积生成20
×
20
×
512的Y3特征图，所述Y3特征图通过上采样与所述40
×
40
×
512的特征图拼接并卷积生成40
×
40
×
256的Y2特征图，所述Y2特征图通过上采样与所述80
×
80
×
256的特征图拼接并卷积生成80
×
80
×
256的Y1特征图；步骤33，分别将Y1特征图、Y2特征图和Y3特征图输入融合注意力模块FAM进行加权，生成加权Y1特征图、加权Y2特征图和加权Y3特征图；步骤34，加权Y1特征图通过卷积将特征图调整至80
×
80
×
128，加权Y1特征图通过卷积与加权Y2特征图进行拼接再进行卷积将特征图调整至40
×
40
×
256，加权Y1特征图通过卷积与加权Y2特征图拼接后与加权Y3特征图进行拼接再进行卷积将特征图调整至20
×
20
×
512；步骤35，将生成的80
×
80
×
128特征图、40
×
40
×
256特征图和20
×
20
×
512特征图分别输入各自对应的TSDHead模块，TSDHead模块通过预设的9种锚框尺寸，得到裂缝类别、置信度和预设尺寸的回归框坐标；步骤36，三个TSDHead模块的输出端均连接NMS模块，经NMS模块去除裂缝冗余预测框，得到最终的检测结果。
[0010]更进一步地，在步骤33中，所述融合注意力模块对特征图进行多谱通道注意力加权，将输入特征图沿着通道维度切分为n个特征图块，对每个特征图块利用二维离散余弦变换2D
‑
DCT提取多谱频率信息后得到特征向量，具体过程如下：如下：其中，为特征图的高，是从0到里面的具体一个数组，为特征图的宽，是从0到里面的具体一个数组，分别表示特征图块的二维索引，表示对每个特征图块在通道纬度都取，长度为；然后将特征向量沿通道维度拼接，得到多谱频率信息；再经全连接层和sigmoid激活函数得到通道权重系数矩阵，最后与特征图X相乘，得到经多谱通道注意力加权后的特征图；对特征图进行空间注意力加权，沿通道维度分别进行最大池化和平均池化，之后将最大池化结果与平均池化结果沿通道拼接，使用全连接和Sigmoid激活函数生成空间权重矩阵；然后，将空间权重矩阵与特征图相乘，得到经融合注意力模块FAM处理的输出特征图。
[0011]更进一步地，在步骤35中，所述TSDHead模块包括并联的分类分支和回归分支；分类分支中特征图依次经过4个深度可分离卷积层和1个类别预测层处理；深度可
分离卷积层包括一个深度卷积层和一个点卷积层，类别预测层中卷积核大小为3
×
3，通道数为5
×
3；回归分支中特征图依次经过4个深度可分离卷积层和1个类别预测层处理；类别预测层使用卷积核大小为3
×
3，通道数4
×
3。
[0012]更进一步地，在步骤31中，所述SPFF模块包括卷积层和三个池化层；特征图通过卷积参数为k1，s1，p0，c512的卷积层进行处理，输出的特征图再做三次滑动窗口分别为5、9和13的最大池化操作，将三次池化结果与卷积后特征图进行通道拼接操作，融合后的特征图再经过卷积参数为k1，s1，p0，c1024的卷积层进行处理，处理后生成尺寸为20
×
20
×
1024的特征图。
[0013]本专利技术达到的有益效果是：专利技术公开了一种基于融合注意力和任务空间解耦的路面裂缝检测方法，在特征提取过程中，利用融合注意力机制，在通道和空间维度进行非均匀加权，突出有用信息。同时，基于分治策略将分类和回归任务进行解耦，有效改善裂缝漏检和定位不准的问题，提升了路面裂缝检测精度的同时保证了检测的实时性。
[0014]本专利技术提出的方法CrackNet对路面裂缝检测精度高，能够准确预测路面裂缝的类别和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的道路裂缝检测方法，其特征在于，所述道路裂缝检测方法包括以下步骤：步骤1，建立路面裂缝数据集，并将裂缝定义为对应类型；步骤2，结合路面裂缝数据集中裂缝几何特征设计裂缝的预设锚框尺寸；步骤3，构建融合注意力和任务解耦的路面裂缝深度学习模型，识别裂缝类别，通过锚框尺寸标识裂缝。2.根据权利要求1所述基于深度学习的道路裂缝检测方法，其特征在于，在步骤1中，所述路面裂缝数据集对裂缝分为纵向裂缝、横向裂缝、龟裂和坑槽四种类型。3.根据权利要求1所述基于深度学习的道路裂缝检测方法，其特征在于，在步骤2中，使用K
‑
means聚类算法对路面裂缝数据集中包围框尺寸进行聚类，在8倍、16倍和32倍采样尺度下分别聚类大目标、中等目标和小目标尺寸，并根据聚类结果在每个下采样尺度预设3个锚框。4.根据权利要求1所述基于深度学习的道路裂缝检测方法，其特征在于，在步骤1中，所述路面裂缝数据集包括多张沥青路面裂缝图像，图像分辨率为2048
×
1536。5.根据权利要求4所述基于深度学习的道路裂缝检测方法，其特征在于，在步骤3中，所述路面裂缝深度学习模型包括特征提取网络、特征融合网络和预测网络，还包括以下步骤：步骤31，在特征提取网络中分别生成80
×
80
×
256的特征图和40
×
40
×
512的特征图，并通过SPFF模块生成20
×
20
×
1024特征图；步骤32，所述20
×
20
×
1024特征图通过卷积生成20
×
20
×
512的Y3特征图，所述Y3特征图通过上采样与所述40
×
40
×
512的特征图拼接并卷积生成40
×
40
×
256的Y2特征图，所述Y2特征图通过上采样与所述80
×
80
×
256的特征图拼接并卷积生成80
×
80
×
256的Y1特征图；步骤33，分别将Y1特征图、Y2特征图和Y3特征图输入融合注意力模块FAM进行加权，生成加权Y1特征图、加权Y2特征图和加权Y3特征图；步骤34，加权Y1特征图通过卷积将特征图调整至80
×
80
×
128，加权Y1特征图通过卷积与加权Y2特征图进行拼接再进行卷积将特征图调整至40
×
40
×
256，加权Y1特征图通过卷积与加权Y2特征图拼接后与加权Y3特征图进行拼接...

【专利技术属性】
技术研发人员：张晓鹏，赵锐，白静波，尚文，夏彦，马飞，
申请(专利权)人：国网山西省电力公司大同供电公司，
类型：发明
国别省市：