一种基于深度卷积神经网络的农村公路路面病害智能检测方法技术

本发明专利技术公开了一种基于深度卷积神经网络的农村公路路面病害智能检测方法，步骤为：制作多类型农村公路路面病害训练数据集；构建基于全卷积网络的语义分割模型；使用Adam优化器对模型训练过程进行优化；有重叠地裁剪图像并在拼接时采取忽略边缘策略，大图像裁剪成一系列与相邻图像块有特定重复区域的图像块，并把它们存在链表里，然后创建生成器，之后送入训练号的模型进行预测；多类型路面病害分类及损坏状况评定；通过开发路面技术状况评价系统。本发明专利技术能够解决因裁剪图像边缘区域的上下文信息较少，预测结果精度较低，进而导致提取病害出现明显拼接痕迹的问题，实现高分辨率图像中病害预测结果的准确性、连续性。连续性。连续性。

【技术实现步骤摘要】
一种基于深度卷积神经网络的农村公路路面病害智能检测方法


[0001]本专利技术属于目标识别与信息提取的
，尤其涉及一种基于深度卷积神经网络的农村公路路面病害智能检测方法。

技术介绍

[0002]《2020年交通运输行业发展统计公报》显示，截止到2020年末，我国公路总里程达519.81万公里，比上年增加18.56万公里，其中农村公路里程438.23万公里，占比93％，覆盖全国的农村公路网络基本形成，公路大养护时代即将来临！无论是水泥还是沥青路面，在实际运营过程中，受交通量、荷载、温度、水分、风化等综合影响会陆续出现单向裂缝、网状裂缝、破碎板、坑槽(洞)、修补等损害，统称为路面病害(Pavement diseases)，路面破损状况指数PCI即利用路面病害类型、面积、范围及密度综合计算路面使用性能的重要指标。路面病害检测及定量评价是道路智能养护决策中的重要组成部分。因此，如何科学、快速、定量地进行公路养护评价，合理制定养护方案，使路网保持较高的性能和服务水平，已成为实现农村公路可持续发展亟待解决的关键技术问题。
[0003]近年来，国内外研究者基于计算机视觉分别从图像处理技术、机器学习和深度学习三个主流方向开展了大规模研究工作。面对海量的年检任务，养护部门传统的做法是采用自动化设备完成路面二维图像的大规模采集，进而通过人工判图、勾画、计算评定PCI指数，该方法检测周期长、花费高、主观性强，难以实现实时、大范围的路面技术状况自动检测与评价。
[0004]其次，基于图像处理技术(Image Process i ng Techn i ques，I PTs)的病害提取方法主要分为基于阈值的分割、基于边缘检测的分割、基于多尺度的分割、基于纹理和分形几何特征的分割和其他分割方法五类。该算法虽然计算成本较低，但普适性不高，其检测的性能在很大程度上取决于待处理图像的质量，难以满足工程级应用。随着计算机视觉技术的快速发展，国内外研究人员通过机器学习的方法提取路面裂缝，主要包括：采用支持向量机(SVM)和决策树算法、采用Candy operator和K
‑
means聚类算法、基于随机结构森林的裂缝提取，此类方法通过手动设定颜色或纹理特征对裂缝进行模拟，依赖于领域专家提取的中级特征质量依赖较强；在这些方法中通过手工设定的特征只能满足于某些特定情况下的裂缝检测，当出现新的裂缝环境就需要重新设定，不能满足所有情况下路面病害的检测要求。近年来，深度学习技术在各种计算机视觉任务中取得了巨大成功，通过自动学习替代手工特征设定。该研究主要集中在路面裂缝像素级分割及目标检测两个方面。基于目标检测的方法通常使用边界框方法在路面图像中定位缺陷。这些方法首先使用CNN从图像中提取不同病害特征，然后生成感兴趣区域(Ro I)，最后通过边界框坐标检测对象。基于像素分割的病害提取算法多利用编码器
‑
解码器的架构来构建病害检测深度神经网络，编码器层主要实现图像的特征映射，解码器用于在分割过程中融合多尺度语义特征，进而生成每个像素的概率分布。
[0005]农村公路路面病害具有类型多、拓扑结构复杂、病害像素空间连续性差、拍摄场景多变、对比度低等现实特点。虽取得较大的进展，但仍存在如下问题：
[0006](1)传统的图像处理技术受图像拍摄环境复杂性和噪声多源性的影响较大，需要人工提取特征区分多类型病害，算法在准确性、实时性和一致性等方面未能达到满意的结果；
[0007](2)现有路面病害公开数据集存在规模小、场景少等问题，难以支撑以数据为驱动的深度学习技术在病害智能检测中的研究和应用，到目前为止，全球未见基于实测路面图像的、大规模、公开的、带类别标签的、用于道路病害图像语义分割数据集；
[0008](3)路面采集图像的尺寸较大，兼顾病害预测精度、速度和多类型检测的端到端模型研究较少。

技术实现思路

[0009]基于以上现有技术的不足，本专利技术所解决的技术问题在于提供一种基于深度卷积神经网络的农村公路路面病害智能检测方法，解决因裁剪图像边缘区域的上下文信息较少，预测结果精度较低，进而导致提取病害出现明显拼接痕迹的问题，实现高分辨率图像中病害预测结果的准确性、连续性。
[0010]为了解决上述技术问题，本专利技术通过以下技术方案来实现：
[0011]本专利技术提供一种基于深度卷积神经网络的农村公路路面病害智能检测方法，包括以下步骤：
[0012]步骤1：制作多类型农村公路路面病害训练数据集；
[0013]步骤2：构建基于全卷积网络的语义分割模型；
[0014]步骤3：使用Adam优化器对模型训练过程进行优化；
[0015]步骤4：有重叠地裁剪图像并在拼接时采取忽略边缘策略，大图像裁剪成一系列与相邻图像块有特定重复区域的图像块，并把它们存在链表里，然后创建生成器，之后送入训练号的模型进行预测；
[0016]步骤5：多类型路面病害分类及损坏状况评定；
[0017]步骤6：通过开发路面技术状况评价系统，统计各类病害回归框的几何特征信息和类型信息，进而计算100米评价单元的路面病害破损率DR，其评价模型如下式所示：
[0018][0019]式中，DR为路面破损率，为各种病害的折合面积之和与路面调查面积的百分比；A
i
为第i类路面病害损坏的面积；A为调查的路面面积；ωi为第i类路面病害损坏的权重。
[0020]优选的，所述步骤1包括：
[0021]步骤1.1：收集的多年份、多场景路面图像数据，构建路面病害图像基准库，同时增加正常路面图像作为负样本；
[0022]步骤1.2：开发针对性的病害目标图像裁剪程序，完成数据集原始图像的预处理；
[0023]步骤1.3：使用Labe lme对病害数据集进行专家级人工标注，构建场景丰富、异构性强的多类型路面病害语义分割数据集。
[0024]进一步的，所述步骤2包括：
[0025]步骤2.1：以U型网络架构为基础，提取下采样部分使用VGG16作为主干特征提取网络分别获取发f1、f2、f3、f4、f5等5个有效特征层；
[0026]步骤2.2：将f5送入上下文信息提取模块CI EM，通过提供不同感受野的空洞卷积支路来获得多尺度下的路面病害上下文信息提取，对高级语义特征图进行编码，感受野大的卷积操作为大目标提取和生成更抽象的特征；
[0027]步骤2.3：将f1、f2、f3、f4分别送入注意力机制模块SE与特征融合模块FFM的完成特征解码；
[0028]步骤2.4：最终输出一个与输入图像尺寸相同的逐像素分类的标签图，每个像素的值显示了该像素所属的语义类别。
[0029]可选的，所述步骤2.3包括：
[0030]步骤2.3.1：将编码器获取的4个特征图谱作为输入信号送入注意力机制模块，通过Loss区学习特征权重，获得每个特征图的重要程度，提升有效目标区域的通道权重，抑制非目标区域的通道特征，提升目标的分割效果，同时避免增加参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度卷积神经网络的农村公路路面病害智能检测方法，其特征在于，包括以下步骤：步骤1：制作多类型农村公路路面病害训练数据集；步骤2：构建基于全卷积网络的语义分割模型；步骤3：使用Adam优化器对模型训练过程进行优化；步骤4：有重叠地裁剪图像并在拼接时采取忽略边缘策略，大图像裁剪成一系列与相邻图像块有特定重复区域的图像块，并把它们存在链表里，然后创建生成器，之后送入训练号的模型进行预测；步骤5：多类型路面病害分类及损坏状况评定；步骤6：通过开发路面技术状况评价系统，统计各类病害回归框的几何特征信息和类型信息，进而计算100米评价单元的路面病害破损率DR，其评价模型如下式所示：式中，DR为路面破损率，为各种病害的折合面积之和与路面调查面积的百分比；A
i
为第i类路面病害损坏的面积；A为调查的路面面积；ωi为第i类路面病害损坏的权重。2.如权利要求1所述的基于深度卷积神经网络的农村公路路面病害智能检测方法，其特征在于，所述步骤1包括：步骤1.1：收集的多年份、多场景路面图像数据，构建路面病害图像基准库，同时增加正常路面图像作为负样本；步骤1.2：开发针对性的病害目标图像裁剪程序，完成数据集原始图像的预处理；步骤1.3：使用Labelme对病害数据集进行专家级人工标注，构建场景丰富、异构性强的多类型路面病害语义分割数据集。3.如权利要求1所述的基于深度卷积神经网络的农村公路路面病害智能检测方法，其特征在于，所述步骤2包括：步骤2.1：以U型网络架构为基础，提取下采样部分使用VGG16作为主干特征提取网络分别获取发f1、f2、f3、f4、f5等5个有效特征层；步骤2.2：将f5送入上下文信息提取模块CIEM，通过提供不同感受野的空洞卷积支路来获得多尺度下的路面病害上下文信息提取，对高级语义特征图进行编码，感受野大的卷积操作为大目标提取和生成更抽象的特征；步骤2.3：将f1、f2、f3、f4分别送入注意力机制模块SE与特征融合模块FFM的完成特征解码；步骤2.4：最终输出一个与输入图像尺寸相同的逐像素分类的标签图，每个像素的值显示了该像素所属的语义类别。4.如权利要求3所述的基于深度卷积神经网络的农村公路路面病害智能检测方法，其特征在于，所述步骤2.3包括：步骤2.3.1：将编码器获取的4个特征图谱作为输入信号送入注意力机制模块，通过Loss区学习特征权重，获得每个特征图的重要程度，提升有效目标区域的通道权重，抑制非目标区域的通道特征，提升目标的分割效果，同时避免增加参数和计算量；步骤2.3.2：提出特征融合模块FFM，特征融合模块首先对低级别特征和反卷积后的上
一层高级别特征进行连接，采用全局最大池化提取特征纹理，减少无用信息的影响，进而采用BN来平衡特征尺度，得到与编码器浅层特征图尺度相对应的可解释权重矩阵；然后与高阶特征图相乘计算加权特征向量，最后将输出的特征图与低阶特征图相加，能够利用高层次和低层次的混合特征图来恢复图像像素的定位。5.如权利要求4所...

【专利技术属性】
技术研发人员：宋伟东，张在岩，朱洪波，
申请(专利权)人：辽宁工程技术大学，
类型：发明
国别省市：