一种道路病害识别检测方法及系统技术方案

本申请公开了一种道路病害识别检测方法及系统，方法包括：采集数据集，并将数据集划分为训练集、验证集和测试集；对数据集进行预处理，得到处理后数据；根据处理后数据，利用Transformer算法提取图像不同层级的目标特征，得到最终目标向量；基于最终目标向量，得到目标的类别概率，并回归出目标边界框，实现目标精准检测。本申请利用视觉Transformer结构自动提取图像特征，避免了基于CNN方法无法有效利用上下文信息和全局性不够等缺点，通过对图像数据进行道路病害识别，可以代替人工检查道路路面病害情况，有效提高检测效率，降低检测成本，与基于传统CNN的目标检测算法相比，本申请有更高的召回率与精确度。申请有更高的召回率与精确度。申请有更高的召回率与精确度。

【技术实现步骤摘要】
一种道路病害识别检测方法及系统


[0001]本申请涉及道路损伤检测
，具体涉及一种道路病害识别检测方法及系统。

技术介绍

[0002]随着道路交通的快速发展，交通事故，车辆超载或恶意破坏公路行为，以及自然灾害造成路产损坏等情形，对公路的系统性和完整性都构成了不同程度的侵害，上述情况需在日常养护巡检中及时发现并按照国家标准给出技术状况评估并进一步根据评估结果进行道路养护。目前道路巡查方式大多处于人工巡查阶段，效率低成本高，且部分路段采用基于传统的图像处理算法鲁棒性较低，容易受到外界因素如光照、噪声、清晰度等的干扰，产生较大的漏检和误检，且通常很耗费计算资源，而现有基于深度学习的智能化巡检方法对道路病害识别的准确率、召回率不高，很难发现隐藏在相似背景下的道路病害，且容易受训练样本规模限制，造成模型的过度拟合，因此，如何高效准确的利用图像检测路面的损伤技术状况就成为了一个急需解决的问题。
[0003]在计算机视觉领域，CNN自2012年以来已经成为视觉任务的主导模型，随着技术的发展，越来越高效的算法结构出现在视觉处理领域，视觉Transformer结构作为一种基于注意力的编码器架构，在计算机视觉领域做出了开创性的工作，与CNN相比，视觉Transformer结构有着更加出色的建模能力，Transformer结构中的自注意力机制将全局的上下文信息充分利用了起来，利用全局特征进行全局建模，可以有效提取出相似背景下路面病害的目标特征，由此，Transformer结构为改进道路病害识别方法提供了新的思路。本申请所述基于视觉Transformer结构的道路病害识别方法，从训练集中提取特征，弥补了人工提取特征的不足，减少了复杂的图像预处理过程，克服了基于CNN方法的区域性和无法有效利用全局上下文信息等缺点，利用多维度数据增强能获得大量、具有相关性的图像，减少了神经网络过拟合的可能，而且特征表达效果更好。

技术实现思路

[0004]本申请通过对含有路面信息的光学影像数据分析处理，可以给出精准的、符合国家公路技术评定标准的道路路面损伤和病害识别结果。
[0005]为实现上述目的，本申请提供了一种道路病害识别检测方法，步骤包括：
[0006]采集数据集，并将所述数据集划分为训练集、验证集和测试集；
[0007]对所述数据集进行预处理，得到所述处理后数据；
[0008]根据所述处理后数据，利用Transformer算法提取图像不同层级的目标特征，得到最终目标向量；
[0009]基于所述最终目标向量，得到目标的类别概率，并回归出目标边界框，实现目标精准检测。
[0010]优选的，采集数据集的方法包括：根据《公路技术状况评定标准》制作病害标注数
据，采用含有多尺度、不同背景环境、不同光照状态下路面病害信息的光学影像数据组建成所述数据集。
[0011]优选的，所述预处理的方法包括：
[0012]对所述训练集和所述测试集进行图像尺寸调整，得到多张尺寸调整后的图像样本，并通过数据增强方法扩充训练集数据量；得到数据样本；
[0013]对所述数据样本进行切块处理，得到若干小型三维图像立方体；
[0014]对每个所述小型三维图像立方体做扁平化的线性映射，得到若干与之对应的一维向量，其代表了所述图像样本的原始特征。
[0015]优选的，所述数据增强的方法包括：
[0016]从所述数据集中每次随机读取四张图片；
[0017]分别对所述四张图片进行翻转、缩放和色域变化，得到处理后图片；
[0018]将所述处理后图片放置在指定尺寸大图的左上，右上，左下，右下位置；
[0019]利用矩阵的方式将所述处理后图片固定的区域截取下来，然后将它们拼接成一张新的图片，相应的，要对超过边界的检测框坐标进行边缘处理，以方便生成新图片对应的XML文件。
[0020]优选的，进行所述切块处理的方法包括：
[0021]设定步长为S，以S为步长按顺序分别将每张尺寸为C
×
C
×
3的图像样本切割成N个的小立方体。
[0022]优选的，得到所述处理后数据的方法包括：将大小为的小立方体通过线性映射展平得到长度为的一维向量，由N个所述一维向量构成所述处理后数据。
[0023]优选的，提取所述目标特征的方法包括：
[0024]构造一个与所述原始特征维度相同的向量作为位置编码，然后与代表所述原始特征的所述一维向量相加得到Transformer模块的输入；
[0025]将添加位置编码后的所述一维向量输入基于视觉Transformer模块的编码层，提取图像不同层级的所述目标特征。
[0026]本申请还提供了一种道路病害识别检测系统，其特征在于，包括：采集模块、预处理模块、提取模块和计算模块；
[0027]所述采集模块用于采集数据集，并将所述数据集划分为训练集、验证集和测试集；
[0028]所述预处理模块用于对所述数据集进行预处理，得到所述处理后数据；
[0029]所述提取模块用于根据所述处理后数据，提取图像不同层级的目标特征，得到最终目标向量；
[0030]所述计算模块用于基于所述最终目标向量，得到目标的类别概率，并回归出目标边界框。
[0031]优选的，所述采集模块包括：采集单元和划分单元；
[0032]所述采集单元用于采集所述数据集；
[0033]所述划分单元用于将所述数据集划分为所述训练集、所述验证集和所述测试集。
[0034]与现有技术相比，本申请的有益效果如下：
[0035]本申请可以快速、准确的推理出道路病害的位置、类型等信息，检测结果符合国家规定《公路技术状况评定标准》。本申请利用视觉Transformer结构自动提取图像特征，避免了基于CNN方法无法有效利用上下文信息和全局性不够等缺点，通过对图像数据进行道路病害识别，可以代替人工检查道路路面病害情况，有效提高检测效率，降低检测成本，与基于传统CNN的目标检测算法相比，本申请有更高的召回率与精确度，对背景相似度高的目标检测效果也更好。
附图说明
[0036]为了更清楚地说明本申请的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0037]图1为本申请实施例一的方法流程示意图；
[0038]图2为本申请实施例一的数据样本增强与切块过程示意图；
[0039]图3为本申请实施例一的标准Transformer结构示意图；
[0040]图4为本申请实施例一的MLP模块结构示意图；
[0041]图5为本申请实施例一的回归器模块示意图；
[0042]图6为本申请实施例二的系统结构示意图；
[0043]图7为本申请实施例三的LWT模块示意图。
...

【技术保护点】

【技术特征摘要】
1.一种道路病害识别检测方法，其特征在于，步骤包括：采集数据集，并将所述数据集划分为训练集、验证集和测试集；对所述数据集进行预处理，得到所述处理后数据；根据所述处理后数据，利用Transformer算法提取图像不同层级的目标特征，得到最终目标向量；基于所述最终目标向量，得到目标的类别概率，并回归出目标边界框，实现目标精准检测。2.根据权利要求1所述的道路病害识别检测方法，其特征在于，采集数据集的方法包括：根据《公路技术状况评定标准》制作病害标注数据，采用含有多尺度、不同背景环境、不同光照状态下路面病害信息的光学影像数据组建成所述数据集。3.根据权利要求1所述的道路病害识别检测方法，其特征在于，所述预处理的方法包括：对所述训练集和所述测试集进行图像尺寸调整，得到多张尺寸调整后的图像样本，并通过数据增强方法扩充训练集数据量；得到数据样本；对所述数据样本进行切块处理，得到若干小型三维图像立方体；对每个所述小型三维图像立方体做扁平化的线性映射，得到若干与之对应的一维向量，其代表了所述图像样本的原始特征。4.根据权利要求3所述的道路病害识别检测方法，其特征在于，所述数据增强的方法包括：从所述数据集中每次随机读取四张图片；分别对所述四张图片进行翻转、缩放和色域变化，得到处理后图片；将所述处理后图片放置在指定尺寸大图的左上，右上，左下，右下位置；利用矩阵的方式将所述处理后图片固定的区域截取下来，然后将它们拼接成一张新的图片，相应的，要对超过边界的检测框坐标进行边缘处理，以方便生成新图片对应的XML文件。5.根据权利要求3...

【专利技术属性】
技术研发人员：王鑫，毛昭勇，张驰，沈钧戈，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：