基于道路前景图像的路面病害目标检测与实例分割方法技术

本发明专利技术涉及一种基于道路前景图像的路面病害目标检测与实例分割方法。通过双目相机采集道路前景图像并获取图像景深信息；然后通过K‑means聚类算法分析最佳的锚框(Anchors)尺寸，并调整模型参数以使得Mask‑RCNN模型精准稳定的对路面病害进行目标识别；制定目标重叠过滤策略，将重复检测的目标进行过滤；最后，根据预测框的四个顶点进行坐标系转换，并结合深度图像信息获取病害的真实面积，从而自动生成路面病害明细表。本发明专利技术可以实现路面病害在原图中的定位及轮廓实例分割，通过两个分支(mask branch)并行识别，将最终得到的结果融合到一张图像中，大大提高了识别的准确率；为道路养护部门的检测作业，安全性评价及养护决策提供一定的辅助支撑。

【技术实现步骤摘要】
基于道路前景图像的路面病害目标检测与实例分割方法
本专利技术涉及道路自动检测
，特别是一种基于道路前景图像的路面病害目标检测与实例分割方法。
技术介绍
目前，路面病害数据已基本实现自动化采集，诸如美国WayLink公司研发的DHDV，武大卓越科技研发的ZOYON-RTM，以及中公高科研发的CiCS等路面检测设备，为路面病害自动识别算法的研究提供了数据基础。路面病害的检测作业，特别是高速公路，是养护部门每年不可或缺的工作。早期的病害识别手段主要是通过人为手动标定出病害范围和类型，由于采集的2D激光图像路面范围都是固定的，因此可根据病害在图像上的位置坐标换算为实际的真实面积。我国的高速公路里程已跃居世界第一，若继续采用人工肉眼识别病害信息，不仅要耗费大量的人力和精力，更的降低了工作效率。近年来，随着人工智能、深度学习的快速发展，利用深层神经网络根据目标特点，自动学习并提取出特征是主流的研究方向。对于路面病害检测的方法主要有两种：第一种为单阶段的目标检测模型，典型代表有YOLOV3模型和SSD模型，诸如此类模型通过一系列卷积计算提取出病害特征，最终输出预测框的图像坐标。激光图像不受周边环境干扰，故单阶段检测模型在2D激光图像数据集上表现较好，但是此类模型无法得到路面病害的实际轮廓信息，同时，激光设备昂贵且易受路面水渍影响。第二种为语义分割模型，典型代表有全卷积神经网络以及自编码器结构的U-net模型。语义分割模型通过卷积、池化和上采样，最终输出只有病害轮廓信息的图像，并未输出预测框位置，无法计算实际的面积。<br>综上所述，现有的路面病害识别算法存在一定的局限性，主要问题是未能同时得到预测框的位置坐标和病害的实际轮廓信息，不能进行病害信息统计，模型泛化能力弱。同时，大多数模型使用的图像数据都是由昂贵的激光设备采集的。
技术实现思路
本专利技术的目的在于提供一种基于道路前景图像的路面病害目标检测与实例分割方法，可以实现路面病害在原图中的定位及轮廓实例分割，通过两个分支(maskbranch)并行识别，将最终得到的结果融合到一张图像中，大大提高了识别的准确率；为道路养护部门的检测作业，安全性评价及养护决策提供一定的辅助支撑。为实现上述目的，本专利技术的技术方案是：一种基于道路前景图像的路面病害目标检测与实例分割方法，包括如下步骤：步骤S1、利用双目相机采集道路前景图像，并生成道路前景景深图像；步骤S2、筛选出海量数据中路面存在病害的图像，并使用多边形标注工具构建测试数据集；步骤S3、使用K-means聚类算法获取最佳的锚框尺寸，调整Mask-RCNN模型包括学习率、迭代次数的参数，并开始对Mask-RCNN模型进行训练；步骤S4、将步骤S3中训练得到的Mask-RCNN模型的权重作为路面病害特征检测器，对测试数据集进行识别，同时，结合深度图像将图像坐标转换为相机坐标，并计算路面病害在路面中的真实面积；步骤S5、制定目标重叠过滤策略，剔除重复检测的目标信息；步骤S6、以表格的形式自动将模型识别生成的路面病害明细信息保存至本地磁盘。在本专利技术一实施例中，所述步骤S2具体实现如下：步骤S21、图像筛选：筛选出存在路面病害的路面前景图像，所述路面病害，包括：纵缝、横缝、龟裂、坑槽、修补条及修补块；步骤S22、数据标定：根据路面病害的形态特征，选择labelme多边形标注工具进行标定，分别给不同类型的路面病害对应的标签，若一张图像中存在两个及以上的同一种类型病害时需要在标签后面加上序号。在本专利技术一实施例中，所述步骤S3具体实现如下：步骤S31、获取最佳的锚框尺寸：从步骤S22数据标定所生成的json文件中提取出四个顶点坐标，采用K-means聚类算法获取最佳的锚框尺寸，以欧式距离衡量距离大小，使用误差的平方和作为聚类的目标函数，计算公式如式(1)、(2)所示：式(1)中，D12表示欧式距离，xi表示横坐标，yi表示纵坐标；式(2)中SSE表示误差平方和，ci表示第i个簇的质心，uj表示当前预测得到簇的质心；步骤S32、模型参数调整：在Mask-RCNN模型训练初期根据验证数据集的损失值下降速度和变化趋势，调整学习率和迭代次数，具体调整方式为：若模型收敛速度较慢则终止训练，调高学习率后重新训练；反之，若模型损失值下降速度很快并且起伏变化大，调低学习率以避免模型出现无法收敛状况；当模型在验证数据集上的损失值趋于稳定时，停止训练模型，若已达到迭代轮数模型还未收敛，则设置在上一次训练结束保存的权重基础上增加迭代轮数继续训练；步骤S33、训练Mask-RCNN模型：Mask-RCNN模型在训练过程中先通过前向传播得到预测值，然后与真实标签对比计算损失值，Mask-RCNN模型引入了maskbranch网络，因此整体的损失函数需要将其作为一个损失项纳入其中，损失函数的计算表达式如(3)所示：L＝Lcls+Lbox+Lmask(3)式(3)中，Lcls表示模型目标分类损失值；Lbox表示预测框回归损失；Lmask表示预测的目标掩膜损失。在本专利技术一实施例中，所述步骤S4具体实现如下：步骤S41、病害识别：调用Mask-RCNN模型的权重进行路面病害自动识别，以预测框和真实标签区域之间的交集大小，即联合交叉域为置信度，将IoU大于0.7的判定为识别正确，反之为识别错误，并计算每一类别的平均精度AP值，AP值大小为P-R曲线与坐标轴所围成的面积，最终，求所有路面病害类别AP值的平均数；准确率P、召回率R的计算公式如(4)、(5)所示：式(4)、(5)中，NTP表示被正确识别的样本数；NFP表示被错识别为目标的样本数；NFN代表属于目标范畴，但未被识别出来的样本数；步骤S42、图像坐标与相机坐标转换：根据三角形相似原理，将检测得到的目标区域坐标转换为相机坐标系中的坐标，数学表达式如式(6)和(7)所示：式(6)、(7)中，x、y表示图像坐标系中的横、纵坐标；Xc、Yc则表示相机坐标系中的横、纵坐标；Zc为图像景深值；f表示相机焦距；步骤S43、计算病害在路面上的真实面积：根据步骤S42中转化得到的相机坐标，结合相机焦距和景深值大小计算实际面积，长度、宽度和面积的计算公式如(8)、(9)、(10)所示：S＝width×length(10)其中，width、length分别表示宽度、长度；xmax、xmin分别代表预测框的最大、最小横坐标；ymax、ymin分别代表最大、最小纵坐标；S表示真实面积。在本专利技术一实施例中，所述步骤S5具体实现方式为：当一张图像中出现两个同一类型的病害时，根据预测得到的矩形区域中心点位置和病害类别名称判断目标是否出现重叠，具体计算公式如(11)、(12)所示，当判别式(13)成立时，即两个目标的重合度大于50％，过滤掉面积较小的目标，并将这些图像另本文档来自技高网...

【技术保护点】
1.一种基于道路前景图像的路面病害目标检测与实例分割方法，其特征在于，包括如下步骤：/n步骤S1、利用双目相机采集道路前景图像，并生成道路前景景深图像；/n步骤S2、筛选出海量数据中路面存在病害的图像，并使用多边形标注工具构建测试数据集；/n步骤S3、使用K-means聚类算法获取最佳的锚框尺寸，调整Mask-RCNN模型包括学习率、迭代次数的参数，并开始对Mask-RCNN模型进行训练；/n步骤S4、将步骤S3中训练得到的Mask-RCNN模型的权重作为路面病害特征检测器，对测试数据集进行识别，同时，结合深度图像将图像坐标转换为相机坐标，并计算路面病害在路面中的真实面积；/n步骤S5、制定目标重叠过滤策略，剔除重复检测的目标信息；/n步骤S6、以表格的形式自动将模型识别生成的路面病害明细信息保存至本地磁盘。/n

【技术特征摘要】
1.一种基于道路前景图像的路面病害目标检测与实例分割方法，其特征在于，包括如下步骤：
步骤S1、利用双目相机采集道路前景图像，并生成道路前景景深图像；
步骤S2、筛选出海量数据中路面存在病害的图像，并使用多边形标注工具构建测试数据集；
步骤S3、使用K-means聚类算法获取最佳的锚框尺寸，调整Mask-RCNN模型包括学习率、迭代次数的参数，并开始对Mask-RCNN模型进行训练；
步骤S4、将步骤S3中训练得到的Mask-RCNN模型的权重作为路面病害特征检测器，对测试数据集进行识别，同时，结合深度图像将图像坐标转换为相机坐标，并计算路面病害在路面中的真实面积；
步骤S5、制定目标重叠过滤策略，剔除重复检测的目标信息；
步骤S6、以表格的形式自动将模型识别生成的路面病害明细信息保存至本地磁盘。


2.根据权利要求1所述的基于道路前景图像的路面病害目标检测与实例分割方法，其特征在于，所述步骤S2具体实现如下：
步骤S21、图像筛选：筛选出存在路面病害的路面前景图像，所述路面病害，包括：纵缝、横缝、龟裂、坑槽、修补条及修补块；
步骤S22、数据标定：根据路面病害的形态特征，选择labelme多边形标注工具进行标定，分别给不同类型的路面病害对应的标签，若一张图像中存在两个及以上的同一种类型病害时需要在标签后面加上序号。


3.根据权利要求2所述的基于道路前景图像的路面病害目标检测与实例分割方法，其特征在于，所述步骤S3具体实现如下：
步骤S31、获取最佳的锚框尺寸：从步骤S22数据标定所生成的json文件中提取出四个顶点坐标，采用K-means聚类算法获取最佳的锚框尺寸，以欧式距离衡量距离大小，使用误差的平方和作为聚类的目标函数，计算公式如式(1)、(2)所示：






式(1)中，D12表示欧式距离，xi表示横坐标，yi表示纵坐标；式(2)中SSE表示误差平方和，ci表示第i个簇的质心，uj表示当前预测得到簇的质心；
步骤S32、模型参数调整：在Mask-RCNN模型训练初期根据验证数据集的损失值下降速度和变化趋势，调整学习率和迭代次数，具体调整方式为：若模型收敛速度较慢则终止训练，调高学习率后重新训练；反之，若模型损失值下降速度很快并且起伏变化大，调低学习率以避免模型出现无法收敛状况；当模型在验证数据集上的损失值趋于稳定时，停止训练模型，若已达到迭代轮数模型还未收敛，则设置在上一次训练结束保存的权重基础上增加迭代轮数继续训练；
步骤S33、训练Mask-RCNN模型：Mask-RCNN模型在训练过程中先通过前向传播得到预测值，然后与真实标签对比计算损失值，Mask-RCNN模型引入了maskbranch...

【专利技术属性】
技术研发人员：罗文婷，陈泽斌，胡辉，李林，
申请(专利权)人：福建农林大学，
类型：发明
国别省市：福建;35