道路病害检测方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种道路病害检测方法及装置、电子设备和存储介质，所述方法包括：对图像采集设备采集的待检测道路图像进行病害检测，得到所述待检测道路图像中的病害检测框；根据所述图像采集设备的设备参数和所述病害检测框，确定所述病害检测框指示的道路病害在世界坐标系下的目标尺寸。

【技术实现步骤摘要】
道路病害检测方法及装置、电子设备和存储介质
本公开涉及计算机
，尤其涉及一种道路病害检测方法及装置、电子设备和存储介质。
技术介绍
道路作为国家经济建设的重要基础设施，不仅需要在建设的时候投入很多人力物力，而且需要定期的进行日常维护，对因为气候、地质条件、通行量等因素导致的道路病害进行及时修复，避免造成安全隐患。为了及时对道路病害进行修复，就需要定期对道路进行病害检测，以及时发现道路病害。相关技术中，一般基于深度学习的神经网络模型，自动识别道路上的病害位置和类别，但是检测出的病害框大小是基于图像采集设备对应的图像坐标系的大小，无法反映真实世界中病害的尺寸，进而无法准确反映道路病害的严重程度。
技术实现思路
本公开提出了一种道路病害检测方法及装置、电子设备和存储介质的技术方案。根据本公开的一方面，提供了一种道路病害检测方法，包括：对图像采集设备采集的待检测道路图像进行病害检测，得到所述待检测道路图像中的病害检测框；根据所述图像采集设备的设备参数和所述病害检测框，确定所述病害检测框指示的道路病害在世界坐标系下的目标尺寸。在一种可能的实现方式中，所述对图像采集设备采集的待检测道路图像进行病害检测，得到所述待检测道路图像中的病害检测框，包括：对所述待检测道路图像进行特征提取，得到目标特征图；对所述目标特征图进行特征池化，得到池化特征图；对所述池化特征图进行病害检测，得到所述病害检测框以及所述病害检测框对应的病害类别。在一种可能的实现方式中，所述对所述待检测道路图像进行特征提取，得到目标特征图，包括：对所述待检测道路图像进行下采样特征提取，得到至少两级第一特征图；对目标第一特征图进行上采样特征提取，得到至少两级第二特征图，其中，所述目标第一特征图是所述至少两级第一特征图中尺寸最小的特征图；对所述至少两级第一特征图和所述至少两级第二特征图进行融合，得到至少两级目标特征图。在一种可能的实现方式中，所述对所述目标特征图进行特征池化，得到池化特征图，包括：分别对所述至少两级目标特征图进行池化，得到至少两个池化特征图；所述对所述池化特征图进行病害检测，得到所述病害检测框以及所述病害检测框对应的病害类别，包括：分别对所述至少两个池化特征图进行道路病害检测，得到至少两个预测结果；对所述至少两个预测结果进行融合，得到所述病害检测框以及所述病害检测框对应的病害类别。在一种可能的实现方式中，所述根据所述图像采集设备的设备参数和所述病害检测框，确定所述病害检测框指示的道路病害在世界坐标系下的目标尺寸，包括：确定所述病害检测框在图像坐标系下的参考尺寸，其中，所述图像坐标系是所述图像采集设备对应的坐标系；根据所述设备参数对所述参考尺寸进行转换，得到所述目标尺寸。在一种可能的实现方式中，所述确定所述病害检测框在图像坐标系下的参考尺寸，包括：确定所述病害检测框在所述图像坐标系下的两条对角线长度；将所述两条对角线长度的平均值，确定为所述参考尺寸。在一种可能的实现方式中，所述对图像采集设备采集的待检测道路图像进行病害检测，得到所述待检测道路图像中的病害检测框，通过道路病害检测网络实现；所述道路病害检测网络的训练样本包括多个病害类别对应的样本图像；所述道路病害检测网络的训练方法如下：从所述训练样本中随机采样对初始检测网络进行第一阶段网络训练，得到初始道路病害检测网络；利用所述训练样本对所述初始道路病害检测网络进行第二阶段网络训练，得到所述道路病害检测网络，其中，所述训练样本中包括的各样本图像，在每个训练周期中被选中进行训练的概率，与所述样本图像对应的病害类别相关。在一种可能的实现方式中，所述方法还包括：针对所述训练样本中包括的任一样本图像，确定所述样本图像对应的目标病害类别；确定所述目标病害类别对应的样本图像在所述样本图像中的占比；根据所述占比，确定所述样本图像在所述第二阶段网络训练中对应的所述概率。在一种可能的实现方式中，所述第二阶段网络训练对应的初始学习率，小于所述第一阶段网络训练对应的初始学习率。在一种可能的实现方式中，所述方法还包括：对所述图像采集设备进行标定，得到所述设备参数。在一种可能的实现方式中，所述对所述图像采集设备进行标定，得到所述设备参数，包括：获取所述图像采集设备对棋盘格标定板进行图像采集得到的标定板图像；对所述标定板图像进行角点检测，得到所述标定板图像中的目标角点，以及所述目标角点在图像坐标系下的第一坐标，其中，所述图像坐标系是所述图像采集设备对应的坐标系；根据所述棋盘格标定板的尺寸，确定所述目标角点在世界坐标系下的第二坐标；根据所述目标角点在所述图像坐标系下的所述第一坐标，以及在所述世界坐标系下的所述第二坐标，对所述图像采集设备进行标定，得到所述设备参数。在一种可能的实现方式中，所述根据所述目标角点在所述图像坐标系下的所述第一坐标，以及在所述世界坐标系下的所述第二坐标，对所述图像采集设备进行标定，得到所述设备参数，包括：根据所述目标角点在所述图像坐标系下的所述第一坐标，以及在所述世界坐标系下的所述第二坐标，构建标定约束函数；通过对所述标定约束函数进行迭代优化，确定所述设备参数。在一种可能的实现方式中，所述设备参数包括：所述图像采集设备对应的设备内参数，以及所述标定板图像对应的设备外参数；所述根据所述目标角点在所述图像坐标系下的所述第一坐标，以及在所述世界坐标系下的所述第二坐标，构建标定约束函数，包括：基于所述目标角点在所述图像坐标系下的所述第一坐标、以及在所述世界坐标系下的所述第二坐标、所述设备内参数、所述设备外参数，构建所述目标角点对应的约束等式；基于所述目标角点对应的所述约束等式，构建所述标定约束函数。在一种可能的实现方式中，所述通过对所述标定约束函数进行迭代优化，确定所述设备参数，包括：根据第t个设备内参数，对所述标定约束函数进行第t+1次外参优化，得到第t+1个设备外参数，其中，t是大于或等于0的整数，所述第t个设备内参数是对所述标定约束函数进行第t次内参优化后得到的；根据所述第t+1个设备外参数，对所述标定约束函数进行第t+1次内参优化，得到第t+1个设备内参数；在达到预设迭代条件的情况下，根据所述第t+1个设备内参数和所述第t+1个设备外参数，确定所述设备参数。在一种可能的实现方式中，所述根据第t个设备内参数，对所述标定约束函数进行第t+1次外参优化，得到第t+1个设备外参数，包括：根据所述第t个设备内参数，利用奇异值分解算法，对所述标定约束函数进行第t+1次外参优化，得到所述第t+1个设备外参数。在一种可能的实现方式中，所述根据所述第t+1个设备外参数，对所述标定约束函数进行第t+1次内参优化，得到第t+1个设备内参数，包括：根据所述第t+1个设备外参数，利用直接线性转换DLT算法，对所述标定约束函数进行第t+1次内参优化，得到所述第t+1个设备内参数。在一种可能的实现方式中，所述预设迭代条件包括：t+1达到预设迭代次数阈值；或，所述第t+1个设备内参数和所述第t个设备内参数之间的差值小于第一阈本文档来自技高网...

【技术保护点】
1.一种道路病害检测方法，其特征在于，包括：/n对图像采集设备采集的待检测道路图像进行病害检测，得到所述待检测道路图像中的病害检测框；/n根据所述图像采集设备的设备参数和所述病害检测框，确定所述病害检测框指示的道路病害在世界坐标系下的目标尺寸。/n

【技术特征摘要】
1.一种道路病害检测方法，其特征在于，包括：
对图像采集设备采集的待检测道路图像进行病害检测，得到所述待检测道路图像中的病害检测框；
根据所述图像采集设备的设备参数和所述病害检测框，确定所述病害检测框指示的道路病害在世界坐标系下的目标尺寸。


2.根据权利要求1所述的方法，其特征在于，所述对图像采集设备采集的待检测道路图像进行病害检测，得到所述待检测道路图像中的病害检测框，包括：
对所述待检测道路图像进行特征提取，得到目标特征图；
对所述目标特征图进行特征池化，得到池化特征图；
对所述池化特征图进行病害检测，得到所述病害检测框以及所述病害检测框对应的病害类别。


3.根据权利要求2所述的方法，其特征在于，所述对所述待检测道路图像进行特征提取，得到目标特征图，包括：
对所述待检测道路图像进行下采样特征提取，得到至少两级第一特征图；
对目标第一特征图进行上采样特征提取，得到至少两级第二特征图，其中，所述目标第一特征图是所述至少两级第一特征图中尺寸最小的特征图；
对所述至少两级第一特征图和所述至少两级第二特征图进行融合，得到至少两级目标特征图。


4.根据权利要求3所述的方法，其特征在于，所述对所述目标特征图进行特征池化，得到池化特征图，包括：
分别对所述至少两级目标特征图进行池化，得到至少两个池化特征图；
所述对所述池化特征图进行病害检测，得到所述病害检测框以及所述病害检测框对应的病害类别，包括：
分别对所述至少两个池化特征图进行道路病害检测，得到至少两个预测结果；
对所述至少两个预测结果进行融合，得到所述病害检测框以及所述病害检测框对应的病害类别。


5.根据权利要求1至4中任意一项所述的方法，其特征在于，所述根据所述图像采集设备的设备参数和所述病害检测框，确定所述病害检测框指示的道路病害在世界坐标系下的目标尺寸，包括：
确定所述病害检测框在图像坐标系下的参考尺寸，其中，所述图像坐标系是所述图像采集设备对应的坐标系；
根据所述设备参数对所述参考尺寸进行转换，得到所述目标尺寸。


6.根据权利要求5所述的方法，其特征在于，所述确定所述病害检测框在图像坐标系下的参考尺寸，包括：
确定所述病害检测框在所述图像坐标系下的两条对角线长度；
将所述两条对角线长度的平均值，确定为所述参考尺寸。


7.根据权利要求1至6中任意一项所述的方法，其特征在于，所述对图像采集设备采集的待检测道路图像进行病害检测，得到所述待检测道路图像中的病害检测框，通过道路病害检测网络实现；
所述道路病害检测网络的训练样本包括多个病害类别对应的样本图像；
所述道路病害检测网络的训练方法如下：
从所述训练样本中随机采样对初始检测网络进行第一阶段网络训练，得到初始道路病害检测网络；
利用所述训练样本对所述初始道路病害检测网络进行第二阶段网络训练，得到所述道路病害检测网络，其中，所述训练样本中包括的各样本图像，在每个训练周期中被选中进行训练的概率，与所述样本图像对应的病害类别相关。


8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
针对所述训练样本中包括的任一样本图像，确定所述样本图像对应的目标病害类别；
确定所述目标病害类别对应的样本图像在所述训练样本中的占比；
根据所述占比，确定所述样本图像在所述第二阶段网络训练中对应的所述概率。


9.根据权利要求7或8所述的方法，其特征在于，所述第二阶段网络训练对应的初始学习率，小于所述第一阶段网络训练对应的初始学习率。


10.根据权利要求1至9中任意一项所述的方法，其特征在于，所述方法还包括：
对所述图像采集设备进行标定，得到所述设备参数。


11.根据权利要求10所述的方法，其特征在于，所述对所述图像采集设备进行标定，得到所述设备参数，包括：
获取所述图像采集设备对棋盘格标定板进行图像采集得到的标定板图像；
对所述标定板图像进行角点检测，得到所述标定板图像中的目标角点，以及所述目标角点在图像坐...

【专利技术属性】
技术研发人员：徐亮，朱铖恺，武伟，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东;44