System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于多维视觉融合的公路智能巡检方法和装备技术_技高网

一种基于多维视觉融合的公路智能巡检方法和装备技术

技术编号:43984172 阅读:5 留言:0更新日期:2025-01-10 20:07
本发明专利技术公开了一种基于多维视觉融合的公路智能巡检方法和装备,涉及公路巡检技术领域,该方法包括以下步骤:利用视觉检测模块获取前景照片与激光点云,通过组合定位模块获取导航数据,并传输至工控模块;利用图像算法对前景照片进行匀光增强,得到中间识别结果数据,并利用在线运动补偿后的激光点云,实时处理中间识别结果数据,得到路面病害巡检结果与重要公路设施目标巡检结果;基于重要公路设施目标巡检结果,结合中间识别结果数据及对应的激光点云,判别设施目标的缺失与变形破损。本发明专利技术融合2D图像和3D激光点云多维信息,不仅能解决路面病害的智能巡查,还能够自动判别重要公路设施目标的缺失与变形破损状态。

【技术实现步骤摘要】

本专利技术涉及公路巡检,具体来说,涉及一种基于多维视觉融合的公路智能巡检方法和装备


技术介绍

1、公路巡检是道路养护工作的重要环节,其主要目的是快速发现和记录道路病害,以便及时进行道路维修。传统的公路巡检方法主要依赖人工巡检,工作人员需要通过肉眼观察并记录路面病害的位置和类型;然而,随着交通流量的增加和道路网络的扩展,人工巡检的局限性日益显现,不仅需要大量的人力和物力投入,还存在漏检和误检的问题,检测精度和效率较低;此外,人工巡检过程中拍照和测量等活动还可能影响交通的正常运行。

2、随着机器视觉和人工智能技术的发展,公路巡检技术逐渐向自动化方向发展。目前,主流的自动巡检设备多采用单个前视摄像头安装于车顶位置,主要通过2d视觉技术来识别路面病害。这种自动化巡检方法在一定程度上提高了巡检的效率和精度,减少了人工巡检的依赖,能够快速发现和记录路面的病害情况。

3、然而,现有的公路巡检技术仍存在一些不足。首先,单个前视摄像头的视觉方式难以全面识别公路沿线基础设施的缺损问题,尤其是在复杂路况下,如桥梁、隧道等,其检测效果有限;其次,现有的巡检技术缺乏对病害的可靠定位能力,无法准确反映公路全寿命周期内的路况动态变化过程;此外,随着公路巡检服务场景的多样化发展,不仅需要巡检装备能够高效识别路面病害,还需要能够及时提供公路设施状态和通行风险状态的信息,为日常养护决策提供更高质量的数据支撑,而现有的公路巡检技术在应对多样化巡检需求方面仍显不足。

4、针对相关技术中的问题,目前尚未提出有效的解决方案。

<br/>

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足,本专利技术提供了基于多维视觉融合的公路智能巡检方法和装备,具备通过融合2d图像和3d激光点云多维信息,不仅能解决路面病害的智能巡查,还能够自动判别重要公路设施目标的缺失与变形破损状态的优点,进而解决现有的公路巡检技术难以全面识别公路沿线基础设施的缺损、缺乏对病害的可靠定位能力,无法准确反映公路全寿命周期内的路况动态变化过程、难以及时提供公路设施状态和通行风险状态的信息,在应对多样化巡检需求方面仍显不足的问题。

3、(二)技术方案

4、为实现上述通过融合2d图像和3d激光点云多维信息,不仅能解决路面病害的智能巡查,还能够自动判别重要公路设施目标的缺失与变形破损状态的优点,本专利技术采用的具体技术方案如下:

5、根据本专利技术的一个方面,提供了一种基于多维视觉融合的公路智能巡检方法,该基于多维视觉融合的公路智能巡检方法包括以下步骤:

6、s1、根据新建巡检工程项目,配置巡检路线、方向及桩号起点,并同步各模块的卫星授时;基于预设频率,利用视觉检测模块获取前景照片与激光点云,通过组合定位模块获取导航数据,并传输前景照片、激光点云及导航数据至工控模块;

7、s2、基于工控模块,利用图像算法对前景照片进行匀光增强,得到中间识别结果数据,并利用在线运动补偿后的激光点云,实时处理中间识别结果数据,得到路面病害巡检结果与重要公路设施目标巡检结果;

8、s3、利用工控模块存储路面病害巡检结果并上传至云端,输出路面病害巡检结果报表与对应的路面病害照片;

9、s4、基于重要公路设施目标巡检结果,结合工控模块上传至云端的中间识别结果数据及对应的激光点云,判别设施目标的缺失与变形破损,并导出重要公路设施目标巡检结果报表与对应的异常设施照片。

10、进一步的,中间识别结果数据包括路面病害识别框的角点像素坐标与中心像素坐标、重要公路设施目标识别框的角点像素坐标与中心像素坐标、含识别框的匀光后前景照片、设施目标类型、路面病害所在车道;

11、设施目标类型包括路面病害类型和重要公路设施目标类型;路面病害类型包括洒落物、坑槽、横向裂缝、纵向裂缝、块状裂缝及条状修补;重要公路设施目标类型包括车道线、里程桩、防眩板、轮廓标及标志牌。

12、进一步的,基于工控模块,利用图像算法对前景照片进行匀光增强,得到中间识别结果数据,并利用在线运动补偿后的激光点云,实时处理中间识别结果数据,得到路面病害巡检结果与重要公路设施目标巡检结果包括:

13、s21、基于前景照片,利用图像提亮曲线模型处理前景照片中的像素点,得到提亮后的前景照片,并基于训练后的图像识别模型,输入提亮后的前景照片,输出中间识别结果数据;

14、s22、基于激光点云,利用相机畸变投影模型,进行相机-激光雷达标定,并利用激光雷达-惯导系统标定模型,进行激光雷达坐标系-地方独立坐标系转换,得到相机-激光雷达标定参数和激光雷达-组合导航系统标定参数;

15、s23、根据路面病害识别框的角点像素坐标、重要公路设施目标识别框的角点像素坐标及相机-激光雷达标定参数,计算识别框的物理尺寸,得到路面病害的长度属性与面积属性;

16、s24、基于路面病害识别框的中心像素坐标、重要公路设施目标识别框的中心像素坐标、相机-激光雷达标定参数及激光雷达-组合导航系统标定参数,计算识别框中心像素点的经纬度坐标,得到路面病害与重要公路设施目标的地理位置。

17、进一步的,基于前景照片,利用图像提亮曲线模型处理前景照片中的像素点,得到提亮后的前景照片,并基于训练后的图像识别模型,输入提亮后的前景照片,输出中间识别结果数据包括:

18、s211、根据不同传感器、不同天气条件及不同光照条件下的样本图像,建立图像亮暗样本数据集;

19、s212、基于图像提亮曲线模型,利用提亮函数处理前景照片中的每个像素点,得到提亮后的前景照片;

20、s213、根据深度可分离卷积和空洞卷积搭建模型网络,并基于空间一致性误差与颜色恒定误差构建损失函数,得到图像处理模型,利用图像亮暗样本数据集训练图像处理识别模型;

21、空间一致性误差的表达式为:

22、

23、式中,为空间一致性误差, k为像素数, i为对像素的遍历,为第 i个像素的4邻域, y i与 y j分别为第 i个增强图像与第 j个增强图像, i i与 i j分别为第 i个输入图像与第 j个输入图像;

24、颜色恒定误差的表达式为:

25、

26、式中,为颜色恒定误差,为遍历的三个颜色通道中所有两两组合,为颜色通道p的亮度平均值;为颜色通道 q的亮度平均值; 本文档来自技高网...

【技术保护点】

1.一种基于多维视觉融合的公路智能巡检方法,其特征在于,该基于多维视觉融合的公路智能巡检方法包括以下步骤:

2.根据权利要求1所述的一种基于多维视觉融合的公路智能巡检方法,其特征在于,所述中间识别结果数据包括路面病害识别框的角点像素坐标与中心像素坐标、重要公路设施目标识别框的角点像素坐标与中心像素坐标、含识别框的匀光后前景照片、设施目标类型、路面病害所在车道;

3.根据权利要求2所述的一种基于多维视觉融合的公路智能巡检方法,其特征在于,所述基于工控模块,利用图像算法对前景照片进行匀光增强,得到中间识别结果数据,并利用在线运动补偿后的激光点云,实时处理中间识别结果数据,得到路面病害巡检结果与重要公路设施目标巡检结果包括:

4.根据权利要求3所述的一种基于多维视觉融合的公路智能巡检方法,其特征在于,所述基于前景照片,利用图像提亮曲线模型处理前景照片中的像素点,得到提亮后的前景照片,并基于训练后的图像识别模型,输入提亮后的前景照片,输出中间识别结果数据包括:

5.根据权利要求3所述的一种基于多维视觉融合的公路智能巡检方法,其特征在于,所述基于激光点云,利用相机畸变投影模型,进行相机-激光雷达标定,并利用激光雷达-惯导系统标定模型,进行激光雷达坐标系-地方独立坐标系转换,得到相机-激光雷达标定参数和激光雷达-组合导航系统标定参数包括:

6.根据权利要求5所述的一种基于多维视觉融合的公路智能巡检方法,其特征在于,所述径向畸变的表达式为:

7.一种基于多维视觉融合的公路智能巡检装备,用于实现权利要求1-6中任一项所述的基于多维视觉融合的公路智能巡检方法,其特征在于,该基于多维视觉融合的公路智能巡检装备包括:

8.根据权利要求7所述的一种基于多维视觉融合的公路智能巡检装备,其特征在于,所述汽车载体包括巡检车本体;所述巡检车本体的顶端一侧设置有车顶夹具,所述车顶夹具的顶端设置有底板,所述底板的顶端设置有外壳,所述外壳的内侧两端均贯穿设置有GPS天线,所述外壳的内侧中部贯穿设置有隔板,且所述隔板的顶端一侧设置有激光雷达,所述隔板的顶端另一侧设置有工业相机镜头组件,所述隔板的底端一侧设置有惯导,所述隔板的底端另一侧设置有时间同步盒子。

9.根据权利要求8所述的一种基于多维视觉融合的公路智能巡检装备,其特征在于,所述巡检车本体包括驾驶座与后备箱,所述驾驶座的内部一侧设置有显示器,所述后备箱的内部一侧设置有交换机,所述后备箱的内部另一侧设置有电源适配器,所述后备箱的内部一端设置有工控机,所述后备箱的内部另一端设置有电瓶;

10.根据权利要求9所述的一种基于多维视觉融合的公路智能巡检装备,其特征在于,所述工业相机镜头组件包括设置在所述外壳内侧中部的相机,所述相机的一端设置有镜头,所述相机的底端设置有第一固定板,所述第一固定板的底端两侧对称设置有连接臂,所述连接臂的一端设置有支撑臂,所述支撑臂的底端设置有第二固定板;所述第二固定板的两侧均开设有调节槽,且所述连接臂的另一端贯穿所述调节槽设置有调节连杆,所述调节连杆的外侧套设有若干与所述第二固定板相配合的螺母。

...

【技术特征摘要】

1.一种基于多维视觉融合的公路智能巡检方法,其特征在于,该基于多维视觉融合的公路智能巡检方法包括以下步骤:

2.根据权利要求1所述的一种基于多维视觉融合的公路智能巡检方法,其特征在于,所述中间识别结果数据包括路面病害识别框的角点像素坐标与中心像素坐标、重要公路设施目标识别框的角点像素坐标与中心像素坐标、含识别框的匀光后前景照片、设施目标类型、路面病害所在车道;

3.根据权利要求2所述的一种基于多维视觉融合的公路智能巡检方法,其特征在于,所述基于工控模块,利用图像算法对前景照片进行匀光增强,得到中间识别结果数据,并利用在线运动补偿后的激光点云,实时处理中间识别结果数据,得到路面病害巡检结果与重要公路设施目标巡检结果包括:

4.根据权利要求3所述的一种基于多维视觉融合的公路智能巡检方法,其特征在于,所述基于前景照片,利用图像提亮曲线模型处理前景照片中的像素点,得到提亮后的前景照片,并基于训练后的图像识别模型,输入提亮后的前景照片,输出中间识别结果数据包括:

5.根据权利要求3所述的一种基于多维视觉融合的公路智能巡检方法,其特征在于,所述基于激光点云,利用相机畸变投影模型,进行相机-激光雷达标定,并利用激光雷达-惯导系统标定模型,进行激光雷达坐标系-地方独立坐标系转换,得到相机-激光雷达标定参数和激光雷达-组合导航系统标定参数包括:

6.根据权利要求5所述的一种基于多维视觉融合的公路智能巡检方法,其特征在于,所述径向畸变的表达式为:

7.一种基于多维视觉融...

【专利技术属性】
技术研发人员:丛波日王含笑辛公锋张振虎陈铮龙关旭高国华申全军徐传昶李庆营
申请(专利权)人:山东高速集团有限公司创新研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1