一种深度学习与图像分析结合的道路病害目标检测系统技术方案

本发明专利技术提出了一种基于深度学习网络与图像分析结合的道路病害目标检测系统，是以“预处理+识别+后处理”的软件技术路线以及arm硬件架构构建起的软硬件道路病害目标检测系统，该系统基于多种传统图像分析方法对所得病害图像进行预处理，再通过深度学习网络对预处理过的病害图像进行识别与校正，最后通过单目视觉病害测量方法对病害的特征参数进行识别。能够有效提高道路病害检测准确率，降低误检率，便于后续维护，并且提高了物理集成度，降低了硬件冗余。硬件冗余。硬件冗余。

【技术实现步骤摘要】
一种深度学习与图像分析结合的道路病害目标检测系统


[0001]本专利技术涉及智慧公路领域，具体涉及一种深度学习与图像分析结合的道路病害目标检测系统。

技术介绍

[0002]公路建设在国家的发展中起着至关重要的作用，公路的快速发展有力地促进了经济的增长。但伴随高速公路上大型车辆、大型载货货车的日益增多引起破坏也增多，高速公路的路面出现大量的破坏现象，而由此造成的公路安全隐患令人担忧，高速公路已与人们生产、生活密切联系在一起，高速公路养护管理的好坏及是否安全畅通已直接关系到经济发展与人们的人身安全。公路养护工作的重要性伴随着维护高速公路的安全性而受到重视，而高速公路养护的前提则是必须通过各类养护巡查、检查来及时发现各类隐患、缺陷，以便及时采取适宜的养护措施，才能确保高速公路的安全畅通。
[0003]现有道路病害检测方法与系统存在准确率较低，检出率较低和识别种类较少的特点，特别是在实际应用场景过程中，无法准确分辨道路裂缝与修补后的裂缝等情况，而因此降低道路养护的工作效率。同时，对于现有的车载道路病害检测系统，其主要硬件架构皆基于x86架构，搭载gpu的工控机，其占用体积大、功耗高。
[0004]现有方案公开号CN111080620A的《一种基于深度学习的道路病害检测方法》，主要运用基于深度学习的yolov3算法识别道路病害并结合图像后处理方法来提升图像质量，进行道路病害检测，且运用传统GPU架构框架，其病害检测准确率与检出率仍然存在提升空间，且车载系统硬件冗余，功耗大、效率低。
[0005]公开号CN110189317A上海卡罗网络科技有限公司的《一种基于深度学习的道路影像智能采集和识别方法》只采用了基于faster
‑
rcnn的深度学习方法，检测效率低，功耗大，且也会存在一定的漏报与误报现象。

技术实现思路

[0006]为解决目前现有的道路病害目标检测系统软件由于影像识别不准确导致的道路病害检测准确率低以及硬件系统设备冗余，本专利技术提出了一种深度学习与图像分析结合的道路病害目标检测系统，是以“预处理+识别+后处理”的软件技术路线以及arm硬件架构构建起的软硬件道路病害目标检测系统，能够有效提高道路病害检测准确率，降低误检率，便于后续维护，并且提高了物理集成度，降低了硬件冗余。
[0007]本专利技术的技术方案如下：
[0008]一种深度学习与图像分析结合的道路病害目标检测系统，其特征在于，包括前端设备和后端设备，前端设备包括车载智能一体机和触控显示器，后端设备包括后端服务器和后端终端；前端设备与后端设备之间以4G/5G通信连接；
[0009]所述车载智能一体机包括采用arm硬件架构整合为一体的高清摄像机、定位模块、智能分析模块、网络通讯模块以及电源模块；高清摄像机负责拍摄道路病害目标图片，通过
以预设的帧数为间隔进行连续抓取来获取道路病害目标图片；定位模块负责对道路病害的发生地点进行准确的定位，获取位置信息；智能分析模块负责对高清摄像机拍摄的道路病害目标图片进行处理，包括图像分析模块、深度学习算法模块以及病害参数测量模块；网络通讯模块是车载智能一体机与后端服务器进行信息传递的模块，通过4G/5G网络来实现；电源模块为车载智能一体机提供电源供应；
[0010]所述车载智能一体机智能分析模块中图像分析模块负责针对道路病害特点以及高清摄像头的拍摄特点来对所获得的道路病害目标图片进行预处理，包括白平衡算法单元、形态学方法单元以及图像增强算法单元，所述白平衡算法单元采用白平衡算法减少道路病害目标图片的色彩差异，去除输入色彩偏差导致的误报与漏报；所述形态学方法单元负责根据道路病害特点通过开运算方法来突出道路病害连通区域特征，以及减少病害目标图片中的噪声与毛刺，所述图像增强算法单元负责增强病害目标图片中道路病害边缘特性；所述车载智能一体机智能分析模块中深度学习算法模块是以单阶段级目标检测的Yolov5算法来对预处理过的病害目标图片进行道路病害识别与校正，所述Yolov5算法是通过进行数据集收集、数据增强、图像增强以及数据训练建立起的深度学习算法模型；所述车载智能一体机智能分析模块中病害参数测量模块包括图像膨胀运算单元与单目视觉病害测量单元，所述图像膨胀运算单元对结构元素进行一次膨胀运算即凸出病害边缘特征，所述单目视觉病害测量单元获取病害目标特征参数进行识别，将病害的数据以图片信息直观呈现；
[0011]所述触控显示器作为用户的交互终端，可实时展示智能一体机所拍摄的道路视频图像以及通过算法识别病害目标获得的相应数据和直观呈现的图片；所述后端服务器用于存储各养护车辆和道路的病害历史数据；所述后端终端是养护人员在进行道路养护的统筹规划、病害信息的数据管理以及病害条目的智能检索时与系统的交互终端。
[0012]优选地，所述车载智能一体机采用arm架构计算机，在此架构基础上整合所有所述模块集成于一体。
[0013]优选地，所述车载智能一体机智能分析模块中图像分析模块的白平衡算法单元中所采用的的白平衡算法白色参考点阈值选取前8％。
[0014]优选地，所述车载智能一体机智能分析模块中图像分析模块的形态学方法单元的开运算方法具体依次包括腐蚀运算与膨胀运算，并用了特定算子提升形态学方法处理效果，加强裂缝的轮廓连通特性。
[0015]优选地，所述车载智能一体机智能分析模块中图像分析模块的图像增强算法单元是基于拉普拉斯算子图像增强算法来增强图片中道路病害边缘特性。
[0016]优选地，所述车载智能一体机智能分析模块中深度学习算法模块中数据集收集是指针对道路中的不同病害种类，收集裂缝、坑槽、龟裂、松散、井盖高差类型的病害种类，并对目标进行分类。
[0017]优选地，所述车载智能一体机智能分析模块中深度学习算法模块中数据增强方法包括mixup方法、填鸭式图像处理、添加负样本方法中的一种或几种。
[0018]优选地，所述车载智能一体机智能分析模块中深度学习算法模块中数据训练是指通过标注原始图片以及图像增强后的图片作为Yolov5算法的训练数据集，调优参数，并输入深度学习网络进行训练，以获得深度学习识别模型的权重。
[0019]优选地，所述车载智能一体机智能分析模块中深度学习算法模块中病害目标图片识别是将识别阈值调至0.15。
[0020]优选地，所述车载智能一体机智能分析模块中单目视觉病害测量单元具体是通过对车载一体机的位置及高度进行固定，之后进行标定、测量与运算，最终明确实际距离，与图片中的像素距离对应，从而获得病害的特征参数。
[0021]本专利技术的有益效果为：
[0022]本专利技术提出一种基于深度学习网络与图像分析结合的道路病害目标检测系统，采用了“预处理+识别+后处理”的软件技术路线即先由图像分析模块基于传统图像分析方法对所得病害图像进行预处理，再通过深度学习算法模块采用深度学习对预处理过的病害目标图片进行道路病害识别与校正，最后通过病害参数测量模块的单目视觉病害测量单元对病害的特征参数进行识别和直观呈现。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习与图像分析结合的道路病害目标检测系统，其特征在于，包括前端设备和后端设备，前端设备包括车载智能一体机和触控显示器，后端设备包括后端服务器和后端终端；前端设备与后端设备之间以4G/5G通信连接；所述车载智能一体机包括采用arm硬件架构整合为一体的高清摄像机、定位模块、智能分析模块、网络通讯模块以及电源模块；高清摄像机负责拍摄道路病害目标图片，通过以预设的帧数为间隔进行连续抓取来获取道路病害目标图片；定位模块负责对道路病害的发生地点进行准确的定位，获取位置信息；智能分析模块负责对高清摄像机拍摄的道路病害目标图片进行处理，包括图像分析模块、深度学习算法模块以及病害参数测量模块；网络通讯模块是车载智能一体机与后端服务器进行信息传递的模块，通过4G/5G网络来实现；电源模块为车载智能一体机提供电源供应；所述车载智能一体机智能分析模块中图像分析模块负责针对道路病害特点以及高清摄像头的拍摄特点来对所获得的道路病害目标图片进行预处理，包括白平衡算法单元、形态学方法单元以及图像增强算法单元，所述白平衡算法单元采用白平衡算法减少道路病害目标图片的色彩差异，去除输入色彩偏差导致的误报与漏报；所述形态学方法单元负责根据道路病害特点通过开运算方法来突出道路病害连通区域特征，以及减少病害目标图片中的噪声与毛刺；所述图像增强算法单元负责增强病害目标图片中道路病害边缘特性；所述车载智能一体机智能分析模块中深度学习算法模块以单阶段级目标检测的Yolov5算法来对预处理过的病害目标图片进行道路病害识别与校正，所述Yolov5算法是通过进行数据集收集、数据增强、图像增强以及数据训练建立起的深度学习算法模型；所述车载智能一体机智能分析模块中病害参数测量模块包括图像膨胀运算单元与单目视觉病害测量单元，所述图像膨胀运算单元对结构元素进行一次膨胀运算即凸出病害边缘特征，所述单目视觉病害测量单元获取病害目标特征参数进行识别，并将病害的数据以图片信息直观呈现；所述触控显示器作为用户的交互终端，可实时展示智能一体机所拍摄的道路视频图像以及通过算法识别病害目标获得的相应数据和直观呈现的图片；所述后端服务器用于存储各养护车辆和道路的病害历史数据；所述后端终端是养护人员在进行道路养护的统筹规划、病害信息的数据管理以及病害条目的智能检索时与系统的交互终端。2.根据权利要求1所述的一种深度学习与图像分析结合的道路病害目标检测...

【专利技术属性】
技术研发人员：姚奕帆，李川，徐俊楠，王军群，
申请(专利权)人：上海船舶运输科学研究所有限公司，
类型：发明
国别省市：