一种基于多源图像融合的路面病害识别方法及系统技术方案

本发明专利技术公开了一种基于多源图像融合的路面病害识别方法及系统，本发明专利技术提供的路面状况检测方法中，通过多源采集设备获取多源数据，对多源数据进行预处理生成多源图像，首先对第一源图像的第二元图像进行严格图像配准，然后采用像素级图像融合得到多源融合图像并形成多源异构数据库，最后以多源异构数据作为输入，结合路面状况选用最优数据采用双层算法对病害进行检测，最后输出病害信息并完成相关指标计算，完成路面状况的检测与分析。完成路面状况的检测与分析。完成路面状况的检测与分析。

【技术实现步骤摘要】
一种基于多源图像融合的路面病害识别方法及系统


[0001]本专利技术属于人工智能和道路路面检测
，具体涉及一种基于多源图像融合的路面病害识别方法及系统。

技术介绍

[0002]随着公路里程的不断增长、交通流量的急剧增加，公路系统的正常运转及交通安全的保障工作日益成为交通系统日常维护工作的重要目标。然而公路受到行车载荷，汽车挤压，自然环境等因素的影响，路面易出现沉陷、车辙、开裂和坑槽等病害。这些病害不仅影响公路的舒适度、美观度，同时也影响着交通运输业的发展及人类的出行安全。
[0003]随着近几年人工智能的快速发展，利用深度学习的技术进行路面病害识别成为了道路养护体系自动化、智能化的重要方向。综合研究发现，现有深度学习数据种类较为单一。彩色图像通常容易受到油污、阴影、轮胎痕迹等噪声的污染；对单一深度图来说，由于路面的颗粒纹理和病害的发展退化，人眼难以进行识别标注，从而影响病害的识别；激光图像易受到震动、强光等影响而产生较大噪声，对病害的研判产生干扰；红外成像的图像分辨率比成熟的可见光成像技术要低，往往存在大量的盲元和非均匀性线条。此外，如路面纹理，坑槽深度以及裂缝深度等路面三维特征信息也很难从单一二维图像获得。同时，为了实现病害信息全谱化输出，依次采用识别与分割网络会增加运行的成本和时间。
[0004]由于路面状态的诸多不确定性，通过单源数据难以实现较准确的路面状况评估，传统的基于单源图像数据的深度学习方法已经难以满足需求。

技术实现思路

[0005]本专利技术的目的在于克服上述现有技术的缺点，提供一种基于多源图像融合的路面病害识别方法及系统，该方法采用多源异构图像融合分析的方法来解决路面状况复杂多变导致的单源深度学习数据效果不理想的问题。并结合识别与分割相结合的双层算法实现路面病害信息全谱化输出，准确高效实现路面状况的检测与评定。
[0006]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0007]一种基于多源图像融合的路面病害识别方法，包括以下步骤：
[0008]步骤1，针对同一区域，采集两类图像；
[0009]步骤2，将一类图像作为参考图像，另一类图像作为待匹配图像，对参考图像和待匹配图像进行特征匹配，基于特征匹配获得两幅图像的几何变换模型，通过几何变换模型将待匹配图像转换为对齐图像；通过空间域融合算法将参考图像和对齐图像融合后获得融合图像；
[0010]步骤3，通过yolo神经网络，在融合图像上识别出病害区域，将病害区域从融合图像中提取出来成为子图像；所述yolo神经网络中设置有CBAM注意力机制模块；
[0011]步骤4，将子图像通过分割网络进行语义分割，分割后获得二值化的子图像，将二值化的子图像还原至融合图像中，获得完整的二值图；所述分割网络以unet为框架基础，主
干网络为mobilenet；
[0012]步骤5，通过matlab处理二值图，获得路面病害参数。
[0013]本专利技术的进一步改进在于：
[0014]优选的，步骤2的具体过程为：
[0015]步骤2.1，对参考图像和待匹配图像进行特征检测，所述特征包括特征点、边缘、轮廓和区域；根据检测出的特征制定特征描述算子，通过特征描述算子计算图像变换模型参数；基于图像变换模型参数，通过特征配准算法进行特征匹配，获得内部参数，再结合待配准图像和参考图像的映射关系，获得两幅图像的几何变换模型，通过几何变换模型对待匹配图像进行几何变换后获得对齐图像；
[0016]步骤2.2，通过基于像素的空间域融合算法将参考图像和对齐图像进行融合，获得融合图像。
[0017]优选的，步骤2.2中，图像融合的公式为：
[0018]F(x
i
,y
j
)＝ω1I1(x
i
,y
j
)+ω2I2(x
i
,y
j
)i＝1,2,
……
m；j＝1,2,
……
n
[0019]其中，F为融合后图像，ω1和ω2分别为源图I1和I2的加权系数，其中ω1+ω2＝1；m
×
n为图像尺寸。
[0020]优选的，步骤3中，所述yolo神经网络包括输入端、Backbone，Neck和输出端，所述Backbone中的最后一层添加有CBAM注意力机制模块。
[0021]优选的，步骤3中，所述yolo神经网络的识别过程为：将目标图像分解为若干个图像在输入端检测，分解的图像检测完后，再将所有分解的图像框放回至大图中，对大图整体进行非极大抑制操作，将重叠区域中重复框进行去除，剩余的框为识别出的病害区域。
[0022]优选的，所述CBAM注意力机制模块识别的过程为：将输入的特征图分别经过最大池化和平均池化得到两个特征图，然后分别将其送入一个两层的神经网络，最后将生成的特征经过激活函数进行激活最终生成通道特征图；将两个通道特征图作为空间注意模块的输入特征图，首先进行最大池化和平均池化，然后将两个特征图基于通道做拼接操作，然后通过一个7x7卷积操作降维为一个通道，最后经过激活函数生成空间特征图。
[0023]优选的，步骤4中，将预测框区域的图像提取成为子图像，通过路面病害分割算法将所述子图像进行病害分割，提取出分割出病害的位置信息，将病害的位置信息至于含有预测框的图像中，获得二值化的病害图像。
[0024]优选的，所述分割网络中引入有迁移学习进行训练；所述分割网络以unet为框架基础，主干网络为mobilenet。
[0025]优选的，所述路面病害参数包括长度、宽度和病害占比；所述路面病害参数被按照图片编号批量化输入至表格中。
[0026]一种基于多源图像融合的路面病害识别系统，包括：
[0027]采集模块，针对同一区域，采集两类图像；
[0028]图像生成模块，用于将一类图像作为参考图像，另一类图像作为待匹配图像，对参考图像和待匹配图像进行特征匹配，基于特征匹配获得两幅图像的几何变换模型，通过几何变换模型将待匹配图像转换为对齐图像；通过空间域融合算法将参考图像和对齐图像融合后获得融合图像；
[0029]识别模块，用于通过yolo神经网络，在融合图像上识别出病害区域，将病害区域从
融合图像中提取出来成为子图像；所述yolo神经网络中设置有CBAM注意力机制模块；
[0030]分割模块，用于将子图像通过分割网络进行语义分割，分割后获得二值化的子图像，将二值化的子图像还原至融合图像中，获得完整的二值图；所述分割网络以unet为框架基础，主干网络为mobilenet；
[0031]信息输出模块，通过matlab处理二值图，获得路面病害参数。
[0032]与现有技术相比，本专利技术具有以下有益效果：
[0033]本专利技术公开了一种基于多源图像融合的路面病害识别方法，本专利技术提供的路面状况检测方法中，通过多源采集设备获取多源数据，对多源数据进行预处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多源图像融合的路面病害识别方法，其特征在于，包括以下步骤：步骤1，针对同一区域，采集两类图像；步骤2，将一类图像作为参考图像，另一类图像作为待匹配图像，对参考图像和待匹配图像进行特征匹配，基于特征匹配获得两幅图像的几何变换模型，通过几何变换模型将待匹配图像转换为对齐图像；通过空间域融合算法将参考图像和对齐图像融合后获得融合图像；步骤3，通过yolo神经网络，在融合图像上识别出病害区域，将病害区域从融合图像中提取出来成为子图像；所述yolo神经网络中设置有CBAM注意力机制模块；步骤4，将子图像通过分割网络进行语义分割，分割后获得二值化的子图像，将二值化的子图像还原至融合图像中，获得完整的二值图；所述分割网络以unet为框架基础，主干网络为mobilenet；步骤5，通过matlab处理二值图，获得路面病害参数。2.根据权利要求1所述的一种基于多源图像融合的路面病害识别方法，其特征在于，步骤2的具体过程为：步骤2.1，对参考图像和待匹配图像进行特征检测，所述特征包括特征点、边缘、轮廓和区域；根据检测出的特征制定特征描述算子，通过特征描述算子计算图像变换模型参数；基于图像变换模型参数，通过特征配准算法进行特征匹配，获得内部参数，再结合待配准图像和参考图像的映射关系，获得两幅图像的几何变换模型，通过几何变换模型对待匹配图像进行几何变换后获得对齐图像；步骤2.2，通过基于像素的空间域融合算法将参考图像和对齐图像进行融合，获得融合图像。3.根据权利要求2所述的一种基于多源图像融合的路面病害识别方法，其特征在于，步骤2.2中，图像融合的公式为：F(x
i
,y
j
)＝ω1I1(x
i
,y
j
)+ω2I2(x
i
,y
j
)i＝1,2,
……
m；j＝1,2,
……
n其中，F为融合后图像，ω1和ω2分别为源图I1和I2的加权系数，其中ω1+ω2＝1；m
×
n为图像尺寸。4.根据权利要求1所述的一种基于多源图像融合的路面病害识别方法，其特征在于，步骤3中，所述yolo神经网络包括输入端、Backbone，Neck和输出端，所述Backbone中的最后一层添加有CBAM注意力机制模块。5.根据权利要求4所述的一种基于多源图像融合的...

【专利技术属性】
技术研发人员：杨旭，樊康，李硕，管进超，刘文博，丁玲，
申请(专利权)人：长安大学，
类型：发明
国别省市：