一种基于多尺度融合网络的高速公路恶劣天气识别方法技术

本发明专利技术公开了一种基于多尺度融合网络的高速公路恶劣天气识别方法，包括图像训练部分和图像识别部分，采集天气图像，对图像进行种类划分和能见度等级建立，构建恶劣天气一体化识别的多尺度融合网络模型，采用轻量级网络ShuffleNet进行恶劣天气分类，采用光谱滤波与结构滤波分别提取图像的光谱与结构特征，并通过softmax层对多尺度特征进行能见度分类，根据目标函数，采用Adam优化器对模型参数优化，直至模型收敛，训练完成的模型可实现高速公路恶劣天气的端到端识别。本发明专利技术可实现高速公路恶劣天气的实时自动识别，为交通部门的高速公路管理和交通管制提供技术支撑。路管理和交通管制提供技术支撑。路管理和交通管制提供技术支撑。

【技术实现步骤摘要】
一种基于多尺度融合网络的高速公路恶劣天气识别方法


[0001]本专利技术涉及图像处理
，具体为一种基于多尺度融合网络的高速公路恶劣天气识别方法。

技术介绍

[0002]雾、雨、雪等恶劣天气会造成高速公路的能见度降低、路面湿滑结冰，对行车安全构成巨大威胁。一种有效的高速公路恶劣天气识别方法对高速公路的行车安全和交通管理具有重要的作用。
[0003]传统高速公路恶劣天气检测通常通过在道路两侧布设气象传感器，通过对气象要素的有效观测，可实现对恶劣天气的检测。但由于气象传感器成本高，因此不适合密集型布设。交通部门在高速公路路网建设中布设了大量的监控摄像头，可实时采集道路图像，为恶劣天气识别提供了条件。
[0004]现有技术中提出的一些恶劣天气方法大多只针对单一恶劣天气，如雾、雨、雪等，且检测效率低、误判率高、计算复杂度高。图像识别和深度学习方法的快速发展，为高速公路恶劣天气识别提供了新的方法和思路。

技术实现思路

[0005]本专利技术的目的在于针对现有技术的缺陷和不足，提供一种成本低、速度快、准确率高的基于多尺度融合网络的高速公路恶劣天气识别方法。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种基于多尺度融合网络的高速公路恶劣天气识别方法，包括图像训练部分以及图像识别部分；图像训练部分的步骤如下：a1：采集高速公路的监控视频，并逐帧提取视频中的图像，将所述图像进行分类处理，按照恶劣天气种类进行划分，并将所述恶劣天气建立若干个能见度等级；a2：构建恶劣天气一体化识别的多尺度融合网络模型，采用轻量级网络ShuffleNet进行恶劣天气分类，可划分为雨、雪、雾三类，光谱滤波与结构滤波分别提取图像的光谱与结构特征，并结合多尺度融合模型进行多尺度特征提取与融合，将所述特征输入softmax层对雾进行能见度等级分类；a3：设计用于优化网络模型参数的目标函数，预设模型超参数；a4：采用Kaiming初始化方法进行网络模型参数初始化，将训练数据集输入模型，根据所述目标函数，采用Adam优化器实现模型参数优化与更新，直至模型收敛；图像识别部分的步骤如下：b1：将高速公路监控图像输入所述多尺度融合网络模型，完成对恶劣天气分类和雾的能见度等级分类。
[0007]优选的，所述a1中，参考交通气象站观测数据，并结合交通气象预报员的经验，对雾图像中的能见度进行标注，设置五种能见度等级，设能见度为，时，能见度等
级为0级；时，能见度等级为1级；时，能见度等级为2级；时，能见度等级为3级；时，能见度等级为4级，并根据上述标准将采集的高速公路监控图像划分为五类，按照0.9:0.1的比例划分训练数据集和测试数据集。
[0008]优选的，所述a2中，所述光谱滤波采用伪着色的方式增强对比度，突出雾的特征，所述结构滤波采用快速引导滤波提取细节结构特征。
[0009]优选的，所述a2中，所述多尺度融合模型表达式为，其中，x为输入图像，为光谱滤波算法，为结构滤波算法，为多尺度融合模块，为concatenate操作，为全连接层。
[0010]优选的，所述a2中，所述多尺度融合模块的表达式为，其中，为多尺度融合模块的输入，为多尺度融合模块的输出，、、分别表示扩张系数为0、1、2的扩张卷积，为concatenate操作。
[0011]优选的，所述a3中，目标函数采用交叉熵损失函数，表达式为，其中，M表示类别的数量，为指示变量，如果该类别和样本i的类别相同就是1，否则是0，表示观测样本i属于类比c的概率。
[0012]优选的，所述a3中，所述模型超参数主要包括学习率、迭代次数、批量数据大小、模型的深度和层数、激活函数的类别。
[0013]与现有技术相比，本专利技术的有益效果：本专利技术所述的基于多尺度融合网络的高速公路恶劣天气识别方法，基于多尺度融合模型，深入提取和融合道路图像中的天气特征，采用光谱滤波与结构滤波分别提取图像的光谱与结构特征，并结合多尺度融合模型进行多尺度特征提取与融合，从而更好地融合图像中的前景和背景特征，更利于估计图像中的能见度，通过softmax层对多尺度特征进行能见度分类；设计用于优化网络模型的目标函数；对模型的超参数进行初始化，根据目标函数，采用Adam优化器对模型参数进行优化更新，直至模型收敛；训练完成的模型可实现高速公路恶劣天气的端到端识别，包括雨、雪、雾天气分类和雾的能见度等级分类。为高速公路恶劣天气检测提供了新的方法和思路，根据已布设的道路监控，即可检测出雨、雪、雾等恶劣天气的信息，实现高速公路恶劣天气的实时自动识别，为交通部门的高速公路管理和交警部门的交通管制提供技术支撑，具有检测精度高、速度快、成本低的优势。
附图说明
[0014]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。
[0015]在附图中：图1是本专利技术恶劣天气检测方法的流程框图；图2为多尺度融合网络模型的结构示意图；
图3为多尺度融合模块的结构示意图。
具体实施方式
[0016]以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。
[0017]实施例：如图1所示，基于多尺度融合网络的高速公路恶劣天气识别方法，包括图像训练部分和图像识别部分，图像训练部分为：构建训练集，构建多尺度融合模型，对模型进行优化训练，图像识别部分为：将待处理的道路图像输入训练完毕的模型，得到雨、雪、雾的分类和雨、雪、雾的强度等级。
[0018]图像训练部分S1的步骤如下：步骤a1：采集高速公路监控视频，并提取视频中每一帧的图像，划分为雨、雪、雾三类，并将雨、雪、雾划分为若干强度等级；设能见度为，时，能见度等级为0级；时，能见度等级为1级；时，能见度等级为2级；时，能见度等级为3级；时，能见度等级为4级，根据上述标准将采集的高速公路监控图像划分为5类，并按照0.9:0.1的比例划分训练数据集和测试数据集。
[0019]步骤a2：构建恶劣天气一体化识别的多尺度融合网络模型，其中，如图2所示，多尺度融合模型表达式为，其中，x为输入图像，为光谱滤波算法，为结构滤波算法，为多尺度融合模块，为concatenate操作，为全连接层。
[0020]采用轻量级网络ShuffleNet进行恶劣天气分类，考虑到雨、雪、雾三类天气特征特征区分度较大，因此本专利技术选择计算复杂度低的ShuffleNet作为恶劣天气分类网络。
[0021]采用光谱滤波与结构滤波分别提取图像的光谱与结构特征，光谱滤波采用伪着色的方式增强对比度，突出雾的特征；结构滤波采用快速引导滤波提取细节结构特征。光谱滤波可强化雾的整体背景特征；结构滤波可提取细节结构特征，增强小尺度细节特征与大尺度背景特征的区分度。
[0022]其中，如图3所示，采用多尺度融合模型进行多尺度特征提取与融合。多尺度融合模块的表达式为，其中，为多尺度融合模块的输入，为多尺度融合模块的输出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度融合网络的高速公路恶劣天气识别方法，其特征在于：包括图像训练部分以及图像识别部分；图像训练部分的步骤如下：a1：采集高速公路的监控视频，并提取视频中的图像，将所述图像进行分类处理，按照恶劣天气种类进行划分，并将所述恶劣天气建立若干个能见度等级；a2：构建恶劣天气一体化识别的多尺度融合网络模型，采用轻量级网络ShuffleNet进行恶劣天气分类，利用光谱滤波与结构滤波分别提取图像的光谱与结构特征，并结合多尺度融合模型进行多尺度特征提取与融合，将所述特征输入softmax层对所述恶劣天气进行能见度等级分类；a3：设计用于优化网络模型参数的目标函数，预设模型超参数；a4：采用Kaiming初始化方法进行网络模型参数初始化，将训练数据集输入模型，根据所述目标函数，采用Adam优化器实现模型参数优化与更新，直至模型收敛；图像识别部分的步骤如下：b1：将高速公路监控图像输入所述多尺度融合网络模型，完成对所述恶劣天气进行分类和所述恶劣天气的能见度等级进行分类。2.根据权利要求1所述的一种基于多尺度融合网络的高速公路恶劣天气识别方法，其特征在于：所述a1中，参考交通气象站观测数据，对所述恶劣天气中的图像能见度进行标注，设置若干种能见度等级，并将采集的高速公路监控图像划分不同种类，按照一定比例划分训练数据集和测试数据集...

【专利技术属性】
技术研发人员：肖鹏飞，黄亮，罗晓春，张振东，田小毅，薛梅，周雪城，孙家清，
申请(专利权)人：江苏省气象服务中心，
类型：发明
国别省市：