基于改进YOLO模型的堤防管涌险情智能识别方法技术

本发明专利技术公开了一种基于改进YOLO模型的堤防管涌险情智能识别方法，该方法包括改进和训练YOLO模型流程和基于改进YOLO模型堤防管涌识别的过程。改进和训练YOLO模型流程包括数据采集、制作样本、图像去背景处理和模型改进和训练步骤；基于改进YOLO模型识别的堤防管涌过程包括获取图像、划分窗口、图像处理与堤防管涌识别和输出最终识别结果等步骤。本发明专利技术利用单个YOLO模型实现堤防管涌目标特征提取、识别、目标定位等过程，克服人工特征提取的不足深层次挖掘数据所含信息；修改了原始YOLO模型，提升到小目标识别能力和速度，利用针对性的图像背景方法，分离大部分图像的背景，减少图像背景的干扰，提高堤防管涌识别精度。提高堤防管涌识别精度。提高堤防管涌识别精度。

【技术实现步骤摘要】
基于改进YOLO模型的堤防管涌险情智能识别方法


[0001]本专利技术属于图像处理
，特别涉及利用改进YOLO模型进行堤防管涌识别方法，可用于堤防的巡查。

技术介绍

[0002]堤防管涌识别是使用计算机视觉等方法判断图像中是否存在堤防管涌险情，并给出在图像中的精准位置。我国洪涝灾害问题突出，防洪减灾关系人民生命财产安全、社会稳定与可持续发展。堤防工程是我国防洪体系的重要基础。堤防险情一旦致灾，将给沿岸人民的生命财产带来重大损失。堤防管涌是堤防险情中最为严重的，堤防管涌识别是现代水利工程迫切需要解决的技术难题。
[0003]目前，已经发展出一些堤防管涌识别方法，这些方法是采用专业设备对堤防管涌进行识别。例如：使用电阻率层析成像(ERT)方法可以通过电性变化间接识别，利用光纤分布式温度传感识别管涌，采用专业地质雷达对防护堤土层的密实程度和管涌等病害情况进行了无损探测。但这些方法识别速度慢，成本高。
[0004]近年来，卷积神经网络由于具有良好的迁移性、能够提取目标的深层特征，更好地表现目标的本质信息，具有良好的鲁棒性，因此，其在目标识别和识别等众多领域中取得令人瞩目的成绩，YOLO模型是基于卷积神经网络的目标识别模型，具有良好的目标识别性能。但由于在堤防管涌识别问题中，目标小，并且采用的是热红外图像，不是常见的彩色图像，所以不适宜直接用于堤防管涌识别，提高堤防管涌识别的识别速度和精度，还有待于研究。
[0005]本专利技术通过对标准YOLO模型进行改进，可用于基于无人机热红外图像的堤防管涌识别，具有识别速度快，成本低的优势。目前没有发现同本专利技术类似技术的说明或报道，也尚未收集到国内外类似的资料。

技术实现思路

[0006]本专利技术的目的是针对现有技术的不足，提供一种基于改进YOLO模型的堤防管涌险情智能识别方法。
[0007]为实现上述目的，本专利技术采用了下述技术方案：一种基于改进YOLO模型的堤防管涌险情智能识别方法，包括改进和训练YOLO模型和堤防管涌识别两个过程；
[0008]所述改进和训练YOLO模型的具体步骤如下：
[0009]步骤S11、数据采集：使用携带热红外传感器的无人机巡检堤防获取得的河坝的热红外图像数据，包含有堤防管涌热红外图像以及无堤防管涌热红外图像；
[0010]步骤S12、制作样本：包括数据标注整理和堤防管涌样本生成两步；
[0011]步骤S13、图像去背景处理；
[0012]步骤S14、模型改进和训练：改进的YOLO模型由CBL卷积模块、跨阶段局部融合网络模块、空间金字塔池化模块组成；跨阶段局部融合网络模块包括一个跨阶段局部融合网络CSP1_4模块、两个跨阶段局部融合网络CSP1_12模块、一个跨阶段局部融合网络CSP2_1模
块、三个跨阶段局部融合网络CSP2_4模块；YOLO模型的输入是经过去背景处理后的640*640热红外图像；第一个输入端连接一个CBL卷积模块和跨阶段局部融合网络CSP1_4模块，得到特征图A；跨阶段局部融合网络CSP1_4模块后连接第二个CBL卷积模块和第一个跨阶段局部融合网络CSP1_12模块，第一个跨阶段局部融合网络CSP1_12模块输出特征图B；第一个跨阶段局部融合网络CSP1_12模块后连接第三个CBL卷积模块和第二个跨阶段局部融合网络CSP1_12模块，第二个跨阶段局部融合网络CSP1_12模块输出特征图C；第二个跨阶段局部融合网络CSP1_12模块后连接第四个CBL卷积模块、第一个空间金字塔池化模块SPP和跨阶段局部融合网络CSP2_1模块，跨阶段局部融合网络CSP2_1模块输出特征图D；跨阶段局部融合网络CSP2_1模块后连接第一个上采样模块，第一个上采样模块的输出与特征图C跨接形成新的特征图E；特征图E连接第一个跨阶段局部融合网络CSP2_4模块、第五个CBL卷积模块和第二个上采样模块，第二个上采样模块的输出与特征图B跨接，形成新的特征图F；将特征图F连接第二个跨阶段局部融合网络CSP2_4模块和第六个CBL模块和第三个上采样模块，第三个上采样模块的输出与特征图A跨接，形成新的特征图G；特征图G连接第三个跨阶段局部融合网络CSP2_4模块和一个卷积层，得到模型的输出。
[0013]作为优选，所述跨阶段局部融合网络CSP1_4模块和跨阶段局部融合网络CSP1_12模块均包含一个CBL模块、X个残差模块和一个卷积层后的输出与模块输入经过一个卷积层的输出进行跨接，再将跨接的结果连接BN层、Leaky Relu激活函数和一个CBL模块。
[0014]作为优选，所述跨阶段局部融合网络CSP2_1模块、三个跨阶段局部融合网络CSP2_4模块均包含一个CBL模块、2X个CBL模块和一个卷积层后的输出与模块输入经过一个卷积层的输出进行跨接，再将跨接的结果连接BN层、Leaky Relu激活函数和一个CBL模块。
[0015]作为优选，所述空间金字塔池化模块包含一个CBL层，3个最大池化层，然后将3个最大池化层的输出进行跨接并连接一个CBL层。
[0016]作为优选，步骤S12中数据标注整理过程为：对采集到的热红外图像数据集进行标记，将特征明显的热红外图像挑选出来，将其中难以识别或已经检修后的无效数据剔除，并将选择挑选后的热红外图像，使用640*640的像素大小对整张的堤防热红外图像进行分割，然后将分割完成的数据集，使用Labelme软件标出所有堤防管涌的特征，使用矩形框进行标注，以“leakage”作为堤防管涌标识，获得一组与热红外图像对应的标注集；另外选取一些没有堤防管涌的常见的堤防热红外图像作为负样本。
[0017]作为优选，步骤S12中堤防管涌样本生成过程为：采用随机裁剪、翻转、模糊和改变亮度、对比度、随机排布扩增样本；所有的样本统一缩放为640*640像素；将生成的样本和采集到的样本按照8:2:1随机划分为训练集、验证集、测试集；使用K
‑
means算法对训练集中标注的候选框进行聚类以优化预测框的大小。
[0018]作为优选，步骤S13中图像去背景处理过程为：将彩色热红外图像转化成灰度图像，利用统计方法确定阈值τ，该阈值为水体灰度值的上限，通过公式(1)对图像进行二值化：
[0019][0020]式中，x表示水体灰度值；然后通过形态学腐蚀、膨胀操作，减少噪声和空洞的影响，得到彩色热红外图像的前景区域和背景区域；
[0021]根据公式(2)对彩色热红外图像进行处理，
[0022][0023]当p位于背景区域，其灰度x
p
设置为0，否则，将其灰度x
p
设置为255
‑
x
p
；通过以上处理，保留了前景信息，去除了背景信息，可以减少背景信息的干扰。
[0024]进一步地，所述堤防管涌识别的步骤如下：
[0025]步骤S21、获取图像：通过携带热红外传感器的无人机获取堤防的热红外图像；
[0026]步骤S22、划分窗口：建立划分窗本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进YOLO模型的堤防管涌险情智能识别方法，包括改进和训练YOLO模型和堤防管涌识别两个过程；其特征在于，所述改进和训练YOLO模型的具体步骤如下：步骤S11、数据采集：使用携带热红外传感器的无人机巡检堤防获取得的堤防的热红外图像数据，包含有堤防管涌热红外图像以及无堤防管涌热红外图像；步骤S12、制作样本：包括数据标注整理和堤防管涌样本生成两步；步骤S13、图像去背景处理；步骤S14、模型改进和训练：改进的YOLO模型由CBL卷积模块、跨阶段局部融合网络模块、空间金字塔池化模块组成；跨阶段局部融合网络模块包括一个跨阶段局部融合网络CSP1_4模块、两个跨阶段局部融合网络CSP1_12模块、一个跨阶段局部融合网络CSP2_1模块、三个跨阶段局部融合网络CSP2_4模块；YOLO模型的输入是经过去背景处理后的640*640热红外图像；第一个输入端连接一个CBL卷积模块和跨阶段局部融合网络CSP1_4模块，得到特征图A；跨阶段局部融合网络CSP1_4模块后连接第二个CBL卷积模块和第一个跨阶段局部融合网络CSP1_12模块，第一个跨阶段局部融合网络CSP1_12模块输出特征图B；第一个跨阶段局部融合网络CSP1_12模块后连接第三个CBL卷积模块和第二个跨阶段局部融合网络CSP1_12模块，第二个跨阶段局部融合网络CSP1_12模块输出特征图C；第二个跨阶段局部融合网络CSP1_12模块后连接第四个CBL卷积模块、第一个空间金字塔池化模块SPP和跨阶段局部融合网络CSP2_1模块，跨阶段局部融合网络CSP2_1模块输出特征图D；跨阶段局部融合网络CSP2_1模块后连接第一个上采样模块，第一个上采样模块的输出与特征图C跨接形成新的特征图E；特征图E连接第一个跨阶段局部融合网络CSP2_4模块、第五个CBL卷积模块和第二个上采样模块，第二个上采样模块的输出与特征图B跨接，形成新的特征图F；将特征图F连接第二个跨阶段局部融合网络CSP2_4模块和第六个CBL模块和第三个上采样模块，第三个上采样模块的输出与特征图A跨接，形成新的特征图G；特征图G连接第三个跨阶段局部融合网络CSP2_4模块和一个卷积层，得到模型的输出。2.根据权利要求1所述的基于改进YOLO模型的堤防管涌险情智能识别方法，其特征在于，所述跨阶段局部融合网络CSP1_4模块和跨阶段局部融合网络CSP1_12模块均包含一个CBL模块、X个残差模块和一个卷积层后的输出与模块输入经过一个卷积层的输出进行跨接，再将跨接的结果连接BN层、Leaky Relu激活函数和一个CBL模块。3.根据权利要求1所述的基于改进YOLO模型的堤防管涌险情智能识别方法，其特征在于，所述跨阶段局部融合网络CSP2_1模块和跨阶段局部融合网络CSP2_4模块均包含一个CBL模块、2X个CBL模块和一个卷积层后的输出与模块输入经过一个卷积层的输出进行跨接，再将跨接的结果连接BN层、Leaky Relu激活函数和一个CBL模块。4.根据权利要求1所述的基于改进YOLO模型的堤防管涌险情智能识别方法，其特征在于，所述空间金字塔池化模块包含一个CBL层，3个最大池化层，然后将3个最大池化层的输出进行跨接并连接一个CBL层。5....

【专利技术属性】
技术研发人员：许小华，叶发茂，张秀平，高江林，周信文，黄萍，
申请(专利权)人：东华理工大学，
类型：发明
国别省市：