一种基于多级联递进卷积结构的图像去雨方法及系统技术方案

本申请公开了一种基于多级联递进卷积结构的图像去雨方法及系统，其中，方法包括以下步骤：获取雨天环境图像数据集，并基于雨天环境图像数据集对多级联递进卷积算子进行训练优化，得到优化后多级联递进卷积算子；基于优化后多级联递进卷积算子，构建多级联递进卷积算子模块；基于多级联递进卷积算子模块构建渐进循环去雨网络；采集待处理图像，基于渐进循环去雨网络对待处理图像进行处理，得到处理后图像。本申请能够在少量增加参数量的情况下有效地扩大卷积层的感受野，提升了对图像细节特征提取能力与全局特征分析能力；能够更细致地捕捉到不同大小形状的雨痕或雨纹，对其进行剔除且能有效地保留原无雨图片的背景细节，有广泛的应用前景。泛的应用前景。泛的应用前景。

【技术实现步骤摘要】
一种基于多级联递进卷积结构的图像去雨方法及系统


[0001]本申请涉及图像处理领域，具体涉及一种基于多级联递进卷积结构的图像去雨方法及系统。

技术介绍

[0002]随着人工智能与深度学习的研究与发展，计算机视觉作为该领域的重要研究方向，已被成功应用于各种实际场景当中，例如目标检测与识别、无人驾驶、工业检测、虚拟现实技术等。计算机视觉的广泛应用场景，也对图像的预处理技术提出了更高的要求，采集到清晰完整的图像可以有效提升视觉任务的完成度与精度，但在实际的图像获取过程中，相机采集地点常处于室外，因此不可避免地会遭遇如雨天或雾天等会对图像造成遮蔽的天气状况。若采集的图像不清晰，则会对计算机视觉任务造成不可控的恶劣影响，诸如准确率降低、精度下降、网络无法收敛等。因此将采集到的雨天图像进行恢复，去除雨痕得到干净的无雨图像是相当有意义的。
[0003]对于目前的去雨任务而言，现在的研究主流仍是采用深度学习的方法，构建出合适的神经网络架构，用大数据集训练网络，让网络捕捉雨痕特征并自行去除。但现有的网络常只考虑到浅层的单一尺度雨天图像特征信息，并未深入挖掘全局特征图所包含的多尺度与精细化的特征。且雨痕雨线在雨天图像中所呈现出的大小、方向、形状都有很大的差异，网络学习过程中只采用单一尺度处理取得的去雨效果很有限，难以将雨纹去除干净。

技术实现思路

[0004]本申请提供了一种基于多级联递进卷积结构的图像去雨方法及系统，通过训练多级联递进卷积算子并基于多级联递进卷算子构构建渐进循环去雨网络，再基于渐进循环去雨网络对待处理图像进行多次循环处理，完成图像的去雨。
[0005]为达到上述目的，本申请提供了以下方案：
[0006]一种基于多级联递进卷积结构的图像去雨方法，包括以下步骤：
[0007]获取雨天环境图像数据集，并基于所述雨天环境图像数据集对多级联递进卷积算子进行训练优化，得到优化后多级联递进卷积算子；
[0008]基于所述优化后多级联递进卷积算子，构建多级联递进卷积算子模块；
[0009]基于所述多级联递进卷积算子模块构建渐进循环去雨网络；
[0010]采集待处理图像，基于所述渐进循环去雨网络对所述待处理图像进行处理，得到处理后图像。
[0011]优选的，获取所述雨天环境图像数据集的方法包括：
[0012]基于线性叠加模型合成所述雨天环境图像数据集；
[0013]将所述雨天环境图像数据集按预设比例划分为训练集和测试集。
[0014]优选的，所述优化后多级联递进卷积算子的训练方法包括：
[0015]将所述训练集输入至所述多级联递进卷积模块中的首层升维卷积计算操作进行
特征图的维度增广，得到全局特征图；
[0016]基于所述多级联递进卷积模块中的四层阶梯型卷积结构，对所述全局特征图进行由上至下的卷积计算，得到第一输出结果；
[0017]对所述第一输出结果进行拼接，并进行特征信息整合，得到特征提取结果；
[0018]基于所述特征提取结果与所述测试集进行对比并完成训练，得到优化后多级联递进卷积算子。
[0019]优选的，所述多级联递进卷积算子模块的构建方法包括：
[0020]通过残差跳跃连接方式，串联若干所述优化后多级联递进卷积算子，得到所述多级联递进卷积算子模块。
[0021]优选的，所述渐进循环去雨网络构建方法包括：
[0022]基于第一卷积层和ReLU激活层构建第一层网络；
[0023]基于长短期记忆网络层构建第二层网络；
[0024]基于所述多级联递进卷积模块构建第三层网络；
[0025]基于第二卷积层构建第四层网络；
[0026]基于所述第一层网络、所述第二层网络、所述第三层网络和所述第四层网络构建所述渐进循环去雨网络。
[0027]优选的，所述处理后图像的获得方法包括：
[0028]将所述待处理图像输入至所述渐进循环去雨网络进行多次循环处理，得到处理后图像。
[0029]本申请还提供了一种基于多级联递进卷积结构的图像去雨系统，包括：训练单元、算子模块构建单元、网络构建单元和处理单元；
[0030]所述训练单元用于获取雨天环境图像数据集，并基于所述雨天环境图像数据集对多级联递进卷积算子进行训练优化，得到优化后多级联递进卷积算子；
[0031]所述算子模块构建单元用于基于所述优化后多级联递进卷积算子，构建多级联递进卷积算子模块；
[0032]所述网络构建单元用于基于所述多级联递进卷积算子模块构建渐进循环去雨网络；
[0033]所述处理单元用于采集待处理图像，基于所述渐进循环去雨网络对所述待处理图像进行处理，得到处理后图像。
[0034]优选的，获取所述雨天环境图像数据集的方法包括：
[0035]基于线性叠加模型合成所述雨天环境图像数据集；
[0036]将所述雨天环境图像数据集按预设比例划分为训练集和测试集。
[0037]优选的，所述优化后多级联递进卷积算子的训练方法包括：
[0038]将所述训练集输入至所述多级联递进卷积模块中的首层升维卷积计算操作进行特征图的维度增广，得到全局特征图；
[0039]基于所述多级联递进卷积模块中的四层阶梯型卷积结构，对所述全局特征图进行由上至下的卷积计算，得到第一输出结果；
[0040]对所述第一输出结果进行拼接，并进行特征信息整合，得到特征提取结果；
[0041]基于所述特征提取结果与所述测试集进行对比并完成训练，得到优化后多级联递
进卷积算子。
[0042]本申请的有益效果为：
[0043](1)能够在少量增加参数量的情况下有效地扩大卷积层的感受野，提升了对图像细节特征提取能力与全局特征分析能力；
[0044](2)能够更细致地捕捉到不同大小形状的雨痕或雨纹，对其进行剔除且能有效地保留原无雨图片的背景细节；
[0045](3)通过合理地调整通道数来达到降低网络参数量的目的，不仅缩短了学习时间与学习成本，使得网络更加轻量化，还可以便携搭载到各种车载图像处理设备中，有广泛的应用前景。
附图说明
[0046]为了更清楚地说明本申请的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0047]图1为本申请实施例一的方法流程示意图；
[0048]图2为本申请实施例一的多级联递进卷积算子结构示意图；
[0049]图3为本申请实施例一的参数轻量化的多级联递进卷积算子结构示意图；
[0050]图4为本申请实施例一的渐进循环去雨网络的结构框图；
[0051]图5为本申请实施例一的渐进循环去雨网络的详细结构图；
[0052]图6为本申请实施例二的系统结构示意图。
具体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多级联递进卷积结构的图像去雨方法，其特征在于，包括以下步骤：获取雨天环境图像数据集，并基于所述雨天环境图像数据集对多级联递进卷积算子进行训练优化，得到优化后多级联递进卷积算子；基于所述优化后多级联递进卷积算子，构建多级联递进卷积算子模块；基于所述多级联递进卷积算子模块构建渐进循环去雨网络；采集待处理图像，基于所述渐进循环去雨网络对所述待处理图像进行处理，得到处理后图像。2.根据权利要求1所述一种基于多级联递进卷积结构的图像去雨方法，其特征在于，获取所述雨天环境图像数据集的方法包括：基于线性叠加模型合成所述雨天环境图像数据集；将所述雨天环境图像数据集按预设比例划分为训练集和测试集。3.根据权利要求2所述一种基于多级联递进卷积结构的图像去雨方法，其特征在于，所述优化后多级联递进卷积算子的训练方法包括：将所述训练集输入至所述多级联递进卷积模块中的首层升维卷积计算操作进行特征图的维度增广，得到全局特征图；基于所述多级联递进卷积模块中的四层阶梯型卷积结构，对所述全局特征图进行由上至下的卷积计算，得到第一输出结果；对所述第一输出结果进行拼接，并进行特征信息整合，得到特征提取结果；基于所述特征提取结果与所述测试集进行对比并完成训练，得到优化后多级联递进卷积算子。4.根据权利要求1所述一种基于多级联递进卷积结构的图像去雨方法，其特征在于，所述多级联递进卷积算子模块的构建方法包括：通过残差跳跃连接方式，串联若干所述优化后多级联递进卷积算子，得到所述多级联递进卷积算子模块。5.根据权利要求1所述一种基于多级联递进卷积结构的图像去雨方法，其特征在于，所述渐进循环去雨网络构建方法包括：基于第一卷积层和ReLU激活层构建第一层网络；基于长短期记忆网络层构建第二层网络；基于所述多级联递进卷积模块构建第三层网络；基于...

【专利技术属性】
技术研发人员：魏宪，郭杰龙，俞辉，李杰，张剑锋，邵东恒，
申请(专利权)人：泉州装备制造研究所，
类型：发明
国别省市：