一种基于模型优化和压缩的图像快速去雾方法及装置制造方法及图纸

本发明专利技术公布一种基于模型优化和压缩的图像快速去雾方法及装置，它涉及图像快速去雾领域。去雾装置包括：摄像头、树莓派以及显示屏。去雾方法是对一体化去雾网络AOD

【技术实现步骤摘要】
一种基于模型优化和压缩的图像快速去雾方法及装置


[0001]本专利技术涉及图像快速去雾领域，尤其涉及一种基于模型优化和压缩的图像快速去雾方法及装置，包括基于深度学习的图像去雾算法以及模型压缩与加速领域的剪枝算法。

技术介绍

[0002]雾霾天气拍摄的图像呈现颜色偏移、色彩丢失、细节模糊等现象，这些退化现象严重限制了后续图像分类，目标检测等技术的实际应用。因此为了获得清晰的图片来保障技术的正常运行，大量研究人员开始关注图像去雾技术。
[0003]在早期的图像去雾领域中，一般采用图像增强的去雾方法，通过改变图像亮度对比度，能够让图片看起来更加清晰。例如：直方图均衡化，Retinex算法等。此类方法适用于实时性高的场合，且应用范围广，但去雾效果质量较差。随着去雾算法的不断发展，出现基于物理模型的去雾算法。该类算法通过估算透射率和大气光系数，最后利用大气光散射模型逆向求解无雾图像。基于物理模型的算法依赖于先验知识，存在一定的局限性。例如何凯明等人通过对大量有雾和无雾图像进行统计分析后提出暗通道先验理论，很好的估计出透射率图和大气光值，但对于雪地、白色背景墙、天空等区域的去雾效果并不好。
[0004]基于深度学习的去雾算法通过对大气光散射模型的分析，通过数据训练的方法构建神经网络模型，最终恢复出无雾图像。LI等人提出了一种用CNN（卷积神经网络）构建的AOD
‑
Net模型，AOD
‑
Net是在大气散射模型基础上完成的，通过轻量级CNN直接生成清晰图像。虽然AOD
‑<br/>Net的去雾效果较好，但计算量较大，难以在嵌入式设备上实现实时去雾。

技术实现思路

[0005]本专利技术提供了一种基于模型优化和压缩的图像快速去雾方法及装置，目的在于通过改进一种去雾效果较好的深度学习算法，在保持良好的去雾效果的同时，能够在体积小、成本低、计算能力有限的嵌入式设备中实现实时性，能够应用在行车记录仪，户外监控等系统中。
[0006]本专利技术所采用的技术方案是：一种基于优化和压缩的图像去雾方法，在去雾装置树莓派中对图像进行实时去雾，该方法是对AOD
‑
Net的优化，包括：将AOD
‑
Net的五层卷积神经网络减少到四层，减少部分卷积核的尺寸，并用深度可分离卷积代替其中部分普通卷积；对改进的AOD
‑
Net采用剪枝算法进一步优化AOD
‑
Net的网络结构；将优化后的模型转化为ONNX格式，部署在树莓派中，使用Opencv调用；一种去雾装置包括：摄像头，用于获取视频图像；树莓派，利用训练好的神经网络，实时的对传入的视频流逐帧的去雾；屏幕，用于显示清晰画面。
[0007]进一步，所述将AOD
‑
Net的五层卷积神经网络减少到四层，减少部分卷积核尺寸，并用深度可分离卷积代替其中部分普通卷积具体为：AOD
‑
Net中的Conv1仍然使用1*1卷积核以及普通的卷积方式；Conv2使用深度可分离卷积代替普通卷积，将Conv1和Conv2的特征图拼接在一起送入下一层；Conv3中，用3*3的卷积核提取特征，使用深度可分离卷积代替普通卷积，最后将来自Conv1，Conv2，Conv3的特征拼接在一起，送入Conv4；在Conv4用1*1的卷积核取代3*3的卷积核提取特征。
[0008]进一步，所述对改进的AOD
‑
Net采用剪枝算法进一步优化AOD
‑
Net结构具体步骤为：步骤1，分别移除Conv1和Conv2中权值和最小的1个卷积核，移除Conv3中权值和最小的2个卷积核，对剪枝后的模型进行微调；步骤2，微调后的模型继续移除Conv1中权值和最小的1个卷积核、Conv2中权值和最小的1个卷积核以及移除Conv3中权值和最小的2个卷积核，对剪枝后的模型再次微调。
[0009]最终我们优化的AOD
‑
Net模型中Conv1移除2个卷积核，Conv2移除2个卷积核，Conv3移除4个卷积核。
[0010]本专利技术提供的技术方案的有益效果是：为了减少去雾设备的成本以及实现去雾设备小型化，大多选择将去雾算法部署在FPGA（可编程门阵列）中，虽然能够获得较高的实时性，但仍然使用基于物理模型的去雾算法，去雾效果较差。目前基于深度学习的去雾算法取得了显著的去雾效果，但将基于深度学习的去雾算法部署在FPGA是有难度的。为了能够快速部署去雾模型，本专利技术选择将基于深度学习的去雾算法部署在树莓派中，通过优化网络结构，在保证去雾效果的同时，实现了较高的实时性，能够达到40帧/s的速度。
附图说明
[0011]图1为本专利技术整体结构图；图2是本专利技术打开上盖后的结构图；图3为优化后AOD
‑
Net的网络结构；图4是去雾效果图。
具体实施方式
[0012]为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。
[0013]在雾霾天气下，空气中悬浮大量微小颗粒，这导致能见度下降。本专利技术实施例的目的在于提供一种可以实现实时去雾的方法及装置，能够应用在雾天工作的行车记录仪、户外监控等系统中。
[0014]为了达到以上目的，需要去雾设备小型化。目前大多数去雾算法是基于FPGA实现，因其可并行处理的特性，能够高效实现图像去雾算法。但是部署的算法一般是基于物理模型的算法，去雾效果较差。如果将基于深度学习的去雾算法移植到FPGA，面临着开发时间长、需要定制等问题。而树莓派实质上是一个基于ARM架构的小型嵌入式计算机，能够完成
PC的任务和应用。在树莓派中部署深度学习算法具备简单、方便、成本低等特点，因此将深度学习算法部署在树莓派中成为一个不错的选择。但是树莓派计算能力有限，移植基于深度学习的去雾算法在树莓派上面临着去雾效率低的问题。本专利技术实施例将优化后的AOD
‑
Net移植到树莓派上，去雾速度能够达到40帧/s的速度，实时性较高，能够胜任对实时性要求较高的场景。
[0015]实施例1针对原始的AOD
‑
Net计算量大，无法在树莓派实现实时性的问题。本专利技术实施例首先优化其网络结构，减小了AOD
‑
Net网络的深度和卷积核尺寸，用深度可分离卷积代替了部分普通卷积，其中深度可分离卷积由谷歌提出，是普通卷积的改进，能够有效减少计算量；对改进的模型结构使用剪枝算法进一步优化，最后将pytorch框架下的模型转化为ONNX格式部署在树莓派上，下面结合具体的实例对本专利技术实施例提供的一种基于模型优化和压缩的图像快速去雾方法及装置进行详细地介绍，详见下文描述。
[0016]一、优化AOD
‑
Net的网络结构其中，AOD
‑
Net是基于大气光散射模型进行设计：J(x)=K(x)I(x)
‑
K(x)+b
ꢀꢀꢀꢀꢀꢀꢀꢀ
（1）其中，b是默认值为1的恒定偏量，I本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模型优化和压缩的图像快速去雾方法，在去雾装置树莓派中，对图像进行快速去雾，该去雾方法是对一体化去雾网络AOD
‑
Net的优化，包括以下步骤：将AOD
‑
Net的五层卷积神经网络减少到四层，减少部分卷积核尺寸，并用深度可分离卷积代替其中部分普通卷积；对改进的AOD
‑
Net采用剪枝算法进一步优化AOD
‑
Net的网络结构；将优化后的模型转化为ONNX格式，部署在树莓派中，使用Opencv调用；所述一种去雾装置包括：摄像头，用于获取视频图像；树莓派，利用训练好的神经网络，实时的对传入的视频流逐帧的去雾；屏幕，用于显示清晰画面。2.根据权利要求1所述的将AOD
‑
Net的五层卷积神经网络减少到四层，减少部分卷积核尺寸，并用深度可分离卷积代替其中部分普通卷积具体为：AOD
‑
Net中的Conv1仍然使用1*1卷积核以及普通的卷积方式；C...

【专利技术属性】
技术研发人员：周刚，杨亚伟，石军，林猛，
申请(专利权)人：新疆大学，
类型：发明
国别省市：