【技术实现步骤摘要】
一种基于注意力机制编解码的图像去雨方法及装置
[0001]本申请涉及图像处理
，具体涉及一种基于注意力机制编解码的图像去雨方法及装置。
技术介绍
[0002]数字图像在日常生活生产中无处不在，现阶段关于数字图像的研究，聚焦于针对雨、雾、雪等天气原因造成的图像退化及信息丢失的图像增强。
[0003]由于天气引起的图像退化造成视觉干扰，对感知功能如检测、分割、深度评估等具有很大的影响。近些年，基于CNN的去雨、去雾以及去雪等技术迅速发展，并且效果明显。而研究表明，大部分方法聚焦于当前单个任务，或者为每个任务单独进行微调，尽管效果理想，但不是通用解决方案，泛化性没有体现。故而在实时系统中应用的可能性不大。
[0004]因此，为满足涉及天气因素的数字图像处理需求，现提供一种基于注意力机制编解码的图像去雨技术。
技术实现思路
[0005]本申请提供一种基于注意力机制编解码的图像去雨方法及装置，基于逐步图像退化效果建立数据库，进而构建对应的网络模型，结合不同程度的去雨图像以及原始图像的对应关系，进行图像去雨操作，在保障图像去雨效果的前提下，有效缩小模型尺寸，提高计算效率。
[0006]为实现上述目的，本申请提供以下方案。
[0007]第一方面，本申请提供了一种基于注意力机制编解码的图像去雨方法，所述方法包括以下步骤：
[0008]基于不同的真实无雨图像以及对应的真实小雨图像和真实大雨图像，构建退化数据库；
[0009]基于所述退化数据库，构建网络模型；>[0010]基于所述网络模型对所述真实小雨图像或所述真实大雨图像进行去雨操作，获得对应的模型去雨图像；
[0011]基于所述模型去雨图像以及对应的所述真实无雨图像，对所述网络模型进行优化；
[0012]基于完成优化的所述网络模型对目标图像进行去雨操作。
[0013]进一步的，所述基于不同的真实无雨图像以及对应的真实小雨图像和真实大雨图像，构建退化数据库中，包括以下步骤；
[0014]基于所述真实无雨图像，进行小雨喷洒模拟，获得对应的所述真实小雨图像；
[0015]基于所述真实无雨图像，进行大雨喷洒模拟，获得对应的所述真实大雨图像；
[0016]将不同的所述真实无雨图像以及对应的所述真实小雨图像和所述真实大雨图像进行关联，并构建所述退化数据库。
[0017]进一步的，所述基于所述退化数据库，构建网络模型中，包括以下步骤：
[0018]将所述真实无雨图像作为原始状态图像，将所述真实小雨图像作为浅度退化图像，将所述真实大雨图像作为深度退化图像；
[0019]基于所述原始状态图像、对应的所述浅度退化图像以及对应的所述深度退化图像体现的变化情况，构建所述网络模型。
[0020]进一步的，所述基于所述原始状态图像、对应的所述浅度退化图像以及对应的所述深度退化图像体现的变化情况，构建所述网络模型中，包括以下步骤：
[0021]基于所述原始状态图像、对应的所述浅度退化图像以及对应的所述深度退化图像，倒推模拟去雨操作的图片变化情况；
[0022]基于模拟获得的去雨操作的图片变化情况，构建所述网络模型。
[0023]进一步的，所述基于所述模型去雨图像以及对应的所述真实无雨图像，对所述网络模型进行优化中，包括以下步骤：
[0024]基于所述模型去雨图像以及对应的所述真实无雨图像，获得对应的峰值信噪比以及所述模型去雨图像与所述真实无雨图像之间的结构相似度；
[0025]基于所述峰值信噪比以及所述结构相似度判断所述网络模型区域操作是否满足预设要求，若不满足则对所述网络模型进行优化。
[0026]第二方面，本申请提供了一种基于注意力机制编解码的图像去雨装置，所述装置包括：
[0027]数据库构建模块，其用于基于不同的真实无雨图像以及对应的真实小雨图像和真实大雨图像，构建退化数据库；
[0028]模型构建模块，其用于基于所述退化数据库，构建网络模型；
[0029]去雨模型模块，其用于基于所述网络模型对所述真实小雨图像或所述真实大雨图像进行去雨操作，获得对应的模型去雨图像；
[0030]模型优化模块，其用于基于所述模型去雨图像以及对应的所述真实无雨图像，对所述网络模型进行优化；
[0031]去雨执行模块，其用于基于完成优化的所述网络模型对目标图像进行去雨操作。
[0032]进一步的，所述数据库构建模块用于基于所述真实无雨图像，进行小雨喷洒模拟，获得对应的所述真实小雨图像；
[0033]所述数据库构建模块用于基于所述真实无雨图像，进行大雨喷洒模拟，获得对应的所述真实大雨图像；
[0034]所述数据库构建模块用于将不同的所述真实无雨图像以及对应的所述真实小雨图像和所述真实大雨图像进行关联，并构建所述退化数据库。
[0035]进一步的，所述模型构建模块用于将所述真实无雨图像作为原始状态图像，将所述真实小雨图像作为浅度退化图像，将所述真实大雨图像作为深度退化图像；
[0036]所述模型构建模块用于基于所述原始状态图像、对应的所述浅度退化图像以及对应的所述深度退化图像体现的变化情况，构建所述网络模型。
[0037]进一步的，所述模型构建模块用于基于所述原始状态图像、对应的所述浅度退化图像以及对应的所述深度退化图像，倒推模拟去雨操作的图片变化情况；
[0038]所述模型构建模块用于基于模拟获得的去雨操作的图片变化情况，构建所述网络
模型。
[0039]进一步的，所述模型优化模块用于基于所述模型去雨图像以及对应的所述真实无雨图像，获得对应的峰值信噪比以及所述模型去雨图像与所述真实无雨图像之间的结构相似度；
[0040]所述模型优化模块用于基于所述峰值信噪比以及所述结构相似度判断所述网络模型区域操作是否满足预设要求，若不满足则对所述网络模型进行优化。
[0041]本申请提供的技术方案带来的有益效果包括：
[0042]本申请基于逐步图像退化效果建立数据库，进而构建对应的网络模型，结合不同程度的去雨图像以及原始图像的对应关系，进行图像去雨操作，在保障图像去雨效果的前提下，有效缩小模型尺寸，提高计算效率。
附图说明
[0043]术语解释：
[0044]MLP：Multilayer Perceptron，多层感知器；
[0045]CNN：Convolutional Neural Networks，卷积神经网络；
[0046]PSNR：Peak Signal to Noise Ratio，峰值信噪比
[0047]SSIM：structural similarity index，结构相似性指标
[0048]MSA：Multi
‑
head Self
‑
attention Layer，多头自注意层。
[0049]为了更清楚地说明本申请实施例本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于注意力机制编解码的图像去雨方法，其特征在于，所述方法包括以下步骤：基于不同的真实无雨图像以及对应的真实小雨图像和真实大雨图像，构建退化数据库；基于所述退化数据库，构建网络模型；基于所述网络模型对所述真实小雨图像或所述真实大雨图像进行去雨操作，获得对应的模型去雨图像；基于所述模型去雨图像以及对应的所述真实无雨图像，对所述网络模型进行优化；基于完成优化的所述网络模型对目标图像进行去雨操作。2.如权利要求1所述的基于注意力机制编解码的图像去雨方法，其特征在于，所述基于不同的真实无雨图像以及对应的真实小雨图像和真实大雨图像，构建退化数据库中，包括以下步骤；基于所述真实无雨图像，进行小雨喷洒模拟，获得对应的所述真实小雨图像；基于所述真实无雨图像，进行大雨喷洒模拟，获得对应的所述真实大雨图像；将不同的所述真实无雨图像以及对应的所述真实小雨图像和所述真实大雨图像进行关联，并构建所述退化数据库。3.如权利要求1所述的基于注意力机制编解码的图像去雨方法，其特征在于，所述基于所述退化数据库，构建网络模型中，包括以下步骤：将所述真实无雨图像作为原始状态图像，将所述真实小雨图像作为浅度退化图像，将所述真实大雨图像作为深度退化图像；基于所述原始状态图像、对应的所述浅度退化图像以及对应的所述深度退化图像体现的变化情况，构建所述网络模型。4.如权利要求3所述的基于注意力机制编解码的图像去雨方法，其特征在于，所述基于所述原始状态图像、对应的所述浅度退化图像以及对应的所述深度退化图像体现的变化情况，构建所述网络模型中，包括以下步骤：基于所述原始状态图像、对应的所述浅度退化图像以及对应的所述深度退化图像，倒推模拟去雨操作的图片变化情况；基于模拟获得的去雨操作的图片变化情况，构建所述网络模型。5.如权利要求1所述的基于注意力机制编解码的图像去雨方法，其特征在于，所述基于所述模型去雨图像以及对应的所述真实无雨图像，对所述网络模型进行优化中，包括以下步骤：基于所述模型去雨图像以及对应的所述真实无雨图像，获得对应的峰值信噪比以及所述模型去雨图像与所述真实无雨图像之间的结构相似度；基于所述峰值信噪比以及所述结构相似度判断所述网络模型区域操作是否满足预设要求，若不满...
【专利技术属性】
技术研发人员：董倩妍，杨颖，占涛，刘会凯，刘程，
申请(专利权)人：岚图汽车科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。