【技术实现步骤摘要】
本专利技术涉及一种基于渐进式负增强对比学习的图像恢复方法，属于图像处理的。
技术介绍
1、雾、雨和雪等恶劣天气是日常生活中常见的气候现象，它们通常会导致拍摄图像的视觉质量不佳，例如，降低图像的清晰度、对比度和色彩饱和度，增加图像的噪声和模糊等。这些恶劣天气条件不仅影响人们的日常生活和出行，也给许多户外视觉系统带来了巨大的挑战，例如户外安全摄像头、自动驾驶系统、无人机航拍系统等。这些视觉系统需要从受到天气影响的图像中提取有效的信息，以实现监控、导航、识别等功能。因此，如何从恶劣天气条件下拍摄的图像中恢复出清晰、真实的视觉信息，是计算机视觉领域的一个重要和热门的研究课题。
2、随着深度学习技术的进步，现在已经存在许多专门处理单一恶劣天气情况的图像恢复模型。虽然这些模型在特定情况下表现出色，但它们通常不够灵活，难以适应多种天气条件的复杂变化。最直接的方法是采用多个专门针对特定天气情况的模型，根据需要来组合它们，比如使用专门的雾霾去除算法来处理雾霾图像，使用专门的雨线去除算法来处理雨线图像。然而，这种多模型组合的方法存在一些明显的弊端，比如计算和存储负担、部署和管理的复杂性、限制泛化能力，多模型组合严重缺乏灵活性和通用性。
3、目前，为了有效应对多种不同的恶劣天气条件下的图像降质问题，研究人员正积极致力于开发泛化能力更强的通用图像恢复模型。这些模型旨在通过深度学习技术，将退化图像转换为其相应的清晰图像，从而提高图像质量。然而，虽然这些模型代表了重大进步，但它们仍然存在一些重要的限制和挑战。首先，现存的通用图像恢复
4、所以，设计泛化能力更强且充分利用退化程度不同的负样本信息的通用图像恢复模型是图像处理领域的一个重要挑战。
技术实现思路
1、为了解决现有技术中存在的上述问题，本专利技术的目的在于提出一种基于渐进式负增强对比学习的图像恢复方法，采用高效的双模型架构设计充分利用不同退化程度的负样本信息来实现多种恶劣天气条件下的图像恢复。
2、本专利技术采用的技术方案如下：
3、一种基于渐进式负增强对比学习的图像恢复方法，使用一致性-正则化框架，利用教师模型和学生模型双模型结构设计，充分利用各种退化程度的负样本，通过逐步更新负样本来不断地将重建后的图像挤压到干净的图像上，提高了密度变分下的图像恢复模型的鲁棒性，该方法具体包括以下步骤：
4、s1、获取图像数据集，即获得同一场景成对的降质图像和干净图像，降质图像包括有雾图像、有雨图像、有雪图像；
5、s2、构建一致性-正则化框架，框架采用教师模型和学生模型双模型结构设计，两模型共享相同的神经网络结构，以损失函数作为基本图像重建目标，增加一致性损失来约束教师模型和学生模型的网络输出，在训练过程中，学生模型更新网络参数，教师模型的网络参数保持不变，通过指数平均移动的方式将学生模型的网络参数同步更新到教师模型，以实现参数的知识传递；
6、s3、构建渐进式负增强对比学习机制，利用正样本和负样本之间的对比度差异来指导模型的训练，训练过程中，正样本保持不变，而负样本动态更新，通过设置负记忆缓冲区，借助教师负样本估计器和学生负样本估计器，将峰值信噪比和结构相似度作为评价指标，根据教师网络和学生网络输出重建图像的负样本质量相应地决定如何更新负样本，不断更新网络参数，实现最优模型的生成；
7、s4、将测试集放入到最优模型中，生成恶劣天气去除后的重建图像。
8、进一步，步骤s1具体包括：
9、获取的图像数据集包含多对一的降质图像和干净图像，降质图像和干净图像均含有相同的场景信息，降质图像包括雾、雨和雪多种场景，这些场景反映了不同恶劣天气条件下图像降质的情况；
10、进一步，步骤s2中的教师模型和学生模型均由预处理卷积层、三个并行组件和注意力模块组成，其中每个组件由两个基础单元和一个卷积层构成，基础单元包括relu激活函数、卷积层、注意力模块；注意力模块包括通道注意块和像素注意块，其中通道注意块包括池化操作、全连接层和激活函数，用于调整通道之间的权重，像素注意块则包括全连接层和激活函数，用于处理像素级别的信息；
11、学生模型由l1损失函数约束网络训练，其中l1损失函数的两个输入分别是由学生模型输出的重建图像和干净图像，具体表示为：
12、l1＝|φ(i)-j|，
13、其中φ(i)表示通过学生模型重建的图像，j表示干净图像；
14、教师模型由一致性损失约束网络训练，其中一致性损失是由学生模型输出的重建图像和教师模型输出的重建图像逐像素绝对差异，具体表示为：
15、lconsist＝|φ(i′)-φ(i)|，
16、其中φ(i′)表示通过教师模型重建的图像。
17、进一步，步骤s3具体包括：
18、在渐进式负增强对比度学习机制中，利用正样本和负样本之间的对比度差异来指导模型的训练，正样本指的是干净图像，负样本指的是降质图像或者低质量的重建图像；在训练过程中，正样本保持不变，而负样本根据每次迭代生成的重建图像的评价指标进行动态更新；设置负记忆缓冲区来存储当前训练阶段所采用的负样本，负样本的质量通过将峰值信噪比和结构相似度作为评价指标来衡量，如果通过模型生成的新重建图像在评价指标上表现优于负记忆缓冲区中存储的样本，那么下一次训练迭代时，模型将采用新的负样本，反之，如果评价指标不如已存储的样本，那么负样本将保持不变，不断更新模型的权重和参数，以最大程度减小损失函数，并生成最佳性能的模型，具体表示为：
19、
20、其中，ωm是为固定vgg模型提取的第m层中间特征构建的第m个损失lcarl的权重系数；
21、损失具体表示为：
22、
23、其中em(·),m＝{1,2…,m}，表示固定预训练模型vgg-19的第m个中间网络层的特征提取器，τ>0是控制输出的超参数，表示负样本。
24、进一步，步骤s4具体包括：
25、将测试集放入到最优模型，生成恶劣天气去除后的重建图像，测试集包含了不同场景、不同退化类型和不同退化程度的图像，以覆盖多种真实世界中的图像恢复场景。
26、本专利技术的优点是：
27、1、本专利技术提出了“一致性-正则化”框架，该框架采用教师模型和学生模型双模型结构设计，在训练过程中，学生模型更新网络参数，教师模型保持网络参数不变，通过指数平均移动的方式本文档来自技高网...
【技术保护点】
1.一种基于渐进式负增强对比学习的图像恢复方法，其特征在于，该方法使用一致性-正则化框架，利用教师模型和学生模型双模型结构设计，充分利用各种退化程度的负样本，通过逐步更新负样本来不断地将重建后的图像挤压到干净的图像上，提高了密度变分下的图像恢复模型的鲁棒性，该方法具体包括以下步骤：
2.根据权利要求1所述的基于渐进式负增强对比学习的图像恢复方法，其特征在于，步骤S1具体包括：
3.根据权利要求1所述的基于渐进式负增强对比学习的图像恢复方法，其特征在于，步骤S2中的教师模型和学生模型均由预处理卷积层、三个并行组件和注意力模块组成，其中每个组件由两个基础单元和一个卷积层构成，基础单元包括ReLU激活函数、卷积层、注意力模块；注意力模块包括通道注意块和像素注意块，其中通道注意块包括池化操作、全连接层和激活函数，用于调整通道之间的权重，像素注意块则包括全连接层和激活函数，用于处理像素级别的信息；
4.根据权利要求1所述的基于渐进式负增强对比学习的图像恢复方法，其特征在于，步骤S3具体包括：
5.根据权利要求1所述的基于渐进式负增强对比学习的
...【技术特征摘要】
1.一种基于渐进式负增强对比学习的图像恢复方法，其特征在于，该方法使用一致性-正则化框架，利用教师模型和学生模型双模型结构设计，充分利用各种退化程度的负样本，通过逐步更新负样本来不断地将重建后的图像挤压到干净的图像上，提高了密度变分下的图像恢复模型的鲁棒性，该方法具体包括以下步骤：
2.根据权利要求1所述的基于渐进式负增强对比学习的图像恢复方法，其特征在于，步骤s1具体包括：
3.根据权利要求1所述的基于渐进式负增强对比学习的图像恢复方法，其特征在于，步骤s2中的教师模型和学生模型均由预处理...
【专利技术属性】
技术研发人员：孙建德，孙晓燕，李燕，程德，张鼎文，万文博，李静，王建，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。