一种基于双层优化权重重分配的图像复原监督学习方法技术

一种基于双层优化权重重分配的图像复原监督学习方法，包括内循环图像复原优化网络与外循环权重重分配优化网络；获取降质样本和相应的真值样本；固定外循环权重重分配优化网络参数，降质样本输入至内循环图像复原优化网络计算其损失函数，对内循环图像复原网络参数进行更新优化；将降质样本分别输入至更新前后的内循环图像复原网络计算外循环奖励，用于计算外循环权重重分配网路的损失函数并更新优化外循环权重重分配网络参数；输出最终优化后的内循环图像复原优化网络。该发明专利技术能够显著地提高监督图像复原算法的性能，有效地解决图像降质过程中退化分布不均匀所导致局部图像复原不理想的问题以生成色调更自然的复原后图像。不理想的问题以生成色调更自然的复原后图像。不理想的问题以生成色调更自然的复原后图像。

【技术实现步骤摘要】
一种基于双层优化权重重分配的图像复原监督学习方法


[0001]本专利技术涉及图像处理
，更具体的说是涉及一种图像复原监督学习框架及方法。

技术介绍

[0002]近几年以来，图像复原掀起了图像处理领域广泛地研究与讨论。降质退化的图像损失了大量的图像细节并且颜色畸变严重，这一现象极大地降低图像质量并对后续高级的视觉任务，例如，图像分割、图像检测、目标跟踪等，产生重要的影响。特别是在自动驾驶、城市监控等应用领域，雾天天气、雨雪天气以及环境噪声会造成极大的干扰，甚至造成现有技术的失效。因此，如何有效地复原降质退化的图像尤为关键。
[0003]在实际生活中，图像降质退化的原因多种多样，从而衍生出各类的图像复原子任务，例如：图像去雾、图像去水、图像去雨、图像去模糊、图像去反射等等。基于不同的子任务，研究员们根据不同降质过程的本质设计了针对性的各类退化模型加性模型、乘性模型、指数模型以及对数模型。图像复原各类子任务的发展历程大致相同，大致均可分为传统基于先验的图像复原方法与基于监督学习的深度网络图像复原方法两大类，以下我们以图像去雾为例，介绍图像去雾算法的发展背景。
[0004]在图像去雾子任务中，图像受雾影响的过程经常简化为如下的大气散射模型：
[0005]I(x)＝t(x)J(x)+(1
‑
t(x))A
[0006]其中，I(x)代表受雾污染的图像，J(x)代表原始图像，A代表环境光，t(x)代表图像深度。在上式中，受雾污染的图像已知，环境光可估计，而原始图像与图像深度均不可知，对于只有一个约束的大气散射模型要求解原始图像高度不适定。
[0007]传统的去雾算法大多基于各种物理先验求解不适定的去雾问题，例如，暗通道先验、颜色衰减先验以及全局先验。在暗通道先验中，作者发现真实场景中非天空的区域在R、G、B三个通道中至少有一个通道数值趋近于0：基于此统计规律，作者利用暗通道先验获取图像深度信息，进而求解不适定问题下的原始图像。其他物理先验的求解过程与暗通道相似，但基于不同的统计规律：颜色衰减先验分析图像的近景、中景与远景时发现雾的浓度与图像亮度和饱和度之差呈正比；全局先验分析图像的颜色空间发现真实场景数十万的像素颜色可以很好地聚类成几百个独特的颜色点。传统去雾算法基于统计规律对大气散射模型引入额外的约束，进而求解不适定的去雾问题。
[0008]近些年以来，随着深度学习在图像检测、图像分割等图像处理领域取得惊人的进展以及大数据驱动下各种数据集的完善，基于监督学习的图像去雾方法被不断提出并且取得了很好的成效。监督学习的去雾算法前期也是基于大气散射模型，设计深度神经网络直接拟合大气散射模型中的重要参数，例如，图像深度信息以及环境光。最近，考虑到大气散射模型本身的局限性，更多端到端网络架构的监督模型被开发出来，在不同数据集上表现出巨大的优势。
[0009]目前，图像去雾算法可分为基于物理先验的去雾算法和基于监督学习的去雾算法
两大类。其中，基于物理先验的去雾算法虽然具有很好的可解释性但均建立在特定的统计规律上，当图像满足这些物理先验时，去雾效果明显；当图像信息与物理先验相违背时，去雾算法失效。这使得基于物理先验的去雾算法缺乏较好的泛化能力，无法应对复杂多变的真实雾化场景。相比于基于物理先验的去雾算法，基于监督学习的去雾算法在数据驱动下能够拟合出更复杂的高维图像映射关系，并且在真实场景中具有相对较好的泛化能力。
[0010]虽然，目前各式各样的图像复原算法取得了长足的发展进步，但是，现存的监督学习图像复原算法往往忽略了自然场景图像退化过程中在不同区域分布不均匀的事实：在损失函数设计时忽略了每个区域之间不同的重要性，而是将不同区域的损失函数平等地加和。这样不合理的损失函数设计导致了监督图像复原算法训练网络模型时对重污染退化区域无法有效地恢复，因此，如何有效地解决因退化过程分布不均匀所导致的局部图像复原不理想的问题是本领域技术人员亟需解决的问题。

技术实现思路

[0011]有鉴于此，本专利技术提供了一种图像复原监督学习框架及方法，通过设计内外两个优化循环，内循环优化在传统监督图像复原算法的基础上对不同重要性样本赋上相应的学习权重，外循环优化则对不同重要性样本进行权重分配，从而对降质退化严重的区域赋上较大的学习权重，对相对较轻的区域赋上较小的学习权重。为了实现上述目的，本专利技术采用如下技术方案：
[0012]一种基于双层优化权重重分配的图像复原监督学习方法，包括内循环图像复原优化网络与外循环权重重分配优化网络；
[0013]获取退化降质样本和相应的真值样本；
[0014]固定外循环权重重分配优化网络参数，降质退化样本输入至所述内循环图像复原优化网络进行去退化估计，通过将去退化估计图像与真值样本对比计算内循环图像复原优化网络损失函数，对内循环图像复原优化网络参数进行更新优化；
[0015]降质退化样本分别输入至更新前后的内循环图像复原优化网络进行去退化估计，通过将更新前后的去退化估计图像与真值样本对比，计算外循环权重重分配优化网络损失函数和外循环奖励，固定更新后内循环图像复原优化网络参数，通过外循环奖励对外循环权重重分配优化网络参数进行更新优化，作为所述外循环权重重分配优化网络参数；
[0016]判断是否到达迭代次数，若否则继续重复执行内循环图像复原优化网络与外循环权重重分配优化网络的交替优化；若是，则输出最终更新优化后的内循环图像复原优化网络。
[0017]优选的，所述内循环图像复原优化网络参数进行更新优化具体包括，
[0018]将降质退化样本直接送入内循环图像复原优化网络中，同时将降质退化样本和真值样本合并后送入外循环权重重分配网络；获取每个合并后样本对应的学习权重；
[0019]对每个合并后样本的学习权重与每个样本的图像复原损失函数做点积操作，得到内循环优化的最终损失函数。
[0020]优选的，所述内循环图像复原优化网络参数进行更新优化的过程中，从训练集中剪裁出降质退化样本和相应的真值样本输入至所述内循环图像复原优化网络。
[0021]优选的，所述内循环图像复原优化网络采用监督图像复原网络模型。
[0022]优选的，所述外循环权重重分配优化网络参数进行更新优化的过程中，分别从训练集与验证集剪裁出降质退化样本和相应的真值样本；
[0023]将训练集剪裁出的降质退化样本输入至更新前的内循环图像复原优化网络，计算得到去退化估计图像一，同时将验证集剪裁出的降质退化样本输入至更新后的内循环图像复原优化网络，计算得到去退化估计图像二；
[0024]将去退化估计图像一和去退化估计图像二分别与真值样本对比得到训练集和验证集对应样本的损失函数。
[0025]优选的，通过反向传播，对所述训练集和验证集对应样本的损失函数进行求导，求取更新前后的内循环图像复原优化网络的降质退化样本梯度，将两者的梯度做点积操作，得到梯度点积结果；
[0026]利用正则项算子对训练集中每个样本的权重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双层优化权重重分配的图像复原监督学习方法，其特征在于：包括内循环图像复原优化网络与外循环权重重分配优化网络；获取降质样本和相应的真值样本；固定外循环权重重分配优化网络参数，降质样本输入至所述内循环图像复原优化网络进行真值估计，通过将去退化估计图像与真值样本对比计算内循环图像复原优化网络损失函数，对内循环图像复原优化网络参数进行更新优化；降质样本分别输入至更新前后的内循环图像复原优化网络进行真值估计，通过将更新前后的去退化估计图像与真值样本对比，计算外循环权重重分配优化网络损失函数和外循环奖励，固定更新后内循环图像复原优化网络参数，通过外循环损失函数对外循环权重重分配优化网络参数进行更新优化，作为所述外循环权重重分配优化网络参数；判断是否到达迭代次数，若否则继续重复执行内循环图像复原优化网络与外循环权重重分配优化网络的交替优化；若是，则输出最终更新优化后的内循环图像复原优化网络。2.根据权利要求1所述的一种基于双层优化权重重分配的图像复原监督学习方法，其特征在于：所述内循环图像复原优化网络参数进行更新优化具体包括，将降质样本直接送入内循环图像复原优化网络中，同时将降质样本和真值样本合并后送入外循环权重重分配网络；获取每个合并后样本对应的学习权重；对每个合并后样本的学习权重与损失函数做点积操作，得到内循环优化的最终损失函数。3.根据权利要求2所述的一种基于双层优化权重重分配的图像复原监督学习方法，其特征在于：所述内循环图像复原优化网络参数进行更新优化的过程中，从训练集中剪裁出降质样本和相应的真值样本输入至所述内循环图像复原优化网络。4.根据权利要求2所述的一种基于双层优化权重重分配的图像复原监督学习方法，其特征在于：所述内循环图像复原优化网络采用监督图像复原网络模型。5.根据权利要求1所述的一种基于双层优化权重重分配的图像复原监督学习方法，其特征在于：所述外循环权重重分配优化网络参数进行更新优化的过程中，分别从训练集与验证集剪裁出降质样本和相应的真值样本；...

【专利技术属性】
技术研发人员：邓岳，蒋星宇，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：