一种基于两级反射光消除网络的图像反射光去除方法技术

本发明专利技术提供了一种基于两级反射光消除网络的图像反射光去除方法，首先设置两级反射光消除网络中生成器的一级子网络和二级子网络；然后设定两级反射光消除网络中生成器的损失函数，由像素损失和感知损失两部分构成；再设定两级反射光消除网络中鉴别器的损失函数；训练两级反射光消除网络直到两级反射光消除网络参数收敛得到训练好的两级反射光消除网络；最后用训练好的两级反射光消除网络对测试数据集进行图像反射光去除，输出图像反射光去除以后的透射图。本发明专利技术克服了现有技术中容易出现色彩失真和细节损失的缺点，使得本发明专利技术对反射图像的去除效果更加明显，并且不存在色彩失真。

【技术实现步骤摘要】
一种基于两级反射光消除网络的图像反射光去除方法
本专利技术属于图像处理
，具体涉及一种基于两级反射光消除网络的图像反射光去除方法。
技术介绍
反射光去除是图像质量提升
的重要组成部分，它在光电成像系统、图像复原系统、图像质量提升系统等许多系统中都有非常广泛的实际应用。近几年，基于深度学习的图像反射光去除方法广泛应用在图像质量提升领域。现有的图像反射光去除方法中，CEILNet网络由两个结构相同的32层子网络构成，总深度达到64层，其中第一个子网络接收反射干扰图像及其梯度作为输入，其输出为透射光的梯度预测，而第二个子网络则将反射干扰图像与预测梯度值作为输入，最终得到透射光估计。两个子网络相互独立，单独训练推理。该方法存在的不足之处是：由于CEILNet网络增强特性数量较少，因此图像反射光去除以后的结果存在色彩失真。目前还存在利用CRRN网络对图像反射光去除的方法，该方法同样将反射干扰图像及其梯度作为独立输入，其不同点是两个子网络在多个不同尺度上进行了互联，其梯度与图像推理可以并行实现，这比CEILNet更加紧凑，而且两个子网络不再需要分别训练。该方法存在的不足之处是：由于CRRN网络是直接估计透射图，因此图像反射光去除以后的结果存在细节损失的问题。
技术实现思路
本专利技术针对现有技术中的不足，提供一种基于两级反射光消除网络的图像反射光去除方法，首先利用模拟数据和真实数据构建训练数据集和测试数据集，再设置两级反射光消除网络中生成器的一级子网络和二级子网络；然后设定两级反射光消除网络中生成器的损失函数；再设定两级反射光消除网络中鉴别器的损失函数；训练两级反射光消除网络直到两级反射光消除网络参数收敛，得到训练好的两级反射光消除网络；最后用训练好的两级反射光消除网络对测试数据集进行图像反射光去除，输出图像反射光去除以后的透射图。为实现上述目的，本专利技术采用以下技术方案：一种基于两级反射光消除网络的图像反射光去除方法，包括如下步骤：步骤一、利用模拟数据和真实数据构建训练数据集和测试数据集；步骤二、设置两级反射光消除网络中生成器的一级子网络；步骤三、设置两级反射光消除网络中生成器的二级子网络；步骤四、利用训练数据集中模拟数据的真实透射图和反射图、粗估计的透射图和反射图以及图像反射光去除以后的透射图，共同构造两级反射光消除网络中生成器基于模拟数据像素损失的损失函数；步骤五、利用训练数据集中真实数据的真实透射图、粗估计的透射图以及图像反射光去除以后的透射图，共同构造两级反射光消除网络中生成器基于真实数据像素损失的损失函数；步骤六、利用训练数据集中模拟数据的真实透射图和反射图、粗估计的透射图和反射图以及图像反射光去除以后的透射图，共同构造两级反射光消除网络中生成器基于模拟数据感知损失的损失函数；步骤七、利用训练数据集中真实数据的真实透射图、粗估计的透射图以及图像反射光去除以后的透射图，共同构造两级反射光消除网络中生成器基于真实数据感知损失的损失函数；步骤八、将两级反射光消除网络中生成器基于模拟数据像素损失和感知损失的损失函数、两级反射光消除网络中生成器基于真实数据像素损失和感知损失的损失函数以及原始生成器对抗损失函数加权相加，作为两级反射光消除网络中生成器的损失函数；步骤九、设定两级反射光消除网络中鉴别器的损失函数；步骤十、训练两级反射光消除网络，依次载入训练数据集中第M帧图像作为当前帧图像，将当前帧图像输入生成器的一级子网络得到粗估计的透射图和反射图，再将粗估计的透射图和反射图输入生成器的二级子网络得到图像反射光去除以后的透射图，判断当前帧图像是否为训练数据集的最后一帧图像；如果是，则完成此轮训练，进入步骤十一；如果不是，则继续载入后续帧图像进行训练，其中，M表示大于等于一的整数；步骤十一、判断两级反射光消除网络参数是否收敛，如果是，则完成全部训练，进入步骤十二；如果不是，则返回步骤十，继续下一轮训练直到得到训练好的两级反射光消除网络；步骤十二、用训练好的两级反射光消除网络对测试数据集进行图像反射光去除，输出图像反射光去除以后的透射图。为优化上述技术方案，采取的具体措施还包括：进一步地，步骤二具体通过以下步骤实现：S201、设定一个8层的编码-解码器，该编码-解码器具有4个不同尺度的卷积块；S202、利用4个卷积块注意单元分别连接同一尺度的编码-解码器层；S203、构建一个全卷积神经网络，前七层的通道数均为64，第八层为两个三通道；S204、将步骤S201至S203连接在一起作为两级反射光消除网络中生成器的一级子网络。进一步地，步骤三具体通过以下步骤实现：S301、设定9层基于门卷积神经网络的特征提取层；S302、设定1层卷积网络特征提取层；S303、将步骤S301至S302连接在一起作为两级反射光消除网络中生成器的二级子网络。进一步地，步骤四具体包括：根据如下公式来设定两级反射光消除网络中生成器基于模拟数据像素损失的损失函数：其中，LpixelS表示两级反射光消除网络中生成器基于模拟数据像素损失的损失函数，表示梯度运算符，||·||2表示求二范数操作，η表示约束因子，λ1表示权值，λ2表示梯度权值，T表示真实透射图，表示粗估计的透射图，表示图像反射光去除以后的透射图，R表示真实反射图，表示粗估计的反射图。进一步地，步骤五具体包括：根据如下公式设定两级反射光消除网络中生成器基于真实数据像素损失的损失函数：其中，LpixelR表示两级反射光消除网络中生成器基于真实数据像素损失的损失函数。进一步地，步骤六具体包括：根据如下公式设定两级反射光消除网络中生成器基于模拟数据感知损失的损失函数：其中，LperceptualS表示两级反射光消除网络中生成器基于模拟数据感知损失的损失函数，∑表示累加运算符，||·||1表示求一范数操作，η表示约束因子，Φl(·)表示VGG19网络特征图的第l层，λl为权重系数，T表示真实透射图，表示粗估计的透射图，表示图像反射光去除以后的透射图，R表示真实反射图，表示粗估计的反射图；其中，l取值为1到5的五个整数。进一步地，步骤七具体包括：根据如下公式设定两级反射光消除网络中生成器基于真实数据感知损失的损失函数：其中，LperceptualR表示两级反射光消除网络中生成器基于真实数据感知损失的损失函数。进一步地，步骤八具体包括：根据如下公式设定两级反射光消除网络中生成器的损失函数L：L＝αLA+β(LpixelS+LpixelR)+χ(LperceptualS+LperceptualR)LA＝-E(D(I，G(I，θ)))其中，α、β和χ分别为LA、LpixelS+LpixelR和LperceptualS+LperceptualR的权重系数，LA为原始生成器对抗损失函数，E(·)表示求期望操作，D表示两本文档来自技高网...

【技术保护点】
1.一种基于两级反射光消除网络的图像反射光去除方法，其特征在于，包括如下步骤：/n步骤一、利用模拟数据和真实数据构建训练数据集和测试数据集；/n步骤二、设置两级反射光消除网络中生成器的一级子网络；/n步骤三、设置两级反射光消除网络中生成器的二级子网络；/n步骤四、利用训练数据集中模拟数据的真实透射图和反射图、粗估计的透射图和反射图以及图像反射光去除以后的透射图，共同构造两级反射光消除网络中生成器基于模拟数据像素损失的损失函数；/n步骤五、利用训练数据集中真实数据的真实透射图、粗估计的透射图以及图像反射光去除以后的透射图，共同构造两级反射光消除网络中生成器基于真实数据像素损失的损失函数；/n步骤六、利用训练数据集中模拟数据的真实透射图和反射图、粗估计的透射图和反射图以及图像反射光去除以后的透射图，共同构造两级反射光消除网络中生成器基于模拟数据感知损失的损失函数；/n步骤七、利用训练数据集中真实数据的真实透射图、粗估计的透射图以及图像反射光去除以后的透射图，共同构造两级反射光消除网络中生成器基于真实数据感知损失的损失函数；/n步骤八、将两级反射光消除网络中生成器基于模拟数据像素损失和感知损失的损失函数、两级反射光消除网络中生成器基于真实数据像素损失和感知损失的损失函数以及原始生成器对抗损失函数加权相加，作为两级反射光消除网络中生成器的损失函数；/n步骤九、设定两级反射光消除网络中鉴别器的损失函数；/n步骤十、训练两级反射光消除网络，依次载入训练数据集中第M帧图像作为当前帧图像，将当前帧图像输入生成器的一级子网络得到粗估计的透射图和反射图，再将粗估计的透射图和反射图输入生成器的二级子网络得到图像反射光去除以后的透射图，判断当前帧图像是否为训练数据集的最后一帧图像；如果是，则完成此轮训练，进入步骤十一；如果不是，则继续载入后续帧图像进行训练，其中，M表示大于等于一的整数；/n步骤十一、判断两级反射光消除网络参数是否收敛，如果是，则完成全部训练，进入步骤十二；如果不是，则返回步骤十，继续下一轮训练直到得到训练好的两级反射光消除网络；/n步骤十二、用训练好的两级反射光消除网络对测试数据集进行图像反射光去除，输出图像反射光去除以后的透射图。/n...

【技术特征摘要】
1.一种基于两级反射光消除网络的图像反射光去除方法，其特征在于，包括如下步骤：
步骤一、利用模拟数据和真实数据构建训练数据集和测试数据集；
步骤二、设置两级反射光消除网络中生成器的一级子网络；
步骤三、设置两级反射光消除网络中生成器的二级子网络；
步骤四、利用训练数据集中模拟数据的真实透射图和反射图、粗估计的透射图和反射图以及图像反射光去除以后的透射图，共同构造两级反射光消除网络中生成器基于模拟数据像素损失的损失函数；
步骤五、利用训练数据集中真实数据的真实透射图、粗估计的透射图以及图像反射光去除以后的透射图，共同构造两级反射光消除网络中生成器基于真实数据像素损失的损失函数；
步骤六、利用训练数据集中模拟数据的真实透射图和反射图、粗估计的透射图和反射图以及图像反射光去除以后的透射图，共同构造两级反射光消除网络中生成器基于模拟数据感知损失的损失函数；
步骤七、利用训练数据集中真实数据的真实透射图、粗估计的透射图以及图像反射光去除以后的透射图，共同构造两级反射光消除网络中生成器基于真实数据感知损失的损失函数；
步骤八、将两级反射光消除网络中生成器基于模拟数据像素损失和感知损失的损失函数、两级反射光消除网络中生成器基于真实数据像素损失和感知损失的损失函数以及原始生成器对抗损失函数加权相加，作为两级反射光消除网络中生成器的损失函数；
步骤九、设定两级反射光消除网络中鉴别器的损失函数；
步骤十、训练两级反射光消除网络，依次载入训练数据集中第M帧图像作为当前帧图像，将当前帧图像输入生成器的一级子网络得到粗估计的透射图和反射图，再将粗估计的透射图和反射图输入生成器的二级子网络得到图像反射光去除以后的透射图，判断当前帧图像是否为训练数据集的最后一帧图像；如果是，则完成此轮训练，进入步骤十一；如果不是，则继续载入后续帧图像进行训练，其中，M表示大于等于一的整数；
步骤十一、判断两级反射光消除网络参数是否收敛，如果是，则完成全部训练，进入步骤十二；如果不是，则返回步骤十，继续下一轮训练直到得到训练好的两级反射光消除网络；
步骤十二、用训练好的两级反射光消除网络对测试数据集进行图像反射光去除，输出图像反射光去除以后的透射图。


2.如权利要求1所述的图像反射光去除方法，其特征在于，步骤二具体通过以下步骤实现：
S201、设定一个8层的编码-解码器，该编码-解码器具有4个不同尺度的卷积块；
S202、利用4个卷积块注意单元分别连接同一尺度的编码-解码器层；
S203、构建一个全卷积神经网络，前七层的通道数均为64，第八层为两个三通道；
S204、将步骤S201至S203连接在一起作为两级反射光消除网络中生成器的一级子网络。


3.如权利要求1所述的图像反射光去除方法，其特征在于，步骤三具体通过以下步骤实现：
S301、设定9层基于门卷积神经网络的特征提取层；
S302、设定1层卷积网络特征提取层；
S303、将步骤S301至S302连接在一起作为两级反射光消除网络中生成器的二级子网络。...

【专利技术属性】
技术研发人员：赵东，王青，汪磊，李晨，张见，牛明，郜云波，马弘宇，陶旭，刘朝阳，杨成东，
申请(专利权)人：南京信息工程大学滨江学院，
类型：发明
国别省市：江苏;32