一种基于LSGAN的动态场景HDR成像方法技术

本发明专利技术公开了一种基于LSGAN的动态场景HDR成像方法，属于图像处理技术领域。本发明专利技术所述方法基于生成器和判别器实现，首先，生成器采用基于全局分支改进的膨胀密集连接模块提取和融合图像特征以合成无鬼影的HDR图像，然后，通过LSGAN损失对生成器和判别器进行对抗训练，进一步提高生成的HDR图像的质量。本发明专利技术所述方法采用两阶段训练法，将三帧曝光不同的动态场景下的LDR图像输入生成器；生成器通过全局膨胀残差密集模块提取和融合不同曝光的LDR图像的特征，利用全局信息抑制鬼影和恢复场景信息；通过内容损失函数单独训练生成器以初步生成HDR图像；生成器与判别器同时训练进一步提高生成器生成HDR图像的能力。一步提高生成器生成HDR图像的能力。一步提高生成器生成HDR图像的能力。

【技术实现步骤摘要】
一种基于LSGAN的动态场景HDR成像方法


[0001]本专利技术属于图像处理
，具体涉及一种基于LSGAN的动态场景HDR成像方法。

技术介绍

[0002]随着科学技术与数字图像技术的快速发展，日常生活和科学研究对高动态范围(High Dynamic Range，HDR)成像技术的需求不断增加，多曝光HDR成像技术融合多帧低动态范围(Low Dynamic Range，LDR)图像的信息生成与真实场景信息接近的HDR图像。动态场景一般指拍摄时可能存在运动物体、相机抖动等因素的场景，此时拍摄的多帧LDR图像之间存在运动位移，这种情况下的多曝光HDR成像面临许多挑战，包括伪影和信息恢复等问题，所以动态场景HDR成像技术的研究得到了研究人员的广泛关注。
[0003]动态场景HDR成像方法分为传统方法和基于深度学习的方法。传统的动态场景HDR成像方法多采用运动像素剔除法、概率优化法或对齐后融合等方法，传统的动态场景HDR成像算法在运动像素较少的情况下能生成无鬼影的HDR图像，但当物体运动的幅度较大或参考图像中曝光情况复杂时，传统算法无法有效地恢复去除伪影和恢复图像细节。随着深度学习技术的发展，卷积神经网络通过多层非线性变换学习网络的输入与输出之间的映射关系，从而实现多种复杂的转换，在数据拟合和特征提取方面展现出强大的性能。
[0004]近年来，利用深度学习技术解决动态场景HDR成像的鬼影问题和信息恢复问题取得了一定成效。目前的基于深度学习的动态场景HDR成像模型多用于融合三帧不同曝光度的LDR图像为一帧HDR图像，曝光时间中等的图像为参考图像，最终生成的HDR图像与参考图像结构对齐，包含场景中亮处和暗处的全部信息。基于深度学习的动态场景HDR成像方法借助注意力机制、残差模块、生成对抗网络等技术，有效弥补了传统方法的不足，能实现大前景运动场景中的无鬼影对齐融合。但当输入LDR图像序列严重过曝光/曝光不足时，卷积神经网络受到感受野的限制，只能提取到有限的局部特征导致生成的HDR图像质量较差，如何提高网络的感受野，使其能够同时提取多帧图像的局部特征和全局特征，并利用提取的特征抑制鬼影、恢复场景的信息是待解决的技术问题。

技术实现思路

[0005]本专利技术的目的是克服上述现有技术的缺陷，提供一种基于LSGAN的动态场景HDR成像方法，通过最小二乘生成对抗网络(LSGAN)模型来实现动态场景下的HDR成像，通过两阶段训练使生成的图像在结构内容和数据分布上都接近真实的HDR图像，生成器利用全局膨胀残差密集连接模块(Global Dilated Residual Dense Block，GDRDB)解决了网络因感受野受限而无法充分利用全局信息的问题，有效地提升了网络恢复图像结构信息、去除鬼影和提高图像整体视觉质量的能力。
[0006]本专利技术所提出的技术问题是这样解决的：
[0007]一种基于LSGAN的动态场景HDR成像方法，包括以下步骤：
[0008]步骤1.生成对抗网络的构建
[0009]生成对抗网络包括生成器和判决器；
[0010]生成器包括依次级联的编码器、特征融合网络和解码器；
[0011]编码器包括三个浅层特征提取网络分支、第一卷积层和第二卷积层；三帧曝光时间不同的LDR图像分别输入至三个浅层特征提取网络分支，得到三帧LDR图像的浅层特征；三帧LDR图像的浅层特征按通道合并，依次输入至第一卷积层和第二卷积层，对三帧LDR图像的浅层特征进行初步融合；
[0012]特征融合网络为依次级联的若干个全局膨胀残差密集连接模块；全局膨胀残差密集连接模块为依次级联的膨胀残差密集连接模块和全局分支；膨胀残差密集连接模块包括依次级联的多个膨胀卷积层和一个第五卷积层，对初步融合的图像特征进行进一步提取与融合；全局分支包括依次级联的全局平均池化层和第六卷积层，用于提取膨胀残差密集连接模块输出特征的全局向量，与膨胀残差密集连接模块的输出特征合并后输出；
[0013]解码器包括六层卷积层和一个全局残差连接层；在前三层卷积层后级联有双线性上采样，将图像恢复至原大小，然后经级联的两层卷积层后提取残差图像；曝光时间居中的LDR图像作为参考图像，残差图像和参考图像输入至全局残差连接层，按像素相加后输入至最后一个卷积层，得到最终生成的HDR图像；
[0014]判决器包括依次级联的四个卷积层和一个全连接层，四个卷积层的卷积核均为3
×
3；其中，前三层卷积层引入谱归一化处理SN，后三层卷积层使用批量归一化处理BN，前三层卷积层的激活函数是ReLU；
[0015]步骤2.训练数据的制备
[0016]三帧曝光时间不同的LDR图像与其伽马变换后的图像按通道合并，随机裁剪到大小为256
×
256的图像块，作为训练数据，像素值大小调整到[0，1]的范围；
[0017]步骤3.对生成器进行预训练
[0018]将训练数据输入至生成器中，损失函数选用内容损失函数L
con
：
[0019]L
con
＝|T(H
gt
)
‑
T(H
pre
)|1[0020]其中，T为色调映射函数，H
gt
为真实的HDR图像，H
pre
为生成器生成的HDR图像，||1表示求L1范数；
[0021]色调映射函数T表示为：
[0022][0023]其中，H为图像自变量，μ为压缩系数；
[0024]步骤4.对生成器与判决器进行对抗训练
[0025]训练数据输入至生成器，生成器生成的HDR图像和训练数据分别输入至判决器；
[0026]生成器的对抗损失函数L
LSGAN
(G)为：
[0027]L
LSGAN
(G)＝E(x)[(D(G(x))
‑
1)2][0028]其中，x为训练数据，E表示数学期望，G(x)表示训练数据x输入至生成器生成的HDR图像，D(G(x))表示生成器生成的HDR图像输入至判别器的输出结果；
[0029]训练生成器的损失函数最终表示为L(G)：
[0030]L(G)＝L
con
+αL
LSGAN
(G)
[0031]其中，α为权重超参数，用于平衡生成对抗损失和内容损失；
[0032]训练判别器的损失函数为：
[0033]L(D)＝0.5
×
(E(x)[D(G(x))2]+E(y)[(D(y)
‑
1)2])
[0034]其中，y为训练数据x对应的真实HDR图像，D(y)为真实HDR图像y输入至判决器的输出结果；
[0035]步骤5.将三帧曝光时间不同的实时LDR图像分别输入至训练好的生成器，得到最终生成的实时HDR图像。
[0036]进一步的，浅层特征提取网络分支包括依次级联的第三卷积层、注意力本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于LSGAN的动态场景HDR成像方法，其特征在于，包括以下步骤：步骤1.生成对抗网络的构建生成对抗网络包括生成器和判决器；生成器包括依次级联的编码器、特征融合网络和解码器；编码器包括三个浅层特征提取网络分支、第一卷积层和第二卷积层；三帧曝光时间不同的LDR图像分别输入至三个浅层特征提取网络分支，得到三帧LDR图像的浅层特征；三帧LDR图像的浅层特征按通道合并，依次输入至第一卷积层和第二卷积层，对三帧LDR图像的浅层特征进行初步融合；特征融合网络为依次级联的若干个全局膨胀残差密集连接模块；全局膨胀残差密集连接模块为依次级联的膨胀残差密集连接模块和全局分支；膨胀残差密集连接模块包括依次级联的多个膨胀卷积层和一个第五卷积层，对初步融合的图像特征进行进一步提取与融合；全局分支包括依次级联的全局平均池化层和第六卷积层，用于提取膨胀残差密集连接模块输出特征的全局向量，与膨胀残差密集连接模块的输出特征合并后输出；解码器包括六层卷积层和一个全局残差连接层；在前三层卷积层后级联有双线性上采样，将图像恢复至原大小，然后经级联的两层卷积层后提取残差图像；曝光时间居中的LDR图像作为参考图像，残差图像和参考图像输入至全局残差连接层，按像素相加后输入至最后一个卷积层，得到最终生成的HDR图像；判决器包括依次级联的四个卷积层和一个全连接层，四个卷积层的卷积核均为3
×
3；其中，前三层卷积层引入谱归一化处理SN，后三层卷积层使用批量归一化处理BN，前三层卷积层的激活函数是ReLU；步骤2.训练数据的制备三帧曝光时间不同的LDR图像与其伽马变换后的图像按通道合并，随机裁剪到大小为256
×
256的图像块，作为训练数据，像素值大小调整到[0，1]的范围；步骤3.对生成器进行预训练将训练数据输入至生成器中，损失函数选用内容损失函数L
con
：L
con
＝|T(H
gt
)
‑
T(H
pre
)|1其中，T为色调映射函数，H
gt
为真实的HDR图像，H
pre
...

【专利技术属性】
技术研发人员：霍永青，甘静，王达，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：