基于生成对抗网络的图像增强系统和图像增强方法技术方案

本发明专利技术公开一种基于生成对抗网络的图像增强系统，包括原始图像采集模组及对抗网络模型。所述对抗网络模型包括图像合成模组、图像判别模组及多损失函数。所述图像合成模组输出合成图像，所述图像判别模组输出增强图像，所述多损失函数根据所述图像判别模组的输出结果感知图像损失，并调整所述图像合成模组输出的合成图像，改善增强效果，所述损失函数包括对抗损失函数、循环一致性损失函数、感知损失函数和总损失函数。本发明专利技术引入对抗思想、注意力机制、Unet、残差块网络和感知损失，应用多尺度合成模组和图像判别器对原始夜景拍摄图像进行生成和鉴别，增强夜景图像的视觉效果。同时本发明专利技术还提供一种采用上述图像增强系统和图像增强方法。图像增强方法。图像增强方法。

【技术实现步骤摘要】
基于生成对抗网络的图像增强系统和图像增强方法


[0001]本专利技术涉及图像增强
，特别是涉及一种基于生成对抗网络的图像增强系统和图像增强方法。

技术介绍

[0002]狭义的夜景环境仅仅指夜晚无太阳光照环境下的夜晚拍摄场景。对本领域技术人员而言，根据拍摄环境的光照可见度不同，所述夜景环境包括低光、微光、弱光及狭义夜景环境，即凡是非正常光照的拍摄环境，皆称为夜景环境，所述低光、微光以及弱光环境定义为广义的夜景环境。对应的，狭义的常光拍摄环境，是指正常太阳光照射环境下的配设环境。对本领域技术人员而言，光照可见度高的拍摄环境定义为广义的常光拍摄环境，即广义的常光拍摄环境，其不仅仅包括太阳光正常照射环境下的拍摄环境。
[0003]在当今社会中，如何在黑夜或低光、弱光、微光环境中拍摄出清晰的图像面临着十分艰难的挑战。特别是于夜景环境中，部分相机、手机和监控装置拍摄的夜景图像或视频显示效果不佳，往往难以分辨，如何解决低光、弱光、夜景环境下拍摄图像显示效果不佳的技术问题，成为计算机视觉领域的重要研究课题。
[0004]现有技术中，在低光、弱光、微光或夜景环境中拍摄图像，可以通过延长曝光时间和提高感光度来增强拍摄图像的亮度，但同时也会放大图像的噪声，导致拍摄的夜景图像显示效果较差。
[0005]进一步的，业界也有对夜景环境所拍摄的图像通过软件处理的方式改善其显示效果。其中，对于拍摄后的夜景图像处理，现有的方法主要包括传统的图像增强算法和基于深度神经网络的图像增强算法。
[0006]针对传统的夜景图像增强算法主要包括直立方图均衡法和频域增强技术方法，但是此类传统夜景图像增强算法需要利用先验知识进行迭代训练，导致时间复杂度较高，而且会产生二次退化现象。
[0007]另一方面，针对基于深度神经网络的图像增强算法在图像增强领域也有应用，但是上述方法中设计的深度模型过大而导致时间消耗长，增强后的图像会出现颜色失真，图像锐化等情况，在图像增强上没有综合考虑对夜景图像的亮度、纹理、噪声、清晰度、对比度、颜色方面的全面提升。
[0008]鉴于此，有必要提供一种新的图像增强生成系统和生成方法有效解决上述问题。

技术实现思路

[0009]本专利技术需要解决的技术问题是为了克服现有技术的夜景图像显示效果不佳、颜色失真、图像锐化的不足，本专利技术提供了一种基于生成对抗网络的图像增强生成系统，通过对抗训练的方法达到夜景图像增强的目的。
[0010]同时，本专利技术还提供一种采用上述基于生成对抗网络的图像增强生成系统的图像增强方法。
[0011]一种基于生成对抗网络的图像增强系统，包括原始图像采集模组及对抗网络模型，所述原始图像采集模组生成原始拍摄图像集合，所述原始图像拍摄集合包括多个原始拍摄图像对，每一原始图像对包括一原始夜景拍摄图像和一原始常光拍摄图像，每一原始拍摄图像对的所述原始夜景拍摄图像与所述原始常光拍摄图像是针对同一拍摄对象形成的拍摄图像，所述对抗网络模型包括图像合成模组、图像判别模组及多损失函数，所述图像合成模组接收来自所述原始图像采集模组的原始拍摄图像，并输出合成图像，所述图像判别模组接收来自所述图像合成模组的合成图像，并输出增强图像，所述多损失函数根据所述图像判别模组的输出结果感知图像损失，并调整所述图像合成模组输出的合成图像，改善增强效果，所述损失函数包括对抗损失函数、循环一致性损失函数、感知损失函数和总损失函数。
[0012]进一步的，所述图象增强系统还包括注意力特征生成模组，所述注意力特征生成模组采用图注意力机制网络模型对原始夜景拍摄图像和原始常光拍摄图像中的邻近节点特征加权求和，生成夜景注意力特征图和常光注意力特征图。
[0013]进一步的，所述图像合成模组包括常光图像合成模组，所述常光图像合成模组将所述原始夜景拍摄图像和所述夜景注意力特征图合成为常光合成图像，所述常光图像判别模组接收所述常光合成图像和所述原始常光拍摄图像，输出增强图像。
[0014]进一步的，所述图像合成模组还包括夜景图像合成模组，所述夜景图像合成模组将所述原始常光拍摄图像和所述常光注意力特征图合成为夜景合成图像，所述夜景图像判别模组接收所述夜景合成图像和所述原始夜景拍摄图像，输出增强图像。
[0015]进一步的，所述图像合成模组的网络结构采用Unet和残差块网络，所述Unet网络包括编码块、解码块、下采样和上采样，所述原始夜景拍摄图像和所述夜景注意力特征图经过所述编码块中不同层次的卷积，最大池化的采样，学习到原始夜景拍摄图像的深层特征，所述深层特征经过反卷积上采样和解码块，然后依次经过卷积层、残差块网络和上采样层输出合成图像。
[0016]进一步的，所述图像判别模组加入patch GAN,将来自所述图像合成模组输出的合成图像输入到卷积网络中，得到n*n的特征图，经鉴别得到n*n矩阵，最后输出增强图像结果，所述结果以所述矩阵的均值作为真/伪结果。
[0017]进一步的，所述对抗损失函数，满足如下公式：
[0018][0019][0020]其中：G
AB
是常光图像合成模组，X是原始夜景拍摄图像，G
AB
(x)表示原始夜景拍摄图像经过生成器G
AB
生成的常光合成图像；
[0021]G
BA
是夜景图像合成模组，y是原始常光拍摄图像，G
BA
(y)表示原始常光拍摄图像经过所述夜景图像合成模组G
BA
生成的合成夜景图像；
[0022]D
B
是常光图像判别模组，用来判别生成的常光合成图像和原始常光拍摄图像的真伪；
[0023]D
A
是夜景图像判别模组，用来判别生成的夜景合成图像和原始夜景拍摄图像的真伪。
[0024]进一步的，所述循环一致性损失函数，满足如下公式：
[0025]其中：Log是对数运算，E表示分布函数期望值。
[0026]进一步的，所述感知损失函数，满足如下公式：
[0027][0028]，其中：Фj是指卷积网络根据输入图片生成的第j层网络的特征图，H表示特征图的高，W表示特征图的宽。
[0029]进一步的，所述总损失函数，满足如下公式：
[0030]其中：
[0031]L
GAN
(G
AB
,D
B
,X,Y)，L
GAN
(G
BA
,D
A
,Y,X)表示对抗损失；
[0032]L
cyc
(G
AB
,G
BA
,X,Y)表示循环一致性损失；
[0033]L
per
(G
AB
,G
BA
,X,Y)表示感知损失；
[0034]λcyc是循环一致性损失的系数，λper是感知损失的系数。
[0035]一种基于生成对抗网络的图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的图像增强系统，包括：原始图像采集模组，生成原始拍摄图像集合，所述原始图像拍摄集合包括多个原始拍摄图像对，每一原始图像对包括一原始夜景拍摄图像和一原始常光拍摄图像，每一原始拍摄图像对的所述原始夜景拍摄图像与所述原始常光拍摄图像是针对同一拍摄对象形成的拍摄图像；对抗网络模型，包括：图像合成模组，接收来自所述原始图像采集模组的原始拍摄图像，并输出合成图像；图像判别模组，接收来自所述图像合成模组的合成图像，并输出增强图像；多损失函数，根据所述图像判别模组的输出结果感知图像损失，并调整所述图像合成模组输出的合成图像，改善增强效果，其特征在于：所述损失函数包括对抗损失函数、循环一致性损失函数、感知损失函数和总损失函数。2.根据权利要求1所述的基于生成对抗网络的图像增强系统，其特征在于，所述图象增强系统还包括注意力特征生成模组，所述注意力特征生成模组采用图注意力机制网络模型对原始夜景拍摄图像和原始常光拍摄图像中的邻近节点特征加权求和，生成夜景注意力特征图和常光注意力特征图。3.根据权利要求2所述的基于生成对抗网络的图像增强系统，其特征在于，所述图像合成模组包括常光图像合成模组，所述常光图像合成模组将所述原始夜景拍摄图像和所述夜景注意力特征图合成为常光合成图像，所述常光图像判别模组接收所述常光合成图像和所述原始常光拍摄图像，输出增强图像。4.根据权利要求2或3所述的基于生成对抗网络的图像增强系统，其特征在于，所述图像合成模组还包括夜景图像合成模组，所述夜景图像合成模组将所述原始常光拍摄图像和所述常光注意力特征图合成为夜景合成图像，所述夜景图像判别模组接收所述夜景合成图像和所述原始夜景拍摄图像，输出增强图像。5.根据权利要求2所述的基于生成对抗网络的图像增强系统，其特征在于，所述图像合成模组的网络结构采用Unet和残差块网络。6.根据权利要求5所述的基于生成对抗网络的图像增强系统，其特征在于，所述Unet网络包括编码块、解码块、下采样和上采样，所述原始夜景拍摄图像和所述夜景注意力特征图经过所述编码块中不同层次的卷积，最大池化的采样，学习到原始夜景拍摄图像的深层特征，所述深层特征经过反卷积上采样和解码块，然后依次经过卷积层、残差块网络和上采样层输出合成图像。7.根据权利要求1所述的基于生成对抗网络的图像增强系统，其特征在于，所述图像判别模组加入patch GAN,将来自所述图像合成模组输出的合成图像输入到卷积网络中，得到n*n的特征图，经鉴别得到n*n矩阵，最后输出增强图像结果，所述结果以所述矩阵的均值作为真/伪结果。8.根据权利要求4所述的基于生成对抗网络的图像增强系统，其特征在于，所述对抗损失函数，满足如下公式：失函数，满足如下公式：
其中：G
AB
是常光图像合成模组，X是原始夜景拍摄图像，G
AB
(x)表示原始夜景拍摄图像经过生成器G
AB
生成的常光合成图像；G
BA
是夜景图像合成模组，y是原始常光拍摄图像，G
BA
(y)表示原始常光拍摄图像经过所述夜景图像合成模组G
BA
生成的合成夜景图像；D
B
是常光图像判别模组，用来判别生成的常光合成图像和原始常光拍摄图像的真伪；D
A
是夜景图像判别模组，用来判别生成的夜景合成图像和原始夜景拍摄图像的真伪。9.根据权利要求8所述的基于生成对抗网络的图像增强系统，其特征在于，所述循环一致性损失函数，满足如下公式：其中：Log是对数运算，E表示分布函数期望值。10.根据权利要求9所述的基于生成对抗网络的图像增强系统，其特征在于，所述感知损失函数，满足如下公式：，其中：Фj是指卷积网络根据输入图片生成的第j层网络的特征图，H表示特征图的高，W表示特征图的宽。11.根据权利要求10所述的基于生成对抗网络的图像增强系统，其特征在于，所述总损失函数，满足如下公式：L(G
AB
,G
BA
,D
A
,D
B
,X,Y)＝L
GAN
(G
AB
,D
B
,X,Y)+L
GAN
(G
BA
,D
A
,Y,X)+λ
cyc

【专利技术属性】
技术研发人员：朱宁波，王猛，
申请(专利权)人：湖南大学，
类型：发明
国别省市：