基于深度伽马变换的自然图像增强方法技术

本发明专利技术公开了一种基于深度伽马变换的自然图像增强方法。主要解决现有技术对拍摄自然图像的增强效果对比度和细节纹理差的问题。其实现方案是：1)获取现有的数据集，将其划分训练集和测试集；2)分别构造基于深度伽马变换网络中的生成网络G和鉴别网络D，设置各网络的优化目标函数；3)交替优化生成网络G和鉴别网络D这两个网络的目标函数并更新其网络参数，直到达到设定的最大迭代次数，得到训练好的生成网络G；4)将低质量自然图像输入到训练好的生成网络G中，输出增强后的高质量自然图像。本发明专利技术不仅增强了低质量自然图像全局颜色和对比度，同时也增强了图像的细节和纹理信息，可广泛用于图像美化或图像的预处理。

【技术实现步骤摘要】
基于深度伽马变换的自然图像增强方法
本专利技术属于图像处理
，特别涉及一种自然图像增强方法，可用于图像美化或图像的预处理。
技术介绍
随着信息时代的快速发展，图像在信息获取中占据着尤为重要的地位，尤其是高质量的图像信息越来越受到人们的关注。由于成像过程会受到硬件、物体的运动、环境光线的影响，例如环境光线较暗的时候，得到的图像会有比较低的对比度和模糊的细节信息；物体运动时候，得到的图像往往会存在局部模糊，得到的图像不能获取足够的信息，且不能满足人们在社交媒体上的视觉需求。低质量图像和视频除了降低了视觉需求外，更是影响了以其为主的计算机视觉处理任务，例如，目前监控场景已经需求遍布各地，较暗的光线环境下获取的图像对于行人识别，全天自动驾驶和生物识别有很大的影响。虽然软件允许用户交互性调整图像，但是批量交互式处理图像是相当乏味和困难的，因为自然图像增强不仅需要精准控制图像的颜色和对比度以及曝光度，同时要精细调整图像中的各种物体和细节，尤其是近年来，手机摄像机的环境自适应成像受到越来越广泛的关注，要求手机可以根据场景和光线自适应调节图像，使其满足人们的视觉需求。由此可见图像质量的降低严重影响了人们的日常生活和科学研究，因此对于自适应自然图像增强技术的研究具有十分的现实意义和价值。自然图像增强，就是通过对图像整体的色彩和色调进行调整，同时对图像局部的细节和纹理进行处理，从而使得生成的图像不仅能够清晰的传递出其表达的信息，同时达到可观的视觉效果。这项任务需要摄影师的高级技能并且消耗很多时间，所以研究自适应图像增强是必要的。目前自然图像增强算法可以分为传统算法和深度学习算法，传统的方法例如直方图均衡化图像的对比度、伽马变换通过参数调节图像对比度、滤波方法去除图像高频或者低频信息，然而传统对于图像细节和局部信息处理有很大的不足，同时对于不同图像必须选用合适的参数以及合适的方法组合才能达到增强的目标。基于深度学习的增强方法可以相对较好的处理这一不足，可以自适应学习低质量图像到目标增强图像的映射输入图像的信息，使得增强后的图像应该在细节、纹理、颜色尽可能满足人们的视觉需求。近年来，随着计算机硬件平台的提升以及数据量的增加，机器学习蓬勃发展，机器学习从大量的数据集中学习目标转换函数和特征，并对新的数据进行预测。而作为机器学习一部分的深度学习理论更是因为其优越性的学习能力，广泛的用于各种任务处理。由于互联网和大数据的快速发展，为深度学习提供了大量的数据集基础，深度学习通过特征提取网络和非线性层学习到该数据集更丰富的映射，利用该数据集映射，对未知的数据有更好的预测。基于深度学习的自然图像增强方法也成为了图像增强的热门研究方向，现有的算法可以划分为：基于端到端结构的自然图像增强、基于半监督的自然图像增强、基于Retinex分解理论的暗光自然图像增强。基于深度学习的自然图像增强方法大部分在于端与端鉴别器的设计。IgnatovA等人于论文Dslr-qualityphotosonmobiledeviceswithdeepconvolutionalnetworks利用神经网络端到端学习普通低质量图像到单反图像的映射，该方法构建自然图像数据集，首次使用颜色损失对生成的图像颜色进行约束，同时结合生成对抗模型使得生成图像的颜色更加接近于目标增强图像的颜色。该方法的不足是：构建的生成网络模型相对简单，不能充分提取输入图像的特征，增强后的图像在细节和纹理方面还有待改进。JIANGY等人在论文Enlightengan:Deeplightenhancementwithoutpairedsupervision中提出利用生成对抗网络模型端到端学习低质量图像到高质量图像的映射方法，该方法通过构建全局鉴别器和局部鉴别器对生成的图像进行判别，同时利用亮度信息对生成图像的亮度进行监督，使得图像在细节和亮度方面更加接近于目标增强图像。该方法的不足是：对于图像增强的建模比较简单，仅使用端到端网络结构学习数据集的映射，并且其优化目标设置比较简单，增强后图像的视觉效果差。
技术实现思路
本专利技术的目的在于针对上述现有自然图像增强方法的不足，提出一种基于深度伽马变换的自然图像增强方法，以通过网络自适应学习伽马变换参数，对输入低质量自然图像进行全局和局部增强，同时通过改进模型的优化目标函数，实现在增强低质量自然图像对比度的同时对图像细节和纹理的增强，提高视觉效果。为实现上述目的，本专利技术的技术方案包括：获取现有的成对自然图像数据集MIT-Adobe，并且划分训练集和测试集：随机选取该数据集中500对图像作为测试集，另外4500对图像作为训练集；构建由依次由全局特征提取模块、局部特征提取模块、融合模块组成的生成网络G，并根据像素损失lMSE、内容损失Lcontent、生成网络的对抗损失A共同组成生成网络的目标优化函数LG；构建由卷积模块和全连接模块组成的鉴别网络D，并将其对抗损失LD作为优化函数；通过交替优化生成网络G和鉴别网络D这两个网络的目标函数，更新其网络参数，直到达到设定的网络训练次数，获得训练好的生成网络G：将一幅任意尺寸的低质量自然图像输入到更新好的生成网络G中，通过生成网络的前向传播计算，输出增强后的高质量自然图像。本专利技术与现有技术相比具有以下优点：第一，本专利技术基于深度伽马变换的自然图像增强方法，以通过网络自适应学习伽马变换参数，对输入低质量自然图像进行全局和局部增强，克服了现有技术需要手工调节模型参数的问题，相比于传统伽马变换算法，不仅对每一个自然图像自适应学习伽马变换参数，同时通过网络模型对图像的局部信息进行了更好的增强。第二，本专利技术通过生成网络G和鉴别网络D共同构建了自然图像增强模型，并对生成网络和鉴别网络的参数通过优化函数进行交替更新，可使更新后的生成网络G在对图像进行增强时其细节、纹理均能得到提升。附图说明图1为本专利技术的实现流程图；图2为本专利技术中构建的生成网络框图；图3是生成网络中的全局特征提取模块结构图；图4是生成网络中的局部特征提取模块结构图；图5是生成网络中的融合模块结构图；图6为本专利技术中构建的对抗网络结构图；图7为本专利技术的仿真结果图。具体实施方式下面结合附图，对本专利技术的实施例和效果做进一步的详细描述。参照图1，本实例的具体实现包括如下：步骤1，获取训练样本集。从网上获取现有的成对自然图像数据集MIT-Adobe，该数据集包含5000对自然场景图像，每一对图像包括原始拍摄的低质量图像和经过专家修图后的对应的高质量图像，该数据集包含丰富的自然场景；随机选取该数据集中500对图像作为测试集，另外4500对图像作为训练集。步骤2，分别构建生成网络G和鉴别网络D，并设置各自优化目标函数。2.1)构建生成网络G及其目标优化函数LG：参照图2，本实例生成网络G依次由全局特征提取模块、局部特征提取模块、融合模块组成，各模块的结构及参数如下：本文档来自技高网...

【技术保护点】
1.一种基于深度伽马变换的自然图像增强方法，包括如下：/n获取现有的成对自然图像数据集MIT-Adobe，并且划分训练集和测试集：随机选取该数据集中500对图像作为测试集，另外4500对图像作为训练集；/n构建由依次由全局特征提取模块、局部特征提取模块、融合模块组成的生成网络G，并根据像素损失l

【技术特征摘要】
1.一种基于深度伽马变换的自然图像增强方法，包括如下：
获取现有的成对自然图像数据集MIT-Adobe，并且划分训练集和测试集：随机选取该数据集中500对图像作为测试集，另外4500对图像作为训练集；
构建由依次由全局特征提取模块、局部特征提取模块、融合模块组成的生成网络G，并根据像素损失lMSE、内容损失Lcontent、生成网络的对抗损失A共同组成生成网络的目标优化函数LG；
构建由卷积模块和全连接模块组成的鉴别网络D，并将其对抗损失LD作为优化函数；
通过交替优化生成网络G和鉴别网络D这两个网络的目标函数，更新其网络参数，直到达到设定的网络训练次数，获得训练好的生成网络G：
将一幅任意尺寸的低质量自然图像输入到更新好的生成网络G中，通过生成网络的前向传播计算，输出增强后的高质量自然图像。


2.根据权利要求1所述的方法，其特征在于：所述生成网络G中的全局特征提取模块，结构和参数如下：
结构：输入层→第一卷积层→第一激活函数层→第二卷积层→第一归一化层→第二激活函数层→第一下采样层→第三卷积层→第二归一化层→第三激活函数层→第二下采样层→第四卷积层→第三归一化层→第四激活函数层→第二下采样层→第五卷积层→第四归一化层→第五激活函数层→第六卷积层→第五归一化层→第六激活函数层→第三下采样层→第七卷积层→第六归一化层→第七激活函数层→第八卷积层→第三下采样层→第七归一化层→第八激活函数层→第四下采样层→第九卷积层→第八归一化层→第九激活函数层→第十卷积层→第九归一化层→第十激活函数层→全局平均池化层→第一全连接层→第十一激活函数层→第二全连接层→第十二激活函数层→输出层组成，其输出十组不同的伽马参数a和γ；
各层参数如下：
输入层输入低质量的自然图像；
第一个卷积层的输入的通道数为3，输出通道数为32；
第二个卷积层的输入的通道数为32，输出通道数为32；
第三个卷积层的输入的通道数为32，输出通道数为64；
第四个卷积层的输入的通道数为64，输出通道数为64；
第五个卷积层的输入的通道数为64，输出通道数为128；
第六个卷积层的输入的通道数为128，输出通道数为128；
第七个卷积层的输入的通道数为128，输出通道数为256；
第八个卷积层的输入的通道数为256，输出通道数为256；
第九个卷积层的输入的通道数为256，输出通道数为512；
第十个卷积层的输入的通道数为512，输出通道数为512；
所有卷积层的卷积核尺寸均设置为3×3，卷积步长均设置为1；
第一个全连接层输入为512个向量，输出为256个向量；
第二个全连接层输入为256个向量，输出为60个向量；
归一化层均使用BN归一化函数；
第一到第十个激活函数层的激活函数使用LeakyRelu；
第十一个和第十二个激活函数使用Sigmoid；
第一个采样层到第四个采样层均对其输入的特征层进行2倍下采样操作；
全局平均池化层将输入特征的每一个通道平均归一化为一个值。


3.根据权利要求1所述的方法，其特征在于：所述生成网络G中的局部特征提取模块，结构和参数如下：
结构：输入层→第1卷积层→第1激活函数层→第2卷积层→第1归一化层→第2激活函数层→第3卷积层→第2归一化层→第3激活函数层→第4卷积层→第3归一化层→第4激活函数层→第5卷积层→第4归一化层→第5激活函数层→第1通道连接层→第6卷积层→第5归一化层→第6激活函数层→第7卷积层→第6归一化层→第7激活函数层→第8卷积层→第7归一化层→第8激活函数层→第9卷积层→第8归一化层→第8激活函数层→第10卷积层→第9归一化层→第10激活函数层→第2通道连接层→第11卷积层→第10归一化层→第11激活函数层→第12卷积层→第11归一化层→第12激活函数层→第13卷积层→第12归一化层→第13激活函数层→第14卷积层→第13归一化层→第14激活函数层→第15卷积层→第14归一化层→第15激活函数层→第3通道连接层→第16卷积层→第15归一化层→第16激活函数层→第17卷积层→输出层组成。其输出十组不同的特征残差特征b；
各层参数如下：
输入层输入低质量的自然图像；
第1卷积层的输入通道数为3，输出通道数为64；
第6、11、16卷积层的输入通道数为320，输出通道数为64；
第17卷积层的输入通道数为64通道，输出通道数为60；
其余卷积层的输入通道数为64，输出通道数为64；
第7卷积层的输入特征为第6激活函数层的输出与第1激活函数层的输出相加，第12卷积层的输入特征为第11激活函数层的输出特征与第7卷积层的输入特征相加，第17卷积层的输入特征为第16激活函数层的输出与第12卷积层的输入特征相加；
所有卷积层的卷积核尺寸均设置为3×3，卷积步长均设置为1；
所有激活函数层使用LeakyRelu激活函数；
归一化层均使用BN归一化函数；
每一个通道连接层，将其前五个激活函数层的输出特征在通道域上级连。


4.根据权利要求1所述的方法，其特征在于：所述生成网络G中的特征融合模块，结构和参数如下：
结构：输入层→第Ⅰ卷积层→第Ⅰ归一化层→第Ⅰ激活函数层→第Ⅱ卷积层→第Ⅱ归一化层→第Ⅱ激活函数层→第Ⅲ卷积层→第Ⅲ归一化层→第Ⅲ激活函数层→第Ⅳ卷积层→第Ⅳ归一化层→第Ⅳ激活函数层→第Ⅴ卷积层→第Ⅴ归一化层→第Ⅴ激活函数层→通道连接层→第Ⅵ卷积层→第Ⅵ归一化层→第Ⅵ激活函数层→第Ⅶ卷积层→第Ⅶ归一化层→第Ⅶ激活函数层→第Ⅷ卷积层→第Ⅷ归一化层→第Ⅷ激活函数层→输出层组成，其输出为生成网络G增强后的图像；
各层参数如下：
输入层为局部特征提取模块与全局特征提取模块增强后的图像特征；
第Ⅰ卷积层的输入通道数为60，输出的通道数为64；
第Ⅱ卷积层到第Ⅴ卷积层的输入通道数为64，输出的通道数为64；
第Ⅵ卷积层输入通道数为320，输出通道数为64；
第Ⅶ卷积层输入通道数...

【专利技术属性】
技术研发人员：董伟生，张松林，毋芳芳，石光明，谢雪梅，吴金建，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61