一种基于全卷积网络的图像视觉效果增强的方法技术

本发明专利技术涉及一种基于全卷积网络的图像视觉效果增强的方法，步骤包括：S1采集图像，采集的所有高清图像构成原始图像集合；S2对上述图像进行后期处理增强视觉效果，采集处理后的图像，所有处理后的图像构成一个后期处理的图像集合；S3建立基于全卷积的上下文聚合网络模型，将原始图像和后期处理图像的图像序列输入网络进行训练，并采用监督训练方式，更新上下文聚合网络模型中的参数，得到训练后的网络模型；S4将待处理的图像输入到训练后的网络模型，得到视觉效果增强的图像。本发明专利技术方法简单有效，所使用的网络模型具有跨分辨率训练和测试的优点，对训练时间短，同时对硬件的要求也较低。

A Method of Image Visual Effect Enhancement Based on Full Convolution Network

【技术实现步骤摘要】
一种基于全卷积网络的图像视觉效果增强的方法
本专利技术涉及图像处理
，特别涉及一种基于全卷积网络的图像视觉效果增强的方法。
技术介绍
随着经济社会不断发展，科技不断进步，图像获取和存储的成本不断降低，数字图像及其处理已经慢慢渗透到我们生活和工作的各个角落。数字图像处理是指通过计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理的方法和技术。其中图像增强是数字图像处理的重要分支，其目的主要是针对给定图像的应用场合，改善图像的视觉效果。目前常用的对图像进行效果增强方法非常多，传统的如双通滤波算子、高斯滤波算子等，但是他们都只能对一整张图做整体或局部的统一改变，通常被当作人像后期处理的某个工具来使用。除此外，国内外有不少人利用这些算子对图像增强领域进行了相关研究，如LoreKG,AkintayoA,SarkarS等人提出了一种基于深度自动编码器的低亮度图像特征识别方法。在高动态范围图像中对图像进行自适应增亮，且不会过度放大/饱和较亮部分。李伟凯,王政霞,蒋伟等以梯度和灰度值为参数,建立了一种新的自适应分数阶偏微分图像增强模型。该模型改善了传统算法对暗区图像增强不足的缺点,图像增强后的平均梯度提升明显,很好地改善了图像的视觉效果。近年，深度学习在图像增强领域取得了不少的成功，如TaoL,ZhuC,XiangG提出了一种基于CNN的低亮度图像增强方法，运用残差思想设计了的LLCNN神经网络来利用多尺度特征映射，进而避免了梯度消失问题，使用SSIMLoss来对网络进行训练，实验结果表明可以自适应地增强微光图像的对比度。上述的方法虽然也能实验图像的视觉效果增强，但都存在一个缺点，即在处理图像，尤其是4K及以上分辨率的图像时，对硬件要求过高，且训练所需时间较长。
技术实现思路
针对现有技术存在的上述问题，本专利技术的目的是提供一种简单，且增强图像视觉效果好的方法。为实现上述目的，本专利技术采用如下技术方案：一种基于全卷积网络的图像视觉效果增强的方法，步骤包括：S1：采集图像，采集的所有原始图像构成原始图像集合x，记为x＝{x1,x2,x3,…,xn}；；S2：在不对图像构图进行修改的基础上，对上述图像进行后期处理增强视觉效果，采集处理后的图像，所有处理后的图像构成一个后期处理的图像集合X，记为X＝{X1,X2,X3,…,Xn}，其中Xt是xt经过后期处理的图像，t∈[1,n]；S3：建立基于全卷积的上下文聚合网络模型，所述上下文聚合网络模型训练过程中，将未经过后期处理的原图像和对应的经过后期处理的图像构成的图像序列{<x0,X0>、<x1,X1>、<x2,X2>…<xt,Xt>}作为输入，采用监督训练方式，更新上下文聚合网络模型中的参数，得到训练后的网络模型；S4：将待处理的图像输入到训练后的网络模型，得到视觉效果增强的图像。作为改进，所述S2中后期处理是指对图像进行色彩，饱和度，对比度亮度调整操作。作为改进，如果S1采集的图像为人像，则所述S2中后期处理是指，对图像进行色彩，饱和度，对比度亮度及磨皮调整操作。作为改进，步骤S3所建立的基于全卷积的上下文聚合网络模型如下：设该上下文聚合网络模型共有d层，记该上下文聚合网络模型为{L0,L1,…,Ld}，其中第一层L0和最后一层Ld的维度均为q×p×3，第一层L0表示输入图像，最后一层Ld表示输出图像，q×p表示分辨率；每个中间层Ls维度为q×p×w，1≤s≤d-1，w是每个中间层的通道数，中间层Ls的内容根据前一层Ls-1的计算得出，计算如式(1)所示：其中表示第s层的第i个通道，表示第s层的第i个偏置量，表示第s层的第i个卷积核的第j个通道；运算符表示指空洞率为rs的空洞卷积，随深度增加，rs＝2s-1,此处，1≤s≤d-2，对于Ld-1层，rs＝1，对于输出层Ld，使用3个1×1卷积核，将最终层投影到RGB颜色空间；Φ是LReLU激活函数，如式(2)所示，LReLU(x)＝max(αx,x),α＝0.2；(2)；其中max是取最大值的函数；Ψs是自适应归一化函数，如式(3)所示：Ψs(x)＝λsx+μsBN(x)(3)；其中λs,μs∈R，是通过神经网络的反向传播进行学习的权重；BN则是指批标准化；向所述上下文聚合网络模型中输入图片对，即未经过后期处理的原图像和对应的经过后期处理的图像，输入图片对遍历原始图像集合x和后期处理的图像集合X，所述上下文聚合网络模型根据损失函数进行反向传播对上下文聚合网络模型的参数进行更新，设所述上下文聚合网络模型更新次数为T，损失函数如式(4)所示：其中xt表示指输入到网络模型的未经过后期处理的原图像，Xt是指经过专业修图师后期处理的目标图像，且xt和Xt的分辨率相同；Nt是图像xt的像素个数；F(xt)是指经过所建立的神经网络模型而得到的增强图像。相对于现有技术，本专利技术至少具有如下优点：本专利技术提供的方法简单有效，所使用的网络模型具有跨分辨率训练和测试的优点，对训练时间短，同时对硬件的要求也较低。实验结果表明本专利技术方法建立的网络模型能够很有效的学习到从未经处理的原图到经过专业人员修饰的目标图片之间的映射关系，训练后的网络模型可以被直接用来增强图像视觉效果。附图说明图1是本专利技术方法的流程简图。图2是本专利技术方法所用的基于全卷积的上下文聚合网络主要架构。图3、图4、图5均是本专利技术方法的实验结果图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本专利技术进一步详细说明。本专利技术中所述的图像是指4K及以上图像。本专利技术建立了基于全卷积网络和空洞卷积的上下文聚合网络模型来对人像照片进行视觉效果增强。本专利技术将由照相机直接拍摄的高清原始照片和将这些照片经过专业后期修图师精修后的目标照片作为网络的输入，通过网络直接学习原始图片到目标图片的映射关系。因为网络架构是基于全卷积网络和空洞卷积的，所以网络能够跨分辨率训练和测试。根据网络训练时硬件情况，可以将图片缩放两倍甚至三倍进行训练(也可不缩放)，然后使用原分辨率进行测试。参见图1和图2，图2是本专利技术方法所使用的网络架构，第一层和倒数第二层和普通卷积一样，卷积核是3x3，第二层至倒数第三层是用的空洞卷积，最后一层是用1x1卷积核，直接线性的将最终层投影到RGB颜色空间，本专利技术方法使用的网络共9层。一种基于全卷积网络的图像视觉效果增强的方法，步骤包括：S1：采集图像，采集的所有原始图像构成原始图像集合x，记为x＝{x1,x2,x3,…,xn}；；图像可以是专业人像摄影师拍摄；S2：在不对图像构图进行修改的基础上，对上述图像进行后期处理增强视觉效果，采集处理后的图像，所有处理后的图像构成一个后期处理的图像集合X，记为X＝{X1,X2,X3,…,Xn}，，其中Xt是xt经过后期处理的图像，t∈[1,n]；此处的后期处理是指对图像进行色彩，饱和度，对比度亮度调整操作；如果S1采集的图像为人像，则所述S2中后期处理是指，对图像进行色彩，饱和度，对比度亮度及磨皮调整操作；S3：建立基于全卷积的上下文聚合网络(ContextAggregationNetwork)模型，所述上下文聚合网络模型训练过程中，将未经过后期处理的原图像和本文档来自技高网...

【技术保护点】
1.一种基于全卷积网络的图像视觉效果增强的方法，其特征在于，步骤包括：S1：采集图像，采集的所有原始图像构成原始图像集合x，记为x＝{x1,x2,x3,…,xn}；；S2：在不对图像构图进行修改的基础上，对上述图像进行后期处理增强视觉效果，采集处理后的图像，所有处理后的图像构成一个后期处理的图像集合X，记为X＝{X1,X2,X3,…,Xn}，其中Xt是xt经过后期处理的图像，t∈[1,n]；S3：建立基于全卷积的上下文聚合网络模型，所述上下文聚合网络模型训练过程中，将未经过后期处理的原图像和对应的经过后期处理的图像构成的图像序列{<x0,X0>、<x1,X1>、<x2,X2>…<xt,Xt>}作为输入，采用监督训练方式，更新上下文聚合网络模型中的参数，得到训练后的网络模型；S4：将待处理的图像输入到训练后的网络模型，得到视觉效果增强的图像。

【技术特征摘要】
1.一种基于全卷积网络的图像视觉效果增强的方法，其特征在于，步骤包括：S1：采集图像，采集的所有原始图像构成原始图像集合x，记为x＝{x1,x2,x3,…,xn}；；S2：在不对图像构图进行修改的基础上，对上述图像进行后期处理增强视觉效果，采集处理后的图像，所有处理后的图像构成一个后期处理的图像集合X，记为X＝{X1,X2,X3,…,Xn}，其中Xt是xt经过后期处理的图像，t∈[1,n]；S3：建立基于全卷积的上下文聚合网络模型，所述上下文聚合网络模型训练过程中，将未经过后期处理的原图像和对应的经过后期处理的图像构成的图像序列{<x0,X0>、<x1,X1>、<x2,X2>…<xt,Xt>}作为输入，采用监督训练方式，更新上下文聚合网络模型中的参数，得到训练后的网络模型；S4：将待处理的图像输入到训练后的网络模型，得到视觉效果增强的图像。2.如权利要求1所述的基于全卷积网络的图像视觉效果增强的方法，其特征在于，所述S2中后期处理是指对图像进行色彩，饱和度，对比度亮度调整操作。3.如权利要求1基于全卷积网络的图像视觉效果增强的方法，其特征在于，如果S1采集的图像为人像，则所述S2中后期处理是指，对图像进行色彩，饱和度，对比度亮度及磨皮调整操作。4.如权利要求1或2或3所述的基于全卷积网络的图像视觉效果增强的方法，其特征在于，步骤S3所建立的基于全卷积的上下文聚合网络模型如下：设该上下文聚合网络模型共有d层，记该上下文聚合网络模型为{L0,L1,…...

【专利技术属性】
技术研发人员：杨梦宁，李小斌，李亚涛，汪涵，向刚，
申请(专利权)人：重庆米弘科技有限公司，
类型：发明
国别省市：重庆,50