一种基于优化AnimeGAN的图像风格迁移制造技术

本发明专利技术公开了一种基于优化AnimeGAN的图像风格迁移，具体包含以下过程：建立风格迁移的训练集，包含原风格图像集和目标风格图像集；构建生成网络：所述生成网络为编码器

【技术实现步骤摘要】
一种基于优化AnimeGAN的图像风格迁移


[0001]本专利技术属于图像处理
，具体涉及一种基于优化AnimeGAN的图像风格迁移。

技术介绍

[0002]图像处理是一种具有巨大的社会和经济效益的实用技术，被广泛应用于各行各业以及人们的日常生活中。图像处理中常见的一个技术就是图像的风格迁移，图像风格迁移的目的是对图像的纹理、色彩、内容等进行定向的改变，使得图像从一种风格变化为另一种风格，例如，将照片进行风格迁移，得到宫崎骏动漫风格的图像，将光线较昏暗的条件下拍摄得到的风景照片进行风格迁移，得到光线较为明亮条件下的图像等。
[0003]现有的风格迁移技术通常存在着一些问题，比如生成的图像没有明显的目标风格纹理、生成的图像丢失了原有图像的边缘和内容、网络参数的存储容量要求太大等。生成对抗网络(Generative Adversarial Networks，GAN)被认为能够有效解决上述问题。
[0004]生成对抗网络是由Ian J.Goodfellow等人在2014年提出的，是一种非监督式的学习方法，通过两个神经网络相互博弈的方式进行学习。生成对抗网络由一个生成网络和一个判别网络组成的，其中生成网络从潜在空间中随机取样作为输入，输出的结果需要尽量模仿训练集中的样本，判别网络的输入为真实样本或者生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来，而生成网络则尽可能欺骗判别网络。两个网络通过互相对抗、不断调整参数，最终的目的是使判别网络无法判断生成网络的输出结果是否真实。
[0005]AnimeGAN(图像卡通风格迁移算法)是生成对抗网络的一个变体，AnimeGAN使用未配对的训练数据进行端到端训练，实现图片的风格迁移。

技术实现思路

[0006]为了解决风格迁移时生成的图像目标风格纹理不明显、内容迁移效果不佳、图像边缘不清晰等问题，本专利技术提出了一种基于优化AnimeGAN的图像风格迁移，将优化后的AnimeGAN(图像卡通风格迁移算法)应用于非成对图像之间的风格迁移。
[0007]本专利技术提出的一种基于优化AnimeGAN的图像风格迁移，包含以下步骤：
[0008]S1、建立风格迁移的训练集，包含原风格图像集和目标风格图像集；
[0009]S2、构建生成网络G：所述生成网络G为编码器
‑
解码器结构，包含标准卷积块、下采样卷积块、倒置残差块、上采样卷积块和深度可分离卷积；
[0010]S3、构建判别网络D：所述判别网络D中的卷积层为标准卷积；
[0011]S4、进行生成网络G与判别网络D的对抗训练，得到训练成熟的生成网络G；
[0012]S5、采用训练成熟的生成网络G对图像进行目标风格迁移，生成目标风格迁移图像。
[0013]优选地，原风格图像集包含若干第一类图像，第一类图像为原风格图像，用来进行
目标风格迁移；
[0014]对第一类图像进行转化，生成第一类图像的YUV格式三通道图像。
[0015]优选地，目标风格图像集包含若干第二类图像和若干第三类图像，第二类图像为第一类图像对应的目标风格图像，第三类图像为第二类图像平滑处理后的图像；
[0016]对第三类图像进行转化，生成第三类图像的灰度图和第三类图像的YUV格式三通道图像。
[0017]优选地，所述生成网络G的编码器通过一层标准卷积块输入，将该标准卷积块与一层标准卷积块、一个下采样卷积块、一个标准卷积块、一个深度可分离卷积、一个下采样卷积块、一个标准卷积块以及8块倒置残差块依次连接，形成所述编码器；
[0018]所述生成网络G的解码器通过一个卷积层输出，依次连接一层标准卷积块、一个上采样卷积块、一个深度可分离卷积、一个标准卷积块、一个上采样卷积块、两个标准卷积块和该卷积层，形成所述解码器。
[0019]优选地，所述生成网络G通过所述标准卷积块提取图像的特征，通过所述下采样块避免池化带来的图像特征信息的丢失，通过所述倒置残差块降低训练时所需参数、提升训练速度，通过所述上采样块提高特征图的分辨率，通过所述深度可分离卷积减少计算量、加快图像的生成速度。
[0020]优选地，所述判别网络D包含七个卷积层：第一卷积层～第七卷积层；七个卷积层均为标准卷积层，第一卷积层至第七卷积层依次连接形成所述判别网络D。
[0021]优选地，所述判别网络D通过第一卷积层输入，并对第一卷积层、第二卷积层和第四卷积层分别进行LRelu激活函数操作，对第三卷积层、第五卷积层和第六卷积层分别进行实例正则化函数和LRelu激活函数操作，所述判别网络D通过第七卷积层输出。
[0022]优选地，所述生成网络G与判别网络D的对抗训练包含以下过程：
[0023]S41、所述生成网络D的预训练：
[0024]将第一类图像和第一类图像的YUV格式三通道图像，以及第三类图像和第三类图像的YUV格式三通道图像，输入所述生成网络D；
[0025]采用VGG19网络模型对所述生成网络D进行预训练，预训练过程采用L1稀疏正则化方法计算图像内容损失函数L
con
(G,D)和灰度损失函数L
gra
(G,D),计算公式如下：
[0026][0027][0028]其中，公式(1)中G表示所述生成网络，D表示所述判别网络，p
i
表示第i张第一类图像，G(p
i
)表示第一类图像p
i
输入所述生成网络G生成的图像，表示第一类图像p
i
的YUV格式三通道图像的数学期望,VGG
l
(p
i
)表示输入第一类图像p
i
的VGG19网络模型、第l层的特征映射，VGG
l
(G(p
i
))表示输入G(p
i
)的VGG19网络模型、第l层的特征映射；
[0029]公式(2)中表示输入所述生成网络G的、第三类图像的灰度图像x
i
的数学期望，Gram表示特征图的Gram矩阵；
[0030]S42、训练所述判别网络D：
[0031]将与第一类图像p
i
对应的第二类图像、所述生成网络G生成的图像G(p
i
)输入所述
判别网络D，对该第二类图像进行区分识别；识别过程中采用的损失函数计算公式如下：
[0032][0033]其中，公式(3)中ω
adv
表示权重；表示第三类图像的YUV格式三通道图像a
i
的数学期望，该第三类图像与第一类图像p
i
对应；表示第一类图像p
i
的YUV格式三通道图像的数学期望；表示第三类图像的灰度图x
i
的数学期望，该第三类图像与第一类图像p
i
对应；表示图像G(p
i
)的灰度图像y
i
的数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于优化AnimeGAN的图像风格迁移，其特征在于，包含以下步骤：S1、建立风格迁移的训练集，包含原风格图像集和目标风格图像集；S2、构建生成网络G：所述生成网络G为编码器
‑
解码器结构，包含标准卷积块、下采样卷积块、倒置残差块、上采样卷积块和深度可分离卷积；S3、构建判别网络D：所述判别网络D中的卷积层为标准卷积；S4、进行生成网络G与判别网络D的对抗训练，得到训练成熟的生成网络G；S5、采用训练成熟的生成网络G对图像进行目标风格迁移，生成目标风格迁移图像。2.如权利要求1所述基于优化AnimeGAN的图像风格迁移，其特征在于，原风格图像集包含若干第一类图像，第一类图像为原风格图像，用来进行目标风格迁移；对第一类图像进行转化，生成第一类图像的YUV格式三通道图像。3.如权利要求1所述基于优化AnimeGAN的图像风格迁移，其特征在于，目标风格图像集包含若干第二类图像和若干第三类图像，第二类图像为第一类图像对应的目标风格图像，第三类图像为第二类图像平滑处理后的图像；对第三类图像进行转化，生成第三类图像的灰度图和第三类图像的YUV格式三通道图像。4.如权利要求1所述基于优化AnimeGAN的图像风格迁移，其特征在于，所述生成网络G的编码器通过一层标准卷积块输入，将该标准卷积块与一层标准卷积块、一个下采样卷积块、一个标准卷积块、一个深度可分离卷积、一个下采样卷积块、一个标准卷积块以及8块倒置残差块依次连接，形成所述编码器；所述生成网络G的解码器通过一个卷积层输出，依次连接一层标准卷积块、一个上采样卷积块、一个深度可分离卷积、一个标准卷积块、一个上采样卷积块、两个标准卷积块和该卷积层，形成所述解码器。5.如权利要求1所述基于优化AnimeGAN的图像风格迁移，其特征在于，所述生成网络G通过所述标准卷积块提取图像的特征，通过所述下采样块避免池化带来的图像特征信息的丢失，通过所述倒置残差块降低训练时所需参数、提升训练速度，通过所述上采样块提高特征图的分辨率，通过所述深度可分离卷积减少计算量、加快图像的生成速度。6.如权利要求1所述基于优化AnimeGAN的图像风格迁移，其特征在于，所述判别网络D包含七个卷积层：第一卷积层～第七卷积层；七个卷积层均为标准卷积层，第一卷积层至第七卷积层依次连接形成所述判别网络D。7.如权利要求1所述基于优化AnimeGAN的图像风格迁移，其特征在于，所述判别网络D通过第一卷积层输入，并对第一卷积层、第二卷积层和第四卷积层分别进行LRelu激活函数操作，对第三卷积层、第五卷积层和第六卷积层分别进行实例正则化函数和LRelu激活函数操作，所述判别网络D通过第七卷积层输出。8.如权利要求1所述基于优化AnimeGAN的图像风格迁移，其特征在于，所述生成网络G与判别网络D的对抗训练包含以下过程：S41、所述生成网络D的预训练：将第一类图像和第一类图像的YUV格式三通道图像，以及第三类图像和第三类图像的YUV格式三通道图像，输入所述生成网络D；采用VGG19网络模型对所述生成网络D进行预训练，预训练过程采用L1稀疏正则化方法
计算图像内容损失函数L
con
(G,D)和灰度损失函数L

【专利技术属性】
技术研发人员：林光涵，于威威，
申请(专利权)人：上海海事大学，
类型：发明
国别省市：