一种基于生成对抗网络的深度可变形艺术字样式迁移方法技术

本发明专利技术公开了一种基于生成对抗网络的深度可变形艺术字样式迁移方法，该方法采用生成对抗网络模型，通过设计的生成模型学习到更好的内容特征，生成带有风格图片形状和样式的艺术字。通过本发明专利技术可以有效解决复杂字体经过风格迁移后字形不清晰的问题，可以生成各种样式的精美艺术字，不仅减少了艺术字的设计时间，也提高了大众审美。也提高了大众审美。也提高了大众审美。

【技术实现步骤摘要】
一种基于生成对抗网络的深度可变形艺术字样式迁移方法


[0001]本专利技术属于深度学习
，特别是涉及一种基于生成对抗网络的深度可变形艺术字样式迁移方法。

技术介绍

[0002]随着多媒体技术的发展和人们审美情趣的提升,越来越多的人开始关注视觉信息的美观程度。其中,文字作为日常生活中最重要的部分之一,对其进行美化,生成艺术字,提升其主观视觉质量成为了一个重要的研究热点。
[0003]艺术字生成的关键在于对文字进行纹理合成,将色彩丰富的纹理信息添加到目标文字上。这类技术使用从源纹理图中复制纹理像素或者纹理块的方式在目标图像中合成新的纹理。但是这些方法忽略了艺术字中纹理的多样性和复杂性,因此其合成结果与源艺术字可能相差较大,变得呆板而单一。另一种用于纹理合成的方法是基于统计的纹理合成技术。这类技术对源纹理图中的纹理进行统计上的建模,将纹理描述为统计数字,然后调整目标纹理图使之具有相同的统计数字。这类技术因为建模的准确性问题,难以精确模仿源纹理的视觉特征,合成结果杂乱并且具有很多瑕疵。基于生成对抗网络的艺术文本风格转移提出了第一个文本样式传输网络，它允许通过一个可调参数实时控制字形的关键样式程度。它的主要贡献是建立一个新的双向形状匹配框架，在不同变形水平上建立一个有效的字形映射，而不需要成对的地面真值。
[0004]现有的风格迁移方法存在的问题主要有：图像的风格迁移具有很大的随意性，导致很多情况下，效果很不理想，有时候还会产生一些错误，比如说把风格图像中眼睛部分特征迁移到嘴巴上去了，或者图像背景特征迁移到前景物体上，迁移效果非常不理想。近年来，随着深度学习技术的发展，风格迁移技术逐渐成为图像处理领域的热点问题，其目的是将给定的图像渲染成不同的艺术风格，同时保证输入图像的内容不发生改变。CNN(Convolutional Neural Network)用于图像的艺术风格转换，通过利用预训练好的VGG网络提取到的特征来重新组合任意给定图片的内容和艺术图片的风格样式完成风格迁移生成对抗网络(Generative Adversarial Network)出色的生成能力，使得它逐渐在风格迁移领域得到了广泛的应用，其生成的结果在视觉上更加逼真。其中较为经典的有监督风格迁移模型Pix2Pix以及无监督模型cycle生成对抗网络。
[0005]字体风格迁移是指提取风格图片特征到文本图片上合成艺术字的过程，是一个长期研究的问题。随着深度学习的兴起，大多数字体合成基于卷积神经网络，这些网络只预测了字形形状。与推断整体字形形状不同，将色彩和纹理的艺术风格转移到新的字形是一个挑战性的问题。

技术实现思路

[0006]本专利技术的目的是提供一种基于生成对抗网络的深度可变形艺术字样式迁移方法，以克服现有艺术文本风格转移中字形变形程度的主观不确定性和参考图像单一性的不足，
从而进一步扩大应用面。
[0007]为实现上述目的，本专利技术提供了如下方案：
[0008]本专利技术提供一种基于生成对抗网络的深度可变形艺术字样式迁移方法，包括：
[0009]步骤1：选取文本数据集和一张作为风格图片进行推演；
[0010]步骤2：获取特征图片；
[0011]步骤3：建立草图模块G
B
；
[0012]步骤4：基于平滑损失函数、重建损失函数、条件对损失函数计算总的损失函数：
[0013][0014]其中，λ为设置的权重，为训练草图模块G
B
重建损失函数，为条件对损失函数，是定义的平滑损失函数；
[0015]步骤5：将风格传递过程分解为两个连续的阶段：结构传递和纹理传递，分别由生成器G
S
和G
T
建模；
[0016]步骤6：建立字形网络Gs模块，进行结构传递；
[0017]步骤7：Gs在训练阶段学习不同参数l下文本图像的变形程度；
[0018]步骤8：建立迁移网络G
T
模块，进行纹理传递；
[0019]步骤9：通过三轮epoch，分别迭代多次，组成损失函数，反向传播梯度，经过三阶段训练，生成需要的模型为G
S
.ckpt，G
T
.ckpt；
[0020]步骤10对于不同层，分别采用基于梯度下降法的优化算法生成风格迁移结果；
[0021]步骤11，输入生成的模型，选择一张文本图片进行测试，得到输出图片。
[0022]可选的，所述步骤2包括：利用深度卷积神经网络，先用卷积核提取特征，初始化的卷积核会在反向传播的过程中，在迭代中被一次又一次的更新，得到特征图片。
[0023]可选的，所述步骤3包括：
[0024]将目标结构图简化为不同的粗级；
[0025]通过多层次粗到细的形状映射来表征形状特征，实现多尺度转移，得到不同变形程度的掩膜。
[0026]可选的，平滑损失函数表示为：
[0027][0028]其中，i,j表示像素点；β表示控制图片平滑程度的参数。
[0029]可选的，从所述文本数据集中提取文本图像t，并从[0，1]中提取参数值l，草图模块G
B
的任务是重建t，则重建损失函数表达为：
[0030][0031]并且施加条件对抗损失，以迫使草图模块G
B
生成更多类似文本的轮廓，得到条件对损失函数：
[0032][0033]其中，D
B
学习确定输入图像的真实性以及D
B
是否匹配给定的平滑图像和参数l。
[0034]可选的，字形网络G
S
包括：通过训练字形网络G
S
将输入的文本图像映射到样式图片X，以便G
S
可以表征样式图片X的形状特征，并将所述形状特征转移到目标文本。
[0035]可选的，所述草图模块的工作过程包括：
[0036]将文本图像和样式图片X映射到一个平滑域，将细节消除，显示出平滑的轮廓；
[0037]将平滑后的文本图像映射回文本域来学习字形特征，实现结构转移。
[0038]可选的，基于结构迁移的结果进行纹理传递：使用随机裁剪的方式，从x和y中获得若干个训练对{x,y}，然后利用重建损失和条件对抗损失训练G
T
：
[0039][0040][0041]可选的，通过加入Neural style Transfer中提出的样式损失进一步考虑对采样文本图像t的整体样式呈现性能，将纹理迁移目标定义为:
[0042][0043]本专利技术的技术效果为：通过本专利技术对普通文本进行风格迁移生成艺术字，得到精美得输出图片，不仅减少了艺术字的设计时间，也提高了大众审美。另外还可以有效解决复杂字体经过风格迁移后字形不清晰的问题，针对复杂字体特征提取不够精准问题进行改善，为图像风格迁移方法提供更多的特征供选取，从而使得提取的变形后的图像掩膜具有更好的细节特征。编码器中通过引入可变形卷积，利用卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的深度可变形艺术字样式迁移方法，其特征在于：包括：步骤1：选取文本数据集和一张作为风格图片进行推演；步骤2：获取特征图片；步骤3：建立草图模块G
B
；步骤4：基于平滑损失函数、重建损失函数、条件对损失函数计算总的损失函数：其中，为设置的权重，为训练草图模块G
B
重建损失函数，为条件对损失函数，是定义的平滑损失函数；步骤5：将风格传递过程分解为两个连续的阶段：结构传递和纹理传递，分别由生成器G
S
和G
T
建模；步骤6：建立字形网络Gs模块，进行结构传递；步骤7：Gs在训练阶段学习不同参数下文本图像的变形程度；步骤8：建立迁移网络G
T
模块，进行纹理传递；步骤9：通过三轮epoch，分别迭代多次，组成损失函数，反向传播梯度，经过三阶段训练，生成需要的模型为G
S
.ckpt，G
T
.ckpt；步骤10对于不同层，分别采用基于梯度下降法的优化算法生成风格迁移结果；步骤11，输入生成的模型，选择一张文本图片进行测试，得到输出图片。2.根据权利要求1所述的基于生成对抗网络的深度可变形艺术字样式迁移方法，其特征在于：所述步骤2包括：利用深度卷积神经网络，先用卷积核提取特征，初始化的卷积核会在反向传播的过程中，在迭代中被一次又一次的更新，得到特征图片。3.根据权利要求1所述的基于生成对抗网络的深度可变形艺术字样式迁移方法，其特征在于：所述步骤3包括：将目标结构图简化为不同的粗级；通过多层次粗到细的形状映射来表征形状特征，实现多尺度转移，得到不同变形程度的掩膜。4.根据权利要求1所述的基于生成对抗网络的深度可变形艺术字样式迁移方法，其特征在于：平滑损失函...

【专利技术属性】
技术研发人员：林睦纲，朱炫莹，赵辉煌，文坤辉，易蒙婷，
申请(专利权)人：衡阳师范学院，
类型：发明
国别省市：