【技术实现步骤摘要】
本专利技术属于图像合成，具体涉及一种基于外部注意力机制的跨语言小样本字体生成方法、系统及存储介质。
技术介绍
1、人类通过文本获取大量的信息，字体是文本的视觉解释，除了承载着传递信息的作用，不同的字体设计风格可以传达更加深层含义的语境，比如当前内容的背景是欢乐的还是恐怖的。
2、设计一种字体是一项非常耗时的工作，对设计师的专业能力要求也比较高。设计师既要对笔画进行恰当的艺术设计，使字体既传达了艺术风格，又能保证字符原本的内容。并且在设计多语言的大型字库时，设计师需要耗费大量的时间和精力使不同语言的字符保持同一风格，这不仅需要设计师具有较高的专业能力，还需要设计师精通不同的语言。但是在很多场景下，比如不同译本的小说封面设计、不同国家的电影宣传海报设计、面向国际用户的ui设计等，都需要保持不同语言的字符拥有相同的设计风格。
3、因此，通过神经网络来实现自动字体生成吸引研究者的目光，很多基于gan的自动字体生成模型被提出。早期的方法将字体生成任务看做图像生成任务，将字体样式的迁移看做图像到图像的翻译，如zi2zi，使用类似pixel2pixel的网络，并通过一个字体类别嵌入模块同时处理多钟字体风格。然而，这些方法通常需要在一个大的数据集上进行预训练，然后再针对特定的任务进行微调，需要耗费更多的计算资源，并且收集训练样本也需要耗费更多的精力。最近，人们提出很多专门为字体生成任务设计的小样本学习方法，这些模型可以基于少数的样本生成完整的字体库。
4、但是在很多场景下，比如不同译本的小说封面设计、不同国家
技术实现思路
1、本专利技术是为了解决上述问题而进行的，目的在于提供基于外部注意力机制的跨语言小样本字体生成方法、系统及存储介质，能够关注并提取更为精细和高级的风格特征，实现高质量的跨语言字体生成。
2、本专利技术为了实现上述目的，采用了以下方案：
3、<方法>
4、本专利技术提供基于外部注意力机制的跨语言小样本字体生成方法，采用生成对抗网络模型中的生成器生成待判别的目标文字图像，并采用判别器对生成的图像进行判别：
5、在生成器中，采用风格编码单元将风格图像作为输入，并生成风格潜在特征，风格编码单元包括依次相连的多个卷积块和多尺度外部注意力模块；
6、其中，多尺度外部注意力模块通过三个并列的外部注意力块分别处理不同卷积深度、不同大小感受野的特征图；通过外部注意力块获取上下文信息并将其纳入特征映射，然后，通过与模型共同训练上下文向量来每个区域分配分数，加权求和得到不同尺度的特征向量，最后通过单层神经网络对三个不同尺度的特征向量赋值，加权求和得到风格特征。
7、优选地，本专利技术提供的基于外部注意力机制的跨语言小样本字体生成方法，在多尺度外部注意力模块中，输入数据为风格编码单元提取的特征映射f3，f3依次通过卷积块convblock-4和convblock-5分别提取得到感受野越来越大的两个特征映射f4和f5；进一步，通过三个并列的外部注意块分别处理具有依次递增接受域大小的上述三个特征映射f3、f4、f5；通过外部注意块获取上下文信息并将其纳入特征图，计算为：
8、hr＝ea(vr),
9、式中，ea表示外部注意块，表示每个区域，在特征映射和新特征向量中；hr包含了对应图像接受域的信息和来自其他参考图像的其他区域的上下文信息；
10、然后，考虑到并非所有区域的贡献都相同，为每个区域分配分数：
11、ur＝tanh(wchr+bc)，
12、
13、
14、公式中，ur为hr的潜在表示；uc表示上下文向量，上下文向量uc是随机初始化的，并与整个模型共同训练；特征向量f作为每个区域vr的加权和；
15、将最后一个卷积块给出的特征映射平坦化，得到一个特征向量fm，将其输入到单层神经网络s2中生成三个权重，然后分别对三个不同尺度的特征向量f1、f2、f3赋值，从而使模型明确该关注的特征尺度：
16、w1，w2，w3＝s2(fm)，
17、
18、式中，w1、w2、w3为神经网络给出的三个归一化分数，z为三个特征向量的加权和；风格编码单元每次都会接受k个图像，因此最终的潜在特征zs为所有向量的平均值：
19、
20、复制多次风格潜在特征zs，以匹配内容潜在特征zc的大小(使zs长度与zc相当)。
21、优选地，本专利技术提供的基于外部注意力机制的跨语言小样本字体生成方法，在多尺度外部注意力模块中：三个特征映射f3、f4、f5的接受域大小依次为13×13、21×2l和37×37。
22、优选地，本专利技术提供的基于外部注意力机制的跨语言小样本字体生成方法，生成器包括内容编码单元、风格编码单元、解码单元；内容编码单元将内容图像作为输入，并生成内容潜在特征；解码单元将内容潜在特征和风格潜在特征作为输入，并输出生成的图像；判别器包括内容判别单元和风格判别单元；内容判别单元检测生成的图像与内容参考图像是否具有相同的内容；风格判别单元采用内容判别单元相同的结构来局部和全局检查真实图像和生成图像的风格特征。
23、优选地，本专利技术提供的基于外部注意力机制的跨语言小样本字体生成方法，生成对抗网络模型中，总的损失函数l包括像素级损失、边缘损失、对抗损失三个部分；像素级损失为生成的图像和真实图像之间的损失；边缘损失通过canny算法提取生成图像与目标图像的边缘，并利用像素级损失函数测量两者之间的像素距离；对抗性损失通过hinge loss函数计算。
24、<系统>
25、进一步，本专利技术还提供能够自动实现以上<方法>的基于外部注意力机制的跨语言小样本字体生成系统，其特征在于，包括：
26、生成器，生成待判别的目标文字图像，包括内容编码单元、风格编码单元、解码单元；
27、判别器，对生成的目标文字图像进行判别，包括内容判别单元和风格判别单元；
28、控制器，与生成器、判别器均通信相连，控制它们的运行；
29、其中，风格编码单元将风格图像作为输入，并生成风格潜在特征，风格编码单元包括依次相连的多个卷积块和多尺度外部注意力模块；
30、多尺度外部注意力模块本文档来自技高网...
【技术保护点】
1.基于外部注意力机制的跨语言小样本字体生成方法，采用生成对抗网络模型中的生成器生成待判别的目标文字图像，并采用判别器对生成的图像进行判别，其特征在于：
2.根据权利要求1所述的基于外部注意力机制的跨语言小样本字体生成方法，其特征在于：
3.根据权利要求1所述的基于外部注意力机制的跨语言小样本字体生成方法，其特征在于：
4.根据权利要求1所述的基于外部注意力机制的跨语言小样本字体生成方法，其特征在于：
5.根据权利要求1所述的基于外部注意力机制的跨语言小样本字体生成方法，其特征在于：
6.基于外部注意力机制的跨语言小样本字体生成系统，能够自动实现权利要求1～5中任意一项所述的方法，其特征在于，包括：
7.根据权利要求6所述的基于外部注意力机制的跨语言小样本字体生成系统，其特征在于，还包括：
8.存储介质，其特征在于：
【技术特征摘要】
1.基于外部注意力机制的跨语言小样本字体生成方法，采用生成对抗网络模型中的生成器生成待判别的目标文字图像，并采用判别器对生成的图像进行判别，其特征在于：
2.根据权利要求1所述的基于外部注意力机制的跨语言小样本字体生成方法，其特征在于：
3.根据权利要求1所述的基于外部注意力机制的跨语言小样本字体生成方法，其特征在于：
4.根据权利要求1所述的基于外部注意力机制的跨语...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。