基于风格迁移的丝绸文物图像数据扩充方法技术

本发明专利技术涉及一种基于风格迁移的丝绸文物图像数据扩充方法，针对图片风格迁移人工困难的问题，利用深度学习中的生成对抗网络来进行风格迁移，将原始风格图和专家修复后图送入对抗网络，通过融合两种不同类型的原始、复原的风格特征，来更好的进行风格迁移，所得迁移后图像适于保存，并且对受制于数据条件限制的各种绘画、艺术品的样本数据扩增，应用于艺术品创造、绘画生成和样本数据扩增。绘画生成和样本数据扩增。绘画生成和样本数据扩增。

【技术实现步骤摘要】
基于风格迁移的丝绸文物图像数据扩充方法


[0001]本专利技术涉及一种图像处理技术，特别涉及一种基于风格迁移的丝绸文物图像数据扩充方法。

技术介绍

[0002]目前的风格迁移网络通常是对绘画风格(抽象、卡通)、自然条件(光照、雨雾)的迁移，受制于数据条件的限制，尚未有成熟对丝绸文物图像数据进行风格迁移的技术框架。图1是一个典型的从照片迁移到特定绘画风格的例子图。
[0003]丝绸文物图像多为破损残缺，而其核心纹理和图案可以通过专业人员进行修复和重构得到一种丝绸的标准化单元图形。这样一来，我们的丝绸文物数据就包含两种主要图像，如图2为原始的丝绸文物图片，而图3为专业人士修复的丝绸单元图案，对比后可看出图片的主要特征都被专业人员重构出来了，但与原图还有很大区别，势必对其进行风格迁移才能更好的保持原图的风格，这带来很大的工作量。

技术实现思路

[0004]本专利技术是针对丝绸文物图像风格修复困难的问题，提出了一种基于风格迁移的丝绸文物图像数据扩充方法，利用深度学习中的生成对抗网络来进行风格迁移，生成图像，可对受制于数据条件限制的各种绘画、艺术品的样本数据扩增，利于保存。
[0005]本专利技术的技术方案为：一种基于风格迁移的丝绸文物图像数据扩充方法，将原始风格图和复原图分别缩放至统一大小并输入到预训练好的VGG19网络，在VGG19网络内部先将原始风格图像复制分别送入目标图和内容图；然后将原始风格图、复原图、目标图和内容图四部分输入到ImageNet上预训练好的VGG19网络，进入不同层的卷积进行识别，计算损失函数，利用反向传播来调整目标图的像素值内容，使得目标图片越来越接近原图风格，实现风格迁移；损失函数包括原始风格损失、风格恢复损失和内容损失，根据经验设置原始风格损失系数α和风格恢复损失系数β，内容损失系数设置为1；损失计算中原始风格损失由原始风格下采样前的卷积图取出与目标图的对应卷积图进行计算得到，风格恢复损失由复原图下采样前的卷积图取出与目标图的对应卷积图进行计算得到。
[0006]通过上述技术方案，将对抗网络技术运用到风格迁移，给出具有风格的文物图像数据进行风格迁移的技术框架，解决现在由于数据少，借鉴少的文物图的风格迁移问题。
[0007]所述原始风格损失计算：
[0008][0009]其中N
l
和M
l
分别是第l层卷积图的宽和高，G
ij
为目标图经过卷积层得到的第i个和第j个特征图的自相关格拉姆矩阵；为原始风格图经过卷积层得到的第i个和第j
个特征图的自相关格拉姆矩阵；所述风格恢复损失计算：
[0010]其中N
l
和M
l
分别是第l层卷积图的宽和高，为复原图经过卷积层得到的第i个和第j个特征图的自相关格拉姆矩阵。
[0011]通过上述技术方案，将对抗网络技术运用到风格迁移中不同类型图进行风格融合进一步限定，保证风格迁移的实现。
[0012]本专利技术的有益效果在于：本专利技术基于风格迁移的丝绸文物图像数据扩充方法，通过融合两种不同类型的丝绸文物图片(原始、复原)的风格特征，来更好的进行风格迁移，应用于艺术品创造、绘画生成和样本数据扩增。
附图说明
[0013]图1为典型的从照片迁移到特定绘画风格的例子图；
[0014]图2为原始的丝绸文物图片；
[0015]图3为图2实施例的专业人士修复的丝绸单元图案；
[0016]图4为本专利技术基于风格迁移的丝绸文物图像数据扩充方法所用网络示意图；
[0017]图5为使用本专利技术方法所得风格迁移结果图。
具体实施方式
[0018]下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。
[0019]丝绸文物图像非常稀少，通常来说无法形成可供深层神经网络进行训练的大规模数据集。因此，通过风格迁移对丝绸文物图像进行样本扩充是一种非常重要的技术手段。本专利技术主要提出一种由复原图像结合原始图像进行风格迁移的网络模型，可以使被迁移丝绸的风格更好的通过两种不同的特征进行保留。
[0020]对于通常的风格迁移网络，对于需要迁移的风格通过浅层的特征图来计算误差，而对于丝绸文物图片，原始图像存在破损、褪色、图案缺失等问题，并不能很好的提供风格特征，而复原图片过于扁平，完全使用复原图片进行风格迁移会导致目标图片过于虚拟化，缺少织物纹理信息。因此对一种丝绸风格进行迁移时，同时使用该丝绸的原始图像和复原图像。
[0021]具体来说，如图4所示本专利技术方法网络示意图，图4中输入为x
style
(风格原图，也就是文物原图)和x
content
(需要进行迁移的图像内容，也就是专家手动恢复出的图像)输入VGG19网络，进行识别和迁移，本专利技术将原始风格图像和复原图像分别缩放至统一大小并输入到预训练好的VGG19网络(包含了19个隐藏层，16个卷积层和3个全连接层)，在VGG19网络内部将x
content
复制分别送入y_target(目标图)和y_content(内容图)，x
style
作为风格图片送入y_style_original(原始风格图)，x
content
作为复原的风格图片送入y_style_recover(复原图)；然后将四部分输入到ImageNet上预训练好的VGG19网络，进入不同层的卷积进行
识别，计算损失函数，利用反向传播来调整目标图y_target的像素值内容，使得y_target中图片越来越接近原图风格，实现风格迁移；进入卷积识别前设置style_original_loss原始风格损失系数α和style_recover_loss风格恢复损失系数β，内容损失系数设置为1，也就是y_content(内容图片)不变。表1为实施例VGG19模型结构。
[0022]表1
[0023][0024]对于每个下采样前的卷积图，可以用以下公式来计算第l层的原始风格差异(即原始风格损失)：
[0025][0026]其中N
l
和M
l
分别是第l层卷积图的宽和高，G
ij
为目标图经过卷积层得到的第i个和第j个特征图的自相关格拉姆矩阵；为原始风格图经过卷积层得到的第i个和第j个特征图的自相关格拉姆矩阵。
[0027]例如图4结合表1VGG19结构，将原始风格图前两个下采样前的卷积图(表1中的Conv1
‑
2和Conv2
‑
2)取出与目标图的对应卷积图进行计算得到的风格损失进行相加得到:
[0028][0029]与此同时，可以用以下公式来计算第l层的复原风格差异：
[0030][0031]其中N
l
和M
l
分别是第l层卷积图的宽和高，为复本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于风格迁移的丝绸文物图像数据扩充方法，其特征在于，将原始风格图和复原图分别缩放至统一大小并输入到预训练好的VGG19网络，在VGG19网络内部先将原始风格图像复制分别送入目标图和内容图；然后将原始风格图、复原图、目标图和内容图四部分输入到ImageNet上预训练好的VGG19网络，进入不同层的卷积进行识别，计算损失函数，利用反向传播来调整目标图的像素值内容，使得目标图片越来越接近原图风格，实现风格迁移；损失函数包括原始风格损失、风格恢复损失和内容损失，根据经验设置原始风格损失系数α和风格恢复损失系数β，内容损失系数设置为1；损失计算中原始风格损失由原始风格下采样前的卷积图取出与目标图的对应卷积图进行计算得到，风...

【专利技术属性】
技术研发人员：王直杰，唐雪嵩，赵鸣博，董爱华，
申请(专利权)人：东华大学，
类型：发明
国别省市：