【技术实现步骤摘要】
本专利技术属于计算机视觉和图像分类；具体涉及一种图像任意艺术风格迁移的方法。
技术介绍
1、风格迁移是计算机视觉基本任务之一，图像任意艺术风格迁移旨在通过将给定照片渲染成目标艺术风格，创造出新的艺术图像，现有方法仅基于全局统计或局部分块来简单地学习风格，缺乏对实践中绘画过程的仔细考虑。因此，风格化结果要么无法捕捉丰富多样的局部风格模式，要么包含了风格图像中不期望的语义信息，偏离了全局风格分布。为了解决这一问题，我们提出了一个图像任意风格迁移的两段感知特征方法，首先，以分块方式交换局部特征，丰富局部风格细节，然后通过对齐内容和风格特征的全局统计信息，微调全局风格特征。通过这些创新，我们的方法能够生成视觉上更加吸引人、细节更加丰富的艺术风格迁移图像。
技术实现思路
1、1.一种图像任意风格迁移的两段感知特征方法，其特征在于具体包括以下步骤：
2、步骤1：获取公认的公开图像数据集，对数据集进行旋转裁切的预处理操作，数据集包括内容图像和风格图像；
3、步骤2：将预处理的内容图像ic和风格图像is传入经过预训练的vgg-19编码器e中，具体计算公式如下：
4、fc＝e(ic)，fs＝e(is)；
5、步骤3：构建图像任意风格迁移的两段感知特征网络模型，包括注意力模块和全局统计信息对齐模块；
6、步骤3.1：构建注意力模块，该阶段首先将fc和fs进行正则化后做卷积操作得到fq、fk、fv，令fq做代理令牌a，代理令牌首先作为查询令牌f
7、oa＝attns(q，a，attns(a，k，v))，
8、
9、其中softmax是激活函数，fattn是提出的注意力模块得出的注意力分数特征图；
10、步骤3.2：构建全局统计信息对齐模块，计算每个点的加权统计量，计算方式如下：
11、
12、fcs＝std·norm(fc)+mean；
13、其中softmax是激活函数，norm表示均值方差标准化；
14、步骤4：构建解码器，解码器与编码器是对称设计的，对fcs特征图进行图像重建；
15、步骤5：使用经过预训练的vgg-19提取生成图像的特征，计算损失函数，具体公式如下：
16、
17、其中是内容损失，是风格损失，是身份损失，分别计算如下：
18、步骤5.1：内容损失计算公式如下：
19、
20、其中φi从预训练的vgg-19网络的第i层中提取的特征；
21、步骤5.2：风格损失计算公式如下：
22、
23、其中，μ(·)表示特征的平均值，φi表示从预先训练好的vgg-19网络的第i层中提取的特征，σ(·)表示特征的方差；
24、步骤5.3：身份损失计算公式如下：
25、
26、其中，icc和iss分别表示当输入为相同的内容和样式图像时生成的复合结果；φi是指从vgg网络的relui_1(i∈[1-5])层中提取的特征，而λid1和λid2是超参数；
27、步骤6：训练模型，根据损失函数生成模型权重和解码器权重文件；
28、步骤7：训练好的模型接收任意分辨率的内容图像和风格图像，输出高质量的艺术风格迁移照片。
29、本专利技术提出了一种图像任意风格迁移的两段感知特征方法，提供的技术方案带来的有益效果至少包括:
30、本专利技术实施例中,构建用于图像任意艺术风格迁移的神经网络模型：注意力模块和全局统计信息对齐模块。注意力模块先提取内容图像和风格图像的纹理、颜色、结构信息。将深层和浅层特征以分块方式交换局部特征，再对内容特征和风格特征进行全局统计信息对齐自适应归一化处理，使其局部特征统计量与全局的特征统计量相匹配。注意力模块综合了风格图像和内容图像的浅层和深层卷积神经网络特征，同时达成了内容特征与样式特征的逐点特征统计匹配。全局统计信息对齐在局部块交换阶段后调整特征图的均值和方差来实现全局图像信息微调。
31、总之，本专利技术主要优点：
32、1.提出了两段感知特征的方法，分两步来实现风格迁移的任务。
33、2.提出了注意力模块和全局统计信息对齐模块，其中注意力模块着重于捕捉局部风格特征，全局统计信息对齐模块对齐内容和风格特征的全局统计信息，显著的提升了图像风格化的效果。
本文档来自技高网...【技术保护点】
1.一种图像任意风格迁移的两段感知特征方法，其特征在于具体包括以下步骤：
【技术特征摘要】
1.一种图像任意风格迁移的两段感知特...
【专利技术属性】
技术研发人员：李根，李玉鑑，刘宝龙，霍霈霖，李川，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。