【技术实现步骤摘要】
本专利技术涉及计算机视觉，具体地说是一种基于注意力机制的浮雕风格迁移方法、系统、设备及介质。
技术介绍
1、风格迁移技术可以将图片或者视频等媒体中的特定风格迁移到另一个媒体上的技术。其目的是在不改变内容结构的情况下，将输入媒体的风格转为输出媒体的风格。但是早期的风格迁移算法，只能针对一种图像纹理类型进行迁移，这种传统非参数的风格迁移方法只能够通过提取图像低层次的特征来进行融合，无法提取高层次的图像特征。但是随着深度学习技术的发展，深度学习模型可以对媒体图像进行高层次的特征提取，能够提取到丰富的语义信息。
2、传统非参数的风格迁移方法通过纹理合成与绘制物理模型，但是纹理合成只是针对图像的底层特征，无法提取高层次特征。所以对颜色鲜艳以及纹理复杂的图像时，迁移效果并不好。但是有一种传统的图像缝合算法可以把风格图像分割为小补丁，按照内容图像的纹理特征进行拼图操作；这种方法虽然取得了一定的成果，但仍然只是基于图像的低层次特征。
3、故如何能够将浮雕风格转移到原图片的同时保持原图片的局部细节，有效地生成具有局部与全局特征的效果图片是目前亟待解决的技术问题。
技术实现思路
1、本专利技术的技术任务是提供一种基于注意力机制的浮雕风格迁移方法、系统、设备及介质，来解决如何能够将浮雕风格转移到原图片的同时保持原图片的局部细节，有效地生成具有局部与全局特征的效果图片的问题。
2、本专利技术的技术任务是按以下方式实现的，一种基于注意力机制的浮雕风格迁移方法，该方法具体如
3、将待转化图片与浮雕风格图输入编码器提取特征，获取vgg特征图；
4、将vgg特征图输入注意力网络进行融合，获取风格迁移图像；
5、将vgg特征图与风格迁移图像再次输入vgg编码器进行混合损失计算，获取混合损失函数的风格迁移模型；
6、将待测试图片输入训练损失小的风格迁移模型获取最好的效果图。
7、作为优选，将待转化图片与浮雕风格图输入编码器提取特征，获取vgg特征图具体如下：
8、通过resize函数将内容图片c与浮雕风格图片s的图像大小缩放至尺寸大小为512x512；
9、采用vgg19的预训练模型作为编码器，vgg19编码器包括16个卷积层以及3个全连接层；
10、将内容图片c和浮雕风格图片s输入vgg19编码器进行特征提取，分别提取内容图片c和浮雕风格图片s在第13个卷积层的vgg特征图fc13和fs13，公式如下：
11、fc13＝vgg13(c)；
12、fs13＝vgg13(s)；
13、其中，fc13表示内容特征图；fs13表示风格特征图。
14、作为优选，将vgg特征图输入注意力网络进行融合，获取风格迁移图像具体如下：
15、将内容特征图fc13计算均值方差矩阵并通过conv1x1卷积核进行计算得到权重矩阵wf,再相乘得到内容特征空间公式如下：
16、
17、将风格特征图fs13计算均值方差矩阵并通过conv1x1卷积核进行计算得到权重矩阵wg，再相乘得到风格特征空间公式如下：
18、
19、将风格特征图fs13直接通过conv1x1卷积核进行计算得到权重矩阵wh，再相乘得到特征空间h(fs13)，公式如下：
20、
21、计算内容特征图c与风格特征图s之间的融合特征
22、将融合后的特征输入解码器解码，得到最后输出的风格迁移图像ics。
23、更优地，计算内容特征图c与风格特征图s之间的融合特征具体如下：
24、使用归一化指数函数softmax计算特征向量c(f)，公式如下：
25、
26、通过c(f)计算出每个位置的概率值k(f)，公式如下：
27、
28、通过特征相乘得到关联输出公式如下：
29、
30、其中，i表示输出位置索引；j表示所有可能的位置索引。
31、作为优选，将vgg特征图与风格迁移图像再次输入vgg编码器进行混合损失计算，混合损失函数的风格迁移模型具体如下：
32、内容损失λclc是计算均值方差归一化的特征与经过编码器的融合的均值方差归一化特征之间的欧氏距离，公式如下：
33、
34、其中，λc表示内容损失权重，通过增大内容损失权重λc使编码器在生成融合图片时，保存更多的内容特征；
35、风格损失λsls是计算均值方差归一化的特征与经过编码器的融合的均值方差归一化特征之间的欧氏距离，公式如下：
36、
37、其中，λc表示风格损失权重，当增大风格损失权重λs使编码器在生成融合图片时，保存更多的风格效果；
38、一致性损失lidentity是当输入的内容图片与风格图片一致时，即输入为cc或者ss，维持训练过程中的内容结构与风格特征；当输入都为ic时，输出特征图为icc；当输入都为is时，输出特征图为iss；通过计算输入与输出的欧氏距离并结合一致性损失权重λidentity得到一致性损失lidentity，公式如下：
39、lidentity＝λidentity(||icc-ic||2+||iss-is||2)；
40、将内容损失、风格损失以及一致性损失求和得到混合损失函数ltotal，公式如下：
41、ltotal＝λclc+λsls+lidentity；
42、其中，λclc表示内容损失；λsls表示风格损失；lidentity表示一致性损失。
43、作为优选，将待测试图片输入训练损失小的风格迁移模型获取最好的效果图具体如下：
44、收集混合损失函数的风格迁移模型在进行至少3000次迭代过程中的损失数据，根据内容损失、风格损失以及一致性损失这三种损失函数的下降情况，通过调整损失权重，批大小和学习率，防止网络在训练过程中产生过拟合与欠拟合的情况；
45、将风格迁移模型的训练迭代次数调整为至少16000，并进行多次训练，训练过程中采用早停法与学习率优化策略对风格迁移模型进行调优，挑选出在训练集上表现最优的风格迁移模型作为测试模型。
46、将待转换的内容图片与浮雕风格图片输入迁移效果最优训练模型，得到的融合图片即为当前最优的浮雕风格迁移图片。
47、一种基于注意力机制的浮雕风格迁移系统，该系统包括：
48、特征提取单元，用于将待转化图片与浮雕风格图输入编码器提取特征，获取vgg特征图；
49、特征融合单元，用于将vgg特征图输入注意力网络进行融合，获取风格迁移图像；
50、混合损失获取单元，用于将vgg特征图与风格迁移图像再次输入vgg编码器进行混合损失计算，获取混合损失函数的风格迁移模型；
51、效果图获取单元，用于将待测试本文档来自技高网...
【技术保护点】
1.一种基于注意力机制的浮雕风格迁移方法，其特征在于，该方法具体如下：
2.根据权利要求1所述的基于注意力机制的浮雕风格迁移方法，其特征在于，将待转化图片与浮雕风格图输入编码器提取特征，获取VGG特征图具体如下：
3.根据权利要求1所述的基于注意力机制的浮雕风格迁移方法，其特征在于，将VGG特征图输入注意力网络进行融合，获取风格迁移图像具体如下：
4.根据权利要求3所述的基于注意力机制的浮雕风格迁移方法，其特征在于，计算内容特征图C与风格特征图S之间的融合特征具体如下：
5.根据权利要求1所述的基于注意力机制的浮雕风格迁移方法，其特征在于，将VGG特征图与风格迁移图像再次输入VGG编码器进行混合损失计算，混合损失函数的风格迁移模型具体如下：
6.根据权利要求1所述的基于注意力机制的浮雕风格迁移方法，其特征在于，将待测试图片输入训练损失小的风格迁移模型获取最好的效果图具体如下：
7.一种基于注意力机制的浮雕风格迁移系统，其特征在于，该系统包括：
8.根据权利要求7所述的基于注意力机制的浮雕风格迁移系
9.一种电子设备，其特征在于，包括：存储器和至少一个处理器；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行时，实现如权利要求1至6中任一所述的基于注意力机制的浮雕风格迁移方法。
...【技术特征摘要】
1.一种基于注意力机制的浮雕风格迁移方法，其特征在于，该方法具体如下：
2.根据权利要求1所述的基于注意力机制的浮雕风格迁移方法，其特征在于，将待转化图片与浮雕风格图输入编码器提取特征，获取vgg特征图具体如下：
3.根据权利要求1所述的基于注意力机制的浮雕风格迁移方法，其特征在于，将vgg特征图输入注意力网络进行融合，获取风格迁移图像具体如下：
4.根据权利要求3所述的基于注意力机制的浮雕风格迁移方法，其特征在于，计算内容特征图c与风格特征图s之间的融合特征具体如下：
5.根据权利要求1所述的基于注意力机制的浮雕风格迁移方法，其特征在于，将vgg特征图与风格迁移图像再次输入vgg编码器进行混合...
【专利技术属性】
技术研发人员：李旭东，魏金雷，周庆勇，何彬彬，伊文超，朱利霞，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。