【技术实现步骤摘要】
本申请实施例涉及图像处理，尤其涉及一种基于区域语义的数字湘绣图像的风格迁移方法和装置。
技术介绍
1、湘绣，作为中国四大名绣之一，以其精湛的工艺和独特的艺术风格闻名于世。
2、风格迁移是一项热门的图像生成技术，它通过将一张艺术图像中的艺术风格迁移到另外一张内容图像中，旨在使用艺术图像中的艺术风格重新展现内容图中的对象，从而生成一张全新的艺术图像。
3、目前，主要通过imagenet数据集预训练的深度卷积网络上提取特征，通过对这些特征计算gram矩阵，均值方差等高阶统计量来表示风格，为实现基于深度卷积网络的风格迁移方法奠定基础。但是，这类方法对于局部风格特点的把握，尤其是类似湘绣不同针法的迁移效果比较有限。同时，艺术图像中不同语义物体的纹理，色彩，针法等风格特点不尽相同。如果只是从整体风格特征的角度对图像进行风格迁移，而不考虑湘绣风格图像与内容图像中物体的语义关系，最终生成的视觉效果也会受到比较大的影响。
技术实现思路
1、以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
2、本申请旨在至少解决现有技术中存在的技术问题。为此，本申请提出一种基于区域语义的数字湘绣图像的风格迁移方法和装置，方法依据内容图像中语义分割区域的语义信息，从数字湘绣图像中找到最接近的语义分割区域的语义信息，为不同语义分割区域实现区域风格迁移，得到局部的风格化特征，依据来自内容图像的特征与数字湘绣图像的特征进行全局风格迁移，得到全局的风格化特征，使得风
3、本申请实施例的第一方面提供了一种基于区域语义的数字湘绣图像的风格迁移方法，所述方法包括：
4、获取目标内容图像和目标数字湘绣图像；
5、将所述目标内容图像和所述目标数字湘绣图像输入至预设的风格迁移模型，得到所述风格迁移模型输出所述目标内容图像对应的湘绣风格图像；所述风格迁移模型的训练过程包括：
6、提取第一图像的多个第一语义分割区域和提取第二图像的多个第二语义分割区域；所述第一图像是用于训练的内容图像，所述第二图像是用于训练的数字湘绣图像；
7、将多个所述第一语义分割区域和多个所述第二语义分割区域进行语义匹配，得到多个语义匹配对；任意一所述语义匹配对包括：一个所述第一语义分割区域和与其最接近的所述第二语义分割区域；
8、提取所述第一图像的第一图像特征和提取所述第二图像的第二图像特征；
9、根据所述第一图像特征和所述第二图像特征进行全局风格迁移，得到第一风格化特征；
10、计算每一个所述语义匹配对中第一语义分割区域对应的第一语义分割区域掩膜和所述第一图像特征的第一像素点乘结果，以及第二语义分割区域对应的第二语义分割区域掩膜和所述第二图像特征的第二像素点乘结果，并根据所述第一像素点乘结果和所述第二像素点乘结果进行区域风格迁移，得到每一个所述语义匹配对相应的第二风格化特征；
11、融合所述第一风格化特征和全部的第二风格化特征，得到整体风格化特征；
12、根据所述整体风格化特征，生成所述第一图像对应的湘绣风格图像。
13、本实施例至少具有如下有益效果：
14、本方法提供了一种风格迁移模型，通过该风格迁移模型能够首先对内容图像和数字湘绣图像进行语义分割，分别提取出了内容图像的语义分割区域和数字湘绣图像的语义分割区域；然后将内容图像的语义分割区域和数字湘绣图像的语义分割区域进行语义匹配，找到与内容图像的语义分割区域最相似的数字湘绣图像的语义分割区域；其次一方面能够根据内容图像和数字湘绣图像各自图像特征进行全局风格迁移，另外一方面能够根据语义匹配对、内容图像、数字湘绣图像进行局部的区域风格迁移；最后通过全局风格迁移获得的风格化特征和区域风格迁移的风格化特征融合，并根据融合结果生成内容图像对应的湘绣风格图像。本方法依据内容图像中语义分割区域的语义信息，从数字湘绣图像中找到最接近的语义分割区域的语义信息(如纹理，针法和色彩)，为不同语义分割区域实现区域风格迁移，得到局部的风格化特征；依据来自内容图像的特征与数字湘绣图像的特征进行全局风格迁移，得到全局的风格化特征，使得风格迁移模型通过融合了局部的风格化特征和全局的风格化特征的整体风格化特征，生成具有更多的湘绣所特有的风格特色和纹理细节的湘绣风格图像。
15、在一些实施例中，所述提取所述第一图像的第一图像特征和提取所述第二图像的第二图像特征，包括：
16、将所述第一图像输入至轻量可逆网络，以通过所述轻量可逆网络的前向过程提取所述第一图像的第一图像特征；
17、将所述第二图像输入至所述轻量可逆网络，以通过所述轻量可逆网络的前向过程提取所述第二图像的第二图像特征；
18、所述轻量可逆网络包括多个堆叠的可逆单元，所述轻量可逆网络的前向过程包括：
19、yk+1＝concat(yk+1[c+1：c]，yk+1[1：c])；
20、yk+1[c+1：c]＝yk[c+1：c]+h(yk[1：c])；
21、yk+1[1：c]＝yk[1：c]；
22、其中，yk+1为第k+1个可逆单元的输出，concat为通道拼接函数，[1：c]为任一个可逆单元的第1到第c层通道，[c+1：c]为任一个可逆单元的第c到第c层通道，yk+1[c+1：c]为第k+1个可逆单元在[1：c]的输出，yk+1[1：c]为第k+1个可逆单元在[c+1：c]的输出，h为映射函数。
23、在一些实施例中，所述根据所述整体风格化特征，生成所述第一图像对应的湘绣风格图像，包括：
24、将所述整体风格化特征输入至所述轻量可逆网络，以通过所述轻量可逆网络的逆向过程生成所述第一图像对应的湘绣风格图像；
25、所述轻量可逆网络的逆向过程包括：
26、yk＝concat(yk[c+1：c]，yk[1：c])；
27、yk[c+1：c]＝yk+1[1：c]-h(yk+1[1：c])；
28、yk[1：c]＝yk+1[1：c]；
29、其中，所述逆向过程的最后一个所述可逆单元输出所述第一图像对应的湘绣风格图像。
30、在一些实施例中，所述风格迁移模型的损失函数为内容损失函数风格损失函数第一一致性损失函数和第二一致性损失函数的加权和；
31、
32、其中，n为轻量可逆网络的总数，为轻量可逆网络从第一图像ic对应的湘绣风格图像ics中提取的第i层特征，为轻量可逆网络从第一图像ic中提取的第i层特征，为轻量可逆网络从第二图像is中提取的第i层特征，为特征的均值，为特征的均值，为特征的方差，为特征的方差，||·||为范数，||·||2为2范数，icc为第二图像is和第一图像ic均使用第本文档来自技高网...
【技术保护点】
1.一种基于区域语义的数字湘绣图像的风格迁移方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于区域语义的数字湘绣图像的风格迁移方法，其特征在于，所述提取所述第一图像的第一图像特征和提取所述第二图像的第二图像特征，包括：
3.根据权利要求2所述的基于区域语义的数字湘绣图像的风格迁移方法，其特征在于，所述根据所述整体风格化特征，生成所述第一图像对应的湘绣风格图像，包括：
4.根据权利要求3所述的基于区域语义的数字湘绣图像的风格迁移方法，其特征在于，所述风格迁移模型的损失函数为内容损失函数、风格损失函数、第一一致性损失函数和第二一致性损失函数的加权和；
5.根据权利要求1所述的基于区域语义的数字湘绣图像的风格迁移方法，其特征在于，所述提取第一图像的多个第一语义分割区域和第二图像的多个第二语义分割区域，包括：
6.根据权利要求5所述的基于区域语义的数字湘绣图像的风格迁移方法，其特征在于，计算第一风格化特征的过程包括：
7.根据权利要求5所述的基于区域语义的数字湘绣图像的风格迁移方法，其特征在于，计算第二风
8.根据权利要求5所述的基于区域语义的数字湘绣图像的风格迁移方法，其特征在于，所述将多个所述第一语义分割区域和多个所述第二语义分割区域进行语义匹配，得到多个语义匹配对，包括：
9.根据权利要求5所述的基于区域语义的数字湘绣图像的风格迁移方法，其特征在于，所述融合所述第一风格化特征和全部的第二风格化特征，得到整体风格化特征，包括：
10.一种基于区域语义的数字湘绣图像的风格迁移装置，其特征在于，所述装置包括：
...【技术特征摘要】
1.一种基于区域语义的数字湘绣图像的风格迁移方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于区域语义的数字湘绣图像的风格迁移方法，其特征在于，所述提取所述第一图像的第一图像特征和提取所述第二图像的第二图像特征，包括：
3.根据权利要求2所述的基于区域语义的数字湘绣图像的风格迁移方法，其特征在于，所述根据所述整体风格化特征，生成所述第一图像对应的湘绣风格图像，包括：
4.根据权利要求3所述的基于区域语义的数字湘绣图像的风格迁移方法，其特征在于，所述风格迁移模型的损失函数为内容损失函数、风格损失函数、第一一致性损失函数和第二一致性损失函数的加权和；
5.根据权利要求1所述的基于区域语义的数字湘绣图像的风格迁移方法，其特征在于，所述提取第一图像的多个第一语义分割区域和...
【专利技术属性】
技术研发人员：刘熙尧，徐凯，张健，潘妍，彭娟，王参文，方辉，
申请(专利权)人：中南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。