【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种基于改进ganilla的油画风格迁移方法。
技术介绍
1、随着深度学习技术和计算机视觉技术的发展，科研人员开始探索如何将这些技术应用于图像艺术风格的模仿和创新。图像风格迁移是计算机视觉领域一个研究热点，旨在能将一种特定的图像风格、纹理等特征应用于其他图像中。而油画风格迁移技术是将油画的风格和纹理移植到其他图像中，使图像具有油画般的艺术感，创造独特的视觉效果；油画风格迁移技术可以应用于艺术家和设计师艺术创作、影视剧制作、游戏制作以及日常社交生活中的图像美化等。
2、目前，在实现油画风格迁移方面的计算机视觉的相关技术中，生成对抗网络(generative adversarial network，gan)成为油画风格图像迁移的关键技术之一。gan通常由生成器和判别器两部分组成，生成器用于生成图像，判别器用于判断生成图像是否为真实图像，gan在不断的训练过程中获得性能提升。使用gan进行油画风格迁移的过程包括：首先需要获取包括源域与目标域的数据集，其中源域中大多为真实场景图，目标域中则为期望的风格图；其次从源域中随机抽取一张图像送入生成器的下采样层中并经过一系列卷积层操作获得输入图像的特征信息，将得到的特征信息送入到生成器的上采样层中还原该特征信息对应的纹理色彩内容等图像信息，得到一张特定风格的目标域的生成图像y，最后在用判别器对生成图像y进行判别并输出判别结果。例如，zhu等人提出了的一种使用循环一致性生成对抗网络(cycle-consistent generative adversar
3、在cyclegan的基础上，samet等人提出一种基于生成对抗网络的图像到插画翻译(generative adversarial networks for image to illustration translation，ganilla)的方法，该方法保留了cyclegan中输入输出图像未配对的方法，采用了一种新的生成器，并引入跳跃连接，对不同阶段下采样形成的特征图进行融合，通过跳跃连接和上采样将低层特征和高层特征进行融合，更好地保留了图像特征并实现了风格和内容上的平衡。但是由于ganilla方法中resnet残差块是利用不同分辨率的特征来提高多尺度能力，无法在更细粒度级别上表示多尺度特征，且gan普遍存在训练收敛不稳定、容易发生模式崩溃和模式坍塌的问题，进而影响模型训练稳定性和生成图像质量。
技术实现思路
1、针对上述现有技术的不足，本专利技术通过改进ganilla中生成器部分的下采样阶段的resnet残差块结构，提出了一种基于改进ganilla的油画风格迁移方法，提高了生成的图像质量和优化了油画风格迁移的效果。
2、本专利技术提出的一种基于改进ganilla的油画风格迁移方法，该方法包括如下步骤：
3、步骤1：获取包含油画风格画作和现实图像的图像数据集，并根据图像数据集设置训练集和测试集；
4、步骤2：搭建改进的ganilla模型，包括：两组生成器和判别器；
5、步骤3：利用多尺度结构相似性损失函数设计改进的ganilla模型中的损失函数；
6、步骤4：利用训练集训练改进的ganilla模型，并根据改进的ganilla模型中的损失函数得到训练好的改进的ganilla模型；
7、步骤5：将测试集输入训练好的改进的ganilla模型，得到油画风格迁移后的图像；
8、进一步的，步骤1中的所述图像数据集中的现实图像构成源域x，所述图像数据集中的油画风格画作构成目标域y；
9、所述步骤2进一步包括：
10、步骤2.1：搭建改进的ganilla模型中的生成器，包括：下采样阶段和上采样阶段；
11、步骤2.2：向现有的马尔可夫判别器网络patchgan中的每一个卷积层中添加谱归一化，搭建改进的ganilla模型的判别器；
12、进一步的，步骤2.1中的所述下采样阶段采用resnet18网络，并将resnet18网络中四个网络层使用的resnet残差块替换为res2net残差块；
13、所述res2net残差块为：对输入的特征进行特征映射得到s个特征映射子集，将第i个特征映射子集记为xi，其中i∈{1,2,…,s}；其中每个特征映射子集均具有相同的空间大小，每个特征映射子集的通道数为1/s；对第i个特征映射子集xi进行卷积操作，得到第i个特征映射子集对应的输出特征yi；再将所有特征映射子集对应的输出特征进行通道拼接，并将拼接后的特征输入实例归一化层，然后将该实例归一化层的输出与输入res2net残差块的特征进行拼接，并将拼接后得到的张量输入卷积层和relu层；
14、所述对特征映射子集xi进行卷积操作的过程为：将特征映射子集x1本身作为其对应的输出特征y1，对特征映射子集x2直接进行卷积操作得到对应的输出特征y2；从特征映射子集x3开始，将前一个特征映射子集对应的输出特征与当前特征映射子集xi相加，并对相加后的结果进行卷积操作得到当前特征映射子集的输出特征yi；
15、所述对特征映射子集xi进行卷积操作的公式如下：
16、
17、其中ki(·)表示卷积操作；yi-1表示前一个特征映射子集对应的输出特征；
18、进一步的，所述上采样阶段包含四层网络，其中第一层网络包括依次连接的卷积层、上采样层和求和层，用于将下采样阶段中第三个网络层的输出与第四个网络层的输出进行连接，并将连接后的结果输入第二层网络；所述第二层网络包括依次连接的上采样层和求和层，用于将下采样阶段中第二个网络层的输出与上一层网络输出的结果进行连接，并将连接后的结果输入第三层网络；所述第三层网络包括依次连接的上采样层和求和层，用于将下采样阶段中第一个网络层的输出与上一层网络输出的结果进行连接，并将连接后的结果输入第四层网络；所述第四层网络包括依次连接的上采样层和两个卷积层，用于得到生成器的输出图像；
19、进一步的，所述改进ganilla模型的判别器由若干层网络串联组成，其中每一层网络均为加入谱归一化的卷积层；
20、对于若干层网络的第n层网络，该层网络的输入和输出关系表示为：
21、xn＝an(wnxn-1+bn)
22、其中xn表示第n层网络的输出特征；an(·)表示该层网络的激活函数；wn表示该层网络的参数矩阵；bn表示该层网络的偏置项；
23、将第n层网络的输入和输出关系用线性函数f(x)表示本文档来自技高网...
【技术保护点】
1.一种基于改进GANILLA的油画风格迁移方法，其特征在于，该方法包括如下步骤：
2.根据权利要求1所述的一种基于改进GANILLA的油画风格迁移方法，其特征在于，步骤1中的所述图像数据集中的现实图像构成源域X，所述图像数据集中的油画风格画作构成目标域Y。
3.根据权利要求2所述的一种基于改进GANILLA的油画风格迁移方法，其特征在于，所述步骤2进一步包括：
4.根据权利要求3所述的一种基于改进GANILLA的油画风格迁移方法，其特征在于，步骤2.1中的所述下采样阶段采用ResNet18网络，并将ResNet18网络中四个网络层使用的ResNet残差块替换为Res2Net残差块；
5.根据权利要求4所述的一种基于改进GANILLA的油画风格迁移方法，其特征在于，所述对特征映射子集Xi进行卷积操作的过程为：将特征映射子集X1本身作为其对应的输出特征y1，对特征映射子集X2直接进行卷积操作得到对应的输出特征y2；从特征映射子集X3开始，将前一个特征映射子集对应的输出特征与当前特征映射子集Xi相加，并对相加后的结果进行卷积操作得到当前
6.根据权利要求4所述的一种基于改进GANILLA的油画风格迁移方法，其特征在于，所述上采样阶段包含四层网络，其中第一层网络包括依次连接的卷积层、上采样层和求和层，用于将下采样阶段中第三个网络层的输出与第四个网络层的输出进行连接，并将连接后的结果输入第二层网络；所述第二层网络包括依次连接的上采样层和求和层，用于将下采样阶段中第二个网络层的输出与上一层网络输出的结果进行连接，并将连接后的结果输入第三层网络；所述第三层网络包括依次连接的上采样层和求和层，用于将下采样阶段中第一个网络层的输出与上一层网络输出的结果进行连接，并将连接后的结果输入第四层网络；所述第四层网络包括依次连接的上采样层和两个卷积层，用于得到生成器的输出图像。
7.根据权利要求6所述的一种基于改进GANILLA的油画风格迁移方法，其特征在于，所述改进GANILLA模型的判别器由若干层网络串联组成，其中每一层网络均为加入谱归一化的卷积层；
8.根据权利要求3所述的一种基于改进GANILLA的油画风格迁移方法，其特征在于，所述步骤3进一步包括：
9.根据权利要求8所述的一种基于改进GANILLA的油画风格迁移方法，其特征在于，所述改进的GANILLA模型的损失函数为：
...【技术特征摘要】
1.一种基于改进ganilla的油画风格迁移方法，其特征在于，该方法包括如下步骤：
2.根据权利要求1所述的一种基于改进ganilla的油画风格迁移方法，其特征在于，步骤1中的所述图像数据集中的现实图像构成源域x，所述图像数据集中的油画风格画作构成目标域y。
3.根据权利要求2所述的一种基于改进ganilla的油画风格迁移方法，其特征在于，所述步骤2进一步包括：
4.根据权利要求3所述的一种基于改进ganilla的油画风格迁移方法，其特征在于，步骤2.1中的所述下采样阶段采用resnet18网络，并将resnet18网络中四个网络层使用的resnet残差块替换为res2net残差块；
5.根据权利要求4所述的一种基于改进ganilla的油画风格迁移方法，其特征在于，所述对特征映射子集xi进行卷积操作的过程为：将特征映射子集x1本身作为其对应的输出特征y1，对特征映射子集x2直接进行卷积操作得到对应的输出特征y2；从特征映射子集x3开始，将前一个特征映射子集对应的输出特征与当前特征映射子集xi相加，并对相加后的结果进行卷积操作得到当前特征映射子集的输出特征yi；
6.根据权利要求4所述...
【专利技术属性】
技术研发人员：曹春红，吴玉凤，袁雨馨，高媛媛，孙嘉睿，
申请(专利权)人：东北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。