【技术实现步骤摘要】
本专利技术属于计算机视觉和深度学习，涉及一种图像卡通化处理方法。
技术介绍
1、卡通化是艺术图像风格迁移的一种，旨在将真实场景图像转换为卡通风格图像，转换后的卡通风格图像保留有原真实场景图像的语义内容，卡通图像被广泛应用于宣传、电影、广告、儿童教育等领域，具有广泛的应用前景。
2、以往的艺术风格迁移方法主要分为三种：计算机图形学领域的非真实感渲染方法，通过卷积神经网络进行风格迁移的神经风格迁移方法，以及基于生成对抗网络的无监督图像到图像的转换方法。然而以上三种方法大多是为传统艺术风格设计的，传统艺术风格图像通常具有细腻的笔触和丰富的色彩，而卡通图像往往由颜色单一的色块和清晰锐利的边缘线构成，因此，大多数方法对于卡通图像风格迁移的效果并不理想，而且模型是黑盒模型无法理解和解释。
3、因此，构建具有可解释性的无监督的基于生成对抗网络的卡通风格迁移方法是重要的且是十分有意义的。
技术实现思路
1、有鉴于此，为解决上述现有技术的不足，本专利技术的目的在于提供了一种基于两阶段可解释学习模型的图像卡通化方法(a two-stage interpretablelearning methodforimage cartoonlizationwith generative adversarial nets，tsgan)，本专利技术提出了将图像卡通化过程划分为两个相对独立的过程阶段：内容学习阶段和程式化阶段，还进一步提出了卡通图像增强cartoon imageenhance(ci
2、为实现上述目的，本专利技术所采用的技术方案是：一种基于两阶段可解释学习模型的图像卡通化方法(tsgan)，包括以下步骤：
3、s1、构建两阶段可解释学习模型，包括编码器、解码器和转换模块组成的生成器网络，鉴别器作为判别器网络，并利用vgg19网络约束损失；
4、s2、内容学习阶段，训练编码器和解码器，使其学习到特征提取能力；
5、s3、风格化阶段，对风格转换模块t进行训练，让其学习到风格转化的能力，并添加分支cie来使网络学习清晰的边缘；
6、s4、将上述两个阶段分别通过迭代训练，得到相应的训练权重后，输入想要转换风格的图片和加载相应风格的权重，得到卡通化输出结果。
7、进一步的，所述步骤s2中输入现实场景数据集pi和风格数据集sj，以上数据集在数量和内容是不需要配对的，现实场景数据集内为内容图像，风格数据集内为风格图像。
8、更进一步的，内容学习阶段的训练内容如下：编码器分别从输入的内容图像和风格图像中提取特征图fc和fp，解码器生成相应的假内容图像和假风格图像，最后原始的内容图像、风格图像以及假内容图像和假风格图像被输入到鉴别器和vgg19网络分别对图像的全局相似度和局部语义相似度进行优化。
9、进一步的，所述风格化阶段，将步骤s2提取到的内容、图像特征经过风格转换模块t进行风格化，得到风格化图像，输入到解码器中与步骤s2提取到的风格特征进行对比和学习，以此来实现内容图像的卡通风格化。
10、进一步的，所述风格化阶段，包括以下步骤：
11、a、使用预训练的编码器从输入的内容图像和卡通图像中分别提取特征图fc和fp；
12、b、使用风格转换模块来训练网络学习卡通和自然照片的混合特征图fcp；
13、c、解码器将混合特征图fcp和特征图fc风格信息对比约束损失并利用fcp来生成风格化图像；
14、d、风格化图像再次经过编码器并提取特征图fs，与特征图fp内容特征比较进行约束。
15、具体的，学习风格化过程仅限于风格化图像还未生成之前，在生成风格化图像之前使用vgg19来约束风格化过程，在风格化图像生成后不需要训练整个网络。
16、进一步的，分支cie具体结构如下：
17、首先利用拉普拉斯过滤器来提取边缘信息，然后对提取到的边缘图绝对值处理，再与原图求和，得到边缘锐化的图片，以此来增强原图的边缘信息；然后对数据归一化处理，最后转为灰度图像，使用标准的l2范数对边缘进行学习训练，最终得到清晰边缘的图片。
18、本专利技术的有益效果是：
19、第一，提出了将图像卡通化过程划分为两个相对独立的过程阶段：内容学习阶段和风格化阶段，tsgan中利用明显区分的两阶段生成模型具有更好的可解释性和理解性，而且生成的卡通风格化图像生成的内容和风格细节图像具有调整性；
20、第二，设计了一个卡通图像增强(cie)模块，cie用于从训练数据中动态采样显著的卡通纹理细节，可以锐化输入图像的边缘，并增强网络在训练中学习卡通图像清晰边缘的能力，生成具有更高质量的动画图像；
21、第三，在具有挑战性的公开数据集animegandatasets上进行了广泛的实验和评估，并将其与当前典型的风格转换进行比较方法；实验结果表明，tsgan可以产生风格鲜明的高质量卡通风格的图像。
本文档来自技高网...【技术保护点】
1.一种基于两阶段可解释学习模型的图像卡通化方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于两阶段可解释学习模型的图像卡通化方法，其特征在于，所述步骤S2中输入现实场景数据集Pi和风格数据集Sj，以上数据集在数量和内容是不需要配对的，现实场景数据集内为内容图像，风格数据集内为风格图像。
3.根据权利要求2所述的一种基于两阶段可解释学习模型的图像卡通化方法，其特征在于，内容学习阶段的训练内容如下：
4.根据权利要求3所述的一种基于两阶段可解释学习模型的图像卡通化方法，其特征在于，所述风格化阶段，将步骤S2提取到的内容、图像特征经过风格转换模块T进行风格化，得到风格化图像，输入到解码器中与步骤S2提取到的风格特征进行对比和学习，以此来实现内容图像的卡通风格化。
5.根据权利要求3述的一种基于两阶段可解释学习模型的图像卡通化方法，其特征在于，所述风格化阶段，包括以下步骤：
6.根据权利要求5所述的一种基于两阶段可解释学习模型的图像卡通化方法，其特征在于，学习风格化过程仅限于风格化图像还未生成之前，在生成风格化
7.根据权利要求1所述的一种基于两阶段可解释学习模型的图像卡通化方法，其特征在于，分支CIE具体结构如下：
...【技术特征摘要】
1.一种基于两阶段可解释学习模型的图像卡通化方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于两阶段可解释学习模型的图像卡通化方法，其特征在于，所述步骤s2中输入现实场景数据集pi和风格数据集sj，以上数据集在数量和内容是不需要配对的，现实场景数据集内为内容图像，风格数据集内为风格图像。
3.根据权利要求2所述的一种基于两阶段可解释学习模型的图像卡通化方法，其特征在于，内容学习阶段的训练内容如下：
4.根据权利要求3所述的一种基于两阶段可解释学习模型的图像卡通化方法，其特征在于，所述风格化阶段，将步骤s2提取到的内容、图像特征经过风格转换...
【专利技术属性】
技术研发人员：董永生，李洛伊，郑林涛，陈桂，张明川，吴庆涛，
申请(专利权)人：河南科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。