一种图像动漫化处理方法、装置、智能设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种图像动漫化处理方法、装置、智能设备和存储介质，其中，方法包括，获取等待进行动漫化处理的目标图像，对目标图像进行分割处理，并根据分割处理结果确定参考掩膜，通过编码网络确定目标图像的编码特征；通过解码网络对编码网络确定的编码特征、参考掩膜和已确定的动漫风格向量进行处理，得到目标图像对应的动漫化图像。其中，目标图像进行分割处理后至少得到第一区域和第二区域，在参考掩膜上所述第一区域和第二区域的掩膜值不相同；通过实施上述方法，可以结合不同图像区域的掩膜、图像特征以及风格特征得到更好的动漫化效果。的动漫化效果。的动漫化效果。

【技术实现步骤摘要】
一种图像动漫化处理方法、装置、智能设备和存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种图像动漫化处理方法、装置、智能设备和存储介质。

技术介绍

[0002]图像动漫化是指将真实图像(如照片)转换成动漫图像，当前实现了基于计算机自动将真实图像转换为动漫图像，具体采用训练完成的模型实现整个图像的动漫化，即训练用于图像动漫化的模型，并通过模型对原始图像进行处理得到动漫化的图像。如何更好地利用模型来对图像进行动漫化处理成为研究的热点问题。

技术实现思路

[0003]本专利技术实施例提供了一种图像动漫化处理方法、装置、智能设备和存储介质，可结合不同图像区域的掩膜、图像特征以及风格特征得到更好的动漫化效果。
[0004]一方面，本专利技术实施例提供了一种图像动漫化处理方法，所述方法包括：
[0005]获取等待进行动漫化处理的目标图像；
[0006]对所述目标图像进行分割处理，并根据分割处理结果确定参考掩膜，其中，所述目标图像进行分割处理后至少得到第一区域和第二区域，在参考掩膜上所述第一区域和第二区域的掩膜值不相同；
[0007]通过编码网络确定所述目标图像的编码特征；
[0008]通过解码网络对所述编码网络确定的编码特征、所述参考掩膜和已确定的动漫风格向量进行处理，得到所述目标图像对应的动漫化图像。
[0009]一方面，本专利技术实施例提供了一种图像动漫化处理装置，所述装置包括：
[0010]获取模块，用于获取等待进行动漫化处理的目标图像；
[0011]处理模块，用于对所述目标图像进行分割处理；
[0012]确定模块，用于根据分割处理结果确定参考掩膜，其中，所述目标图像进行分割处理后至少得到第一区域和第二区域，在参考掩膜上所述第一区域和第二区域的掩膜值不相同；
[0013]所述确定模块，还用于通过编码网络确定所述目标图像的编码特征；
[0014]所述确定模块，还用于通过解码网络对所述编码网络确定的编码特征、所述参考掩膜和已确定的动漫风格向量进行处理，得到所述目标图像对应的动漫化图像。
[0015]一方面，本专利技术实施例提供了一种智能设备，该智能设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器运行所述计算机程序，用于实现上述提及的图像动漫化处理方法。
[0016]一方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行所述图像动漫化处理方法。
[0017]本专利技术实施例中，智能设备获取等待进行动漫化处理的目标图像，对目标图像进行分割处理后可以确定不同掩膜值的参考掩膜，并设置了两个模型，通过编码网络确定目标图像的编码特征即图像本身的特征；再通过解码网络对所述编码网络确定的编码特征、参考掩膜和已确定的动漫风格向量进行处理，进而可以得到不同区域具有不同动漫效果、且对应相应的动漫风格，使得图像动漫化的效果更丰富。
附图说明
[0018]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1a是本专利技术实施例提供的一种图像动漫化处理的模型结构示意图；
[0020]图1b是本专利技术实施例的关于生成器的模型结构示意图；
[0021]图2是本专利技术实施例提供的另一种图像动漫化处理方法的流程示意图；
[0022]图3是本专利技术实施例提供的又一种图像动漫化流程处理方法的示意图；
[0023]图4是本专利技术实施例提供的一种图像动漫化结果示意图；
[0024]图5是本专利技术实施例提供的一种模型训练方法流程示意图；
[0025]图6是本专利技术实施例提供的一种模型训练时的网络结构示意图；
[0026]图7是本专利技术实施例提供的另一种模型训练时的网络结构示意图；
[0027]图8是本专利技术实施例提供的一种图像动漫化场景示意图；
[0028]图9是本专利技术实施例提供的一种图像动漫化处理装置的结构示意图；
[0029]图10是本专利技术实施例提供的一种智能设备的结构示意图。
具体实施方式
[0030]本方案涉及的计算机
具体包括人工智能
，其中，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向，本方案具体为深度学习在图像解析领域的应用。下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0031]图像动漫化是指将指将真实图像(如照片)转换成动漫图像，在一些应用场景中，可以仅仅对图像的部分区域发生较大动漫化形变，而其他区域不做大的变化，如可以在人
像动漫化场景中，将人脸区域进行较大的动漫化形变处理，而人物的其他部位和背景在内容上保持一致或者进行轻微的动漫化形变处理，或者仅仅进行风格变化(保持相同的动漫化风格，避免给用户突兀的感官体验)，人物的脸部表情也保持一致。本申请针对以上应用场景或者其他应用场景，提出了通过计算机自动生成动漫化图像的方法，可以基于深度学习等方式构建的模型以及图像分割算法，再加入动漫风格向量，能够生成动漫化效果较好的动漫化图像。
[0032]使用模型来做图像的动漫化处理，可分为两种方式，一种是有监督的方式，一种是无监督的方式。使用有监督的方式来训练模型生成动漫图像可以在实际应用的时候非常方便，在训练模型过程中通过大量的配对样本(即原始图像和对应风格的动漫图)来训练得到模型。而使用无监督的方式则相对会简单，只需要搜集真实图像和特定风格的动漫图像，不需要两者有配对关系，套入相应的训练框架训练即可。
[0033]本方案提出的图像动漫化处理方法属于深度学习范畴下的无监督训练方案，获取样本很容易且成本很低，在模型的结构上，通过引入语意分割的掩膜(mask)来控制本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像动漫化处理方法，其特征在于，所述方法包括：获取等待进行动漫化处理的目标图像；对所述目标图像进行分割处理，并根据分割处理结果确定参考掩膜，其中，所述目标图像进行分割处理后至少得到第一区域和第二区域，在参考掩膜上所述第一区域和第二区域的掩膜值不相同；通过编码网络确定所述目标图像的编码特征；通过解码网络对所述编码网络确定的编码特征、所述参考掩膜和已确定的动漫风格向量进行处理，得到所述目标图像对应的动漫化图像。2.如权利要求1所述的方法，其特征在于，所述通过解码网络对所述编码网络确定的编码特征、所述参考掩膜和已确定的动漫风格向量进行处理，得到所述目标图像对应的动漫化图像，包括：通过解码网络基于所述参考掩膜中各个掩膜值对所述编码特征进行加权处理，得到加权编码特征；通过所述解码网络对所述已确定的动漫风格向量和所述编码特征进行处理，得到初始解码特征；通过所述解码网络对所述加权编码特征和所述初始解码特征进行融合处理，得到所述目标图像的目标解码特征；通过所述解码网络对所述目标解码器特征进行解码处理，得到所述目标图像对应的动漫化图像。3.如权利要求1或2所述的方法，其特征在于，所述通过编码网络确定所述目标图像的编码特征，包括：通过编码网络对目标图像进行处理，得到目标图像的初始编码特征；基于已确定的动漫风格向量确定针对所述初始编码特征的滤波范围；根据所述滤波范围对所述初始编码特征进行滤波处理，得到所述目标图像的编码特征。4.如权利要求2所述的方法，其特征在于，所述编码网络和解码网络为预先训练得到的，所述编码网络的第i层的特征和所述解码网络的倒数第i层的特征之间的空间尺寸是相同的，所述编码网络的输入为所述目标图像；所述通过所述解码网络对所述加权编码特征和所述初始解码特征进行融合处理，得到所述目标图像的目标解码特征，包括：通过所述解码网络将所述加权编码特征中第i层特征和所述初始解码特征中倒数第i层特征对应融合，以实现对于所述加权编码特征和所述初始解码特征的融合处理。5.如权利要求1所述的方法，其特征在于，所述通过解码网络对所述编码网络确定的编码特征、所述参考掩膜和已确定的动漫风格向量进行处理之前，所述方法还包括：接收针对参考动漫图像的输入信息；调用风格编码器对所述参考动漫图像进行编码处理，得到所述参考动漫图像的参考风格向量；从数据库中确定出与所述参考风格向量相匹配的目标风格向量，作为已确定的动漫风格向量。
6.如权利要求1所述的方法，其特征在于，在生成器中包括所述编码网络和解码网络，所述方法还包括：获取样本图像集合和样本漫画集合；基于所述样本图像集合和所述样本漫画集合对初始生成器进行训练，以对所述初始生成器中的参数进行更新；当检测到参数更新后的初始生成器满足预设条件时，将所述参数更新后的初始生成器确定为所述生成器，其中，所述生成器中的参数包括所述编码网络中的参数和所述解码网络中的参数。7.如权利要求6所述的方法，其特征在于，在基于所述样本图像集合和所述样本漫画集合对初始生成器进行训练的过程中包括：基于第一损失函数进行训练；所述第一损失函数用于计算所述样本图像集合中的目标样本图像和根据所述目标样本图像确定的样本真实化图像之间的第一特征损失值；所述样本真实化图像是根据所述目标样本图像对应的样本动漫化图像得到的；所述样本动漫化图像经过所述初始生成器中的初始的编码网络得到样本动漫化图像特征，并通过所述...

【专利技术属性】
技术研发人员：朱俊伟，储文青，张昕昳，邰颖，汪铖杰，李季檩，黄飞跃，陈增熙，梁小龙，黄小明，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：