素描图像绘制方法、装置、计算机设备及可读存储介质制造方法及图纸

本发明专利技术公开了素描图像绘制方法、装置、计算机设备及存储介质。该方法包括获取人脸图像及对应的真实素描图像；将人脸图像输入特征金字塔网络的编码器进行逐级的编码，得到不同尺度的卷积特征；将最终输出的卷积特征输入特征金字塔网络的解码器进行逐级的解码，并在解码过程中融合中间的卷积特征，得到多张预测素描图像；对所有预测素描图像进行融合，得到最终预测图像；根据预置损失函数计算所述最终预测图像和真实素描图像的图像损失，并根据图像损失对特征金字塔网络的网络参数进行优化，得到最优特征金字塔网络；将目标人脸图像输入最优特征金字塔网络进行素描图像生成，得到目标素描图像。该方法使生成的素描图像细节更加丰富，更加自然清晰。更加自然清晰。更加自然清晰。

【技术实现步骤摘要】
素描图像绘制方法、装置、计算机设备及可读存储介质


[0001]本专利技术实施例涉及图像处理领域，尤其涉及一种素描图像绘制方法、装置、计算机设备及存储介质。

技术介绍

[0002]近年来人脸相关的生成效果算法得到了广泛的关注，许多人脸效果类软件的市场有了极大的扩大。然而，相较于卡通化、3D化等效果，现有的方法无法产生高质量的素描肖像画，生成的人脸素描始终难以达到手工素描的效果。素描人脸具有高度抽象的样式，包含大量的不规律的线条分布，尤其是头发、眼睛、嘴巴等具有丰富细节信息的区域，同时人脸的完整性也对算法的结构重建能力有较强的要求。主流方法通常使用生成式对抗网络(GAN)完成，将真实人脸作为输入，由生成器生成对应身份不变的素描结果，鉴别器则判断生成结果是否为真实人工素描。但是由于人脸的结构性和细节信息较多，算法往往效果较差。
[0003]目前主流人脸特效软件都具有类似的技术方案，比如使用人脸特效软件Snapchat中的Sketch滤镜功能，能够实时将画面调整为黑白，并用像素线条对画面中存在的轮廓进行模拟，形成类似素描的效果；比如抖音等特效软件中的铅笔画滤镜，在用户上传待处理视频后，在后台生成黑白素描视频返回给用户。这些方案或者使用传统滤波算法，往往速度较快但是效果不佳；或者将大量的真实图像和人工素描画作作为训练数据集，利用GAN生成对抗网络学习真实人脸和素描人脸的映射关系进行设计相对简单的GAN网络，利用生成器学习真实图像的细节特征，并通过判别器网络和卡通图像进行辨别和监督。但仍然存在以下不足：1、已有技术方案的生成器网络对于人脸的结构性保留不完整，容易出现人脸残缺不完整的问题；2、已有的技术网络方案往往单纯只使用一个卷积网络，利用最后一层卷积层的输出作为结果，丧失了大量细节信息，导致素描结果不够细腻。

技术实现思路

[0004]本专利技术实施例提供了一种素描图像绘制方法、装置、计算机设备及可读存储介质，旨在解决现有技术中所生成的素描图像的素描效果不佳的问题。
[0005]第一方面，本专利技术实施例提供了一种素描图像绘制方法，其包括：
[0006]获取人脸图像及对应的真实素描图像；
[0007]将所述人脸图像输入预置特征金字塔网络的编码器进行逐级的编码，得到不同尺度的卷积特征；
[0008]将最终输出的卷积特征输入所述特征金字塔网络的解码器进行逐级的解码，并在解码过程中融合中间的卷积特征，得到多张预测素描图像；
[0009]对所有预测素描图像进行融合，得到最终预测图像；
[0010]根据预置损失函数计算所述最终预测图像和真实素描图像的图像损失，并根据所述图像损失对所述特征金字塔网络的网络参数进行优化，得到最优特征金字塔网络；
[0011]将目标人脸图像输入所述最优特征金字塔网络进行素描图像生成，得到目标素描图像。
[0012]第二方面，本专利技术实施例提供了一种素描图像绘制装置，其包括：
[0013]获取模块，用于获取人脸图像及对应的真实素描图像；
[0014]编码模块，用于将所述人脸图像输入预置特征金字塔网络的编码器进行逐级的编码，得到不同尺度的卷积特征；
[0015]解码模块，用于将最终输出的卷积特征输入所述特征金字塔网络的解码器进行逐级的解码，并在解码过程中融合中间的卷积特征，得到多张预测素描图像；
[0016]融合模块，用于对所有预测素描图像进行融合，得到最终预测图像；
[0017]优化模块，用于根据预置损失函数计算所述最终预测图像和真实素描图像的图像损失，并根据所述图像损失对所述特征金字塔网络的网络参数进行优化，得到最优特征金字塔网络；
[0018]生成模块，用于将目标人脸图像输入所述最优特征金字塔网络进行素描图像生成，得到目标素描图像。
[0019]第三方面，本专利技术实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的素描图像绘制方法。
[0020]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的素描图像绘制方法。
[0021]本专利技术实施例提供了一种素描图像绘制方法、装置、计算机设备及存储介质。该方法包括获取人脸图像及对应的真实素描图像；将人脸图像输入预置特征金字塔网络的编码器进行逐级的编码，得到不同尺度的卷积特征；将最终输出的卷积特征输入特征金字塔网络的解码器进行逐级的解码，并在解码过程中融合中间的卷积特征，得到多张预测素描图像；对所有预测素描图像进行融合，得到最终预测图像；根据预置损失函数计算所述最终预测图像和真实素描图像的图像损失，并根据图像损失对特征金字塔网络的网络参数进行优化，得到最优特征金字塔网络；将目标人脸图像输入最优特征金字塔网络进行素描图像生成，得到目标素描图像。该方法利用特征金字塔网络，聚合多个不同尺度的特征，减少人脸图像在神经网络中的信息损失，保证人脸图像内容的完整性。同时，还利用多尺度预测结果融合的方式，充分结合不同尺度下预测结果的高、低维生成结果，保留高层卷积的结构信息和低层卷积的细节信息，减小单一尺度结果输出所导致的图像不完整性，从而在保证素描图像完整不残缺的前提下，细节更加丰富，更加自然清晰。
附图说明
[0022]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1为本专利技术提供的素描图像绘制方法一实施例的流程示意图；
[0024]图2为图1中步骤S120一实施例的子流程示意图；
[0025]图3为图1中步骤S130一实施例的子流程示意图；
[0026]图4为本专利技术提供的素描图像绘制装置的示意性框图；
[0027]图5为本专利技术提供的素描图像绘制方法特征金字塔网络的结构示意图。
具体实施方式
[0028]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0030]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种素描图像绘制方法，其特征在于，包括：获取人脸图像及对应的真实素描图像；将所述人脸图像输入预置特征金字塔网络的编码器进行逐级的编码，得到不同尺度的卷积特征；将最终输出的卷积特征输入所述特征金字塔网络的解码器进行逐级的解码，并在解码过程中融合中间的卷积特征，得到多张预测素描图像；对所有预测素描图像进行融合，得到最终预测图像；根据预置损失函数计算所述最终预测图像和真实素描图像的图像损失，并根据所述图像损失对所述特征金字塔网络的网络参数进行优化，得到最优特征金字塔网络；将目标人脸图像输入所述最优特征金字塔网络进行素描图像生成，得到目标素描图像。2.根据权利要求1所述的素描图像绘制方法，其特征在于，所述将所述人脸图像输入预置特征金字塔网络的编码器进行逐级的编码，得到不同尺度的卷积特征，包括：将所述人脸图像输入所述编码器中的第一卷积块进行卷积，得到第一尺度的卷积特征；将所述第一尺度的卷积特征输入所述编码器中的第二卷积块进行卷积，得到第二尺度的卷积特征；将所述第二尺度的卷积特征输入所述编码器中的第三卷积块进行卷积，得到第三尺度的卷积特征；将所述第三尺度的卷积特征输入所述编码器中的第四卷积块进行卷积，得到第四尺度的卷积特征；将所述第四尺度的卷积特征输入所述编码器中的第五卷积块进行卷积，得到第五尺度的卷积特征。3.根据权利要求2所述的素描图像绘制方法，其特征在于，所述第一卷积块、第二卷积块、第三卷积块、第四卷积块和第五卷积块的结构相同；所述将所述人脸图像输入所述编码器中的第一卷积块进行卷积，得到第一尺度的卷积特征，包括：将所述人脸图像输入所述第一卷积块中的卷积层进行特征提取，得到特征图像；通过所述第一卷积块中的激活层和最大池化层依次对所述特征图像进行激活和池化，得到所述第一尺度的卷积特征。4.根据权利要求2所述的素描图像绘制方法，其特征在于，所述将最终输出的卷积特征输入所述特征金字塔网络的解码器进行逐级的解码，并在解码过程中融合中间的卷积特征，得到多张预测素描图像，包括：将第五尺度的卷积特征输入第五尺度的反卷积块进行上采样处理，得到第一预测素描图像；对所述第一预测素描图像与第四尺度的卷积特征进行特征融合，得到第一融合特征；将所述第一融合特征输入第四尺度的反卷积块中进行上采样处理，得到第二预测素描图像；对所述第二预测素描图像与第三尺度的卷积特征进行特征融合，得到第二融合特征；
将所述第二融合特征输入第三尺度的反卷积块中进行上采样处理，得到第三预测素描图像；对所述第三预测素描图像与第二尺度的卷积特征进行特征融合，得到第三融合特征；将所述第三融合特征输入第二尺度的反卷积块中进行上采样处理，得到第四预测素描图像；对所述第四预测素描图像与第一尺度的卷积特征进行特...

【专利技术属性】
技术研发人员：张文雷，齐镗泉，
申请(专利权)人：深圳万兴软件有限公司，
类型：发明
国别省市：