一种基于图像语义提取和涂鸦的彩绘画创作方法技术

本发明专利技术提出一种基于图像语义提取和涂鸦的彩绘画创作方法，该方法能够将语义风格迁移到涂鸦画中，进而转化为精细彩绘画，通过收集已有的彩绘画素材，并标记素材图画中的语义，通过语义生成一张涂鸦画，通过一种将马尔可夫随机场与卷积神经网络结合的风格迁移技术，得到一张具有素材图像风格和涂鸦语义融合的精细彩绘画。本发明专利技术能降低画家重复绘制同一主题的绘制时间，可以快速改变构图但保留原有风格，可以提供彩绘灵感的优点，一定程度上解决了彩绘画供需不平衡的痛点。

Color painting creation method based on image semantic extraction and graffiti

The invention provides a method for image semantic extraction and graffiti painting color based method, this method can be migrated to the semantic style graffiti painting, and then converted into a fine color painting, through the collection of existing color painting materials, and mark the semantic material in the picture, generating a graffiti by semantics, by a Markov with the airport and convolutional neural network combined with the style of migration, a material with graffiti style and image semantic fusion of fine color painting. The invention can reduce the repeated drawing of painter of the same theme rendering time, you can quickly change the composition but retain the original style, can provide the advantages of painting inspiration, to a certain extent to solve the imbalance between supply and demand of color painting pain points.

【技术实现步骤摘要】
一种基于图像语义提取和涂鸦的彩绘画创作方法
本专利技术涉及图像处理、机器学习和深度学习算法领域，特别涉及一种基于图像语义提取和涂鸦的彩绘画创作方法。
技术介绍
对于彩绘从业者，创作一张新的彩绘画需要大量的精力和时间，同时还需要对已有的主题方案进行调整以满足不同客户的需求。对于一些彩绘工作室或画家来说，彩绘画设计需要耗费大量的时间，彩绘设计周期过长成为阻碍业务发展的行业痛点。而随着计算机视觉技术的发展，图像融合和风格迁移算法已经较为成熟，能够从多幅图像上提取风格与关键内容，进而智能生成新的图像。因此利用计算机视觉技术辅助或加速彩绘画艺术设计不仅可行且迎合实际需求。
技术实现思路
本专利技术提出一种基于图像语义提取和涂鸦的彩绘画创作方法，根据提取的图像语义进行涂鸦，进而利用风格迁移技术生成彩绘画；本方法只需要画家进行语义涂鸦后就能自动生成精细风格化的彩绘画，能大大提高设计效率，让画家减轻压力，迸发更多的灵感，解决设计周期过长的痛点。本专利技术解决其技术问题所采用的技术方案是：一种基于图像语义提取和涂鸦的彩绘画创作方法，包括：步骤1，读取一张语义结构清晰的素材图MAT；基于素材图MAT创建等尺寸的语义图SEM，并计算语义图SEM中每个像素点的颜色；步骤2，选取语义图SEM上的不同颜色进行涂鸦，获得一张由多种语义颜色构成的涂鸦图GRA；步骤3，选取一个在ImageNet数据集上训练好的卷积神经网络模型VGG作为图像风格提取器，分别提取素材图MAT、语义图SEM和涂鸦图GRA的风格特征张量，包括：以素材图MAT作为输入，提取VGG第三组第一层的特征值MATvgg_3_1和第四组第一层的特征值MATvgg_4_1；以语义图SEM作为输入，同样提取VGG第三组第一层的特征值SEMvgg_3_1和第四组第一层的特征值SEMvgg_4_1；合并两个特征值张量，获得维度为[1,height3_1,width3_1,channelMAT_3_1+channelSEM_3_1]的风格特征张量MATSEMvgg_3_1和维度为[1,height4_1,width4_1,channelMAT_4_1+channelSEM_4_1]的风格特征张量MATSEMvgg_4_1；以涂鸦图GRA作为输入，同样提取VGG第三组第一层的特征值GRAvgg_3_1和第四组第一层的特征值GRAvgg_4_1；以随机值初始化一张与涂鸦图GRA等幅面的生成图GEN，输入到风格特征提取器VGG中，同样提取第三组第一层的特征值GENvgg_3_1和第四组第一层的特征值GENvgg_4_1；合并两个特征值张量，获得维度为[1,height3_1,width3_1,channelGRA_3_1+channelGEN_3_1]的风格特征张量GRAGENvgg_3_1和维度为[1,height4_1,width4_1,channelGRA_4_1+channelGEN_4_1]的风格特征张量GRAGENvgg_4_1；步骤4，将获取的风格特征张量MATSEMvgg_3_1、MATSEMvgg_4_1、GRAGENvgg_3_1和GRAGENvgg_4_1切分成维度为[1,3,3,1]的若干个特征块；沿着第二和第三个轴，以步幅为1进行切片处理，分别获得对应的特征块张量PATCH_MATSEMvgg_3_1、PATCH_MATSEMvgg_4_1、PATCH_GRAGENvgg_3_1和PATCH_GRAGENvgg_4_1；步骤5，基于特征块张量PATCH_MATSEMvgg_3_1、PATCH_MATSEMvgg_4_1、PATCH_GRAGENvgg_3_1和PATCH_GRAGENvgg_4_1，定义如下损失函数：其中，ψi(·)表示特征块张量中第i个特征块；x等于3或者4，表示3或者4层级上对应的特征块张量；在上述损失函数中，以素材图MAT、语义图SEM、涂鸦图GRA和生成图GEN作为初始输入，使用迭代法变更生成图GEN的各像素点和各通道的值，获得最小损失函数时的最优值，最终得到符合需求的彩绘画GENopt。所述基于素材图MAT创建等尺寸的语义图SEM包括：令颜色集合C，每种颜色c∈C；语义集合S，每种语义s∈S；根据素材图MAT中每个像素点x∈C属于某种语义的规则f(a):C->S，以及每个语义对应的颜色映射函数g(b):S->C，则计算得到语义图SEM中每个像素点的颜色为g(f(x))。所述基于素材图MAT创建等尺寸的语义图SEM还包括：将素材图中需要保留的部分标记成背景语义，用一种颜色将背景语义区域标记出来。所述步骤2还包括，将所述一种颜色作为背景色来初始化涂鸦图，并且背景语义的区域禁止涂鸦其它颜色。所述得到符合需求的彩绘画GENopt的具体求解流程为：对损失函数L求导，通过反向传播和链式求导的法则将梯度传递到GEN；使用拟牛顿法L-BFGS更新每轮GEN的值，快速逼近局部最优值；最终得到符合需求的彩绘画GENopt。本专利技术具有如下有益效果：本专利技术根据提取的图像语义进行涂鸦，进而利用风格迁移技术生成彩绘画；本方法只需要画家进行语义涂鸦后就能自动生成精细风格化的彩绘画，能大大提高设计效率，让画家减轻压力，迸发更多的灵感，解决设计周期过长的痛点。以下结合附图及实施例对本专利技术作进一步详细说明，但本专利技术的一种基于图像语义提取和涂鸦的彩绘画创作方法不局限于实施例。附图说明图1为本专利技术方法的流程图。具体实施方式参见图1，一种基于图像语义提取和涂鸦的彩绘画创作方法，包括如下步骤：步骤101，提取图像语义。(1)选定一幅语义结构清晰的图片作为素材图。以肖像彩绘图为例，一般包含皮肤、毛发(头发、眉毛、胡子等)、眼睛、嘴巴、耳朵、衣服等语义区域要素；以风景彩绘图为例，一般包含草地、树、石头、河流等语义要素。(2)基于素材图MAT创建等尺寸的语义图SEM。具体的，令颜色集合C，每种颜色c∈C；语义集合S，每种语义s∈S。根据素材图MAT中每个像素点x∈C属于某种语义的规则f(a):C->S，以及每个语义对应的颜色映射函数g(b):S->C，则计算得到语义图SEM中每个像素点的颜色为g(f(x))。(3)将素材图中需要保留的部分标记成背景语义，用一种颜色将背景语义区域标记出来。步骤102，语义涂鸦。选取语义图SEM上的不同颜色进行涂鸦，进而获得一张由多种语义颜色构成的涂鸦图GRA。具体的，以步骤101中将背景语义区域标记出来的一种颜色作为背景色来初始化涂鸦图，并且背景语义的区域禁止涂鸦其它颜色，以保证素材图中需保留的部分在算法生成过后能够保留下来，实现局部处理的效果。步骤103，提取图片的风格特征。选择一个在ImageNet数据集上训练好的卷积神经网络模型VGG作为图像风格提取器，分别提取素材图MAT、语义图SEM和涂鸦图GRA的风格特征。以素材图MAT作为输入，提取VGG第三组第一层(第二个池化层后的第一个卷积层)的特征值MATvgg_3_1和第四组第一层(第三个池化层后的第一个卷积层)的特征值MATvgg_4_1；以语义图SEM作为输入，同样提取第三组第一层的特征值SEMvgg_3_1和第四组第一层的特征值(一般忽略卷积过程，即跳过卷积层只通过采样本文档来自技高网...

【技术保护点】
一种基于图像语义提取和涂鸦的彩绘画创作方法，其特点在于，包括：步骤1，读取一张语义结构清晰的素材图MAT；基于素材图MAT创建等尺寸的语义图SEM，并计算语义图SEM中每个像素点的颜色；步骤2，选取语义图SEM上的不同颜色进行涂鸦，获得一张由多种语义颜色构成的涂鸦图GRA；步骤3，选取一个在ImageNet数据集上训练好的卷积神经网络模型VGG作为图像风格提取器，分别提取素材图MAT、语义图SEM和涂鸦图GRA的风格特征张量，包括：以素材图MAT作为输入，提取VGG第三组第一层的特征值MAT

【技术特征摘要】
1.一种基于图像语义提取和涂鸦的彩绘画创作方法，其特点在于，包括：步骤1，读取一张语义结构清晰的素材图MAT；基于素材图MAT创建等尺寸的语义图SEM，并计算语义图SEM中每个像素点的颜色；步骤2，选取语义图SEM上的不同颜色进行涂鸦，获得一张由多种语义颜色构成的涂鸦图GRA；步骤3，选取一个在ImageNet数据集上训练好的卷积神经网络模型VGG作为图像风格提取器，分别提取素材图MAT、语义图SEM和涂鸦图GRA的风格特征张量，包括：以素材图MAT作为输入，提取VGG第三组第一层的特征值MATvgg_3_1和第四组第一层的特征值MATvgg_4_1；以语义图SEM作为输入，同样提取VGG第三组第一层的特征值SEMvgg_3_1和第四组第一层的特征值SEMvgg_4_1；合并两个特征值张量，获得维度为[1,height3_1,width3_1,channelMAT_3_1+channelSEM_3_1]的风格特征张量MATSEMvgg_3_1和维度为[1,height4_1,width4_1,channelMAT_4_1+channelSEM_4_1]的风格特征张量MATSEMvgg_4_1；以涂鸦图GRA作为输入，同样提取VGG第三组第一层的特征值GRAvgg_3_1和第四组第一层的特征值GRAvgg_4_1；以随机值初始化一张与涂鸦图GRA等幅面的生成图GEN，输入到风格特征提取器VGG中，同样提取第三组第一层的特征值GENvgg_3_1和第四组第一层的特征值GENvgg_4_1；合并两个特征值张量，获得维度为[1,height3_1,width3_1,channelGRA_3_1+channelGEN_3_1]的风格特征张量GRAGENvgg_3_1和维度为[1,height4_1,width4_1,channelGRA_4_1+channelGEN_4_1]的风格特征张量GRAGENvgg_4_1；步骤4，将获取的风格特征张量MATSEMvgg_3_1、MATSEMvgg_4_1、GRAGENvgg_3_1和GRAGENvgg_4_1切分成维度为[1,3,3,1]的若干个特征块；沿着第二和第三个轴，以步幅为1进行切片处理，分别获得对应的特征块张量PATCH_MATSEMvgg_3_1、PATCH_MATSEMvgg_4_1、PATC...

【专利技术属性】
技术研发人员：王华珍，潘傲寒，
申请(专利权)人：华侨大学，厦门绘酷文化传媒有限公司，
类型：发明
国别省市：福建,35