一种基于参考图和语义内容的黑白人像上色方法及终端技术

本发明专利技术公开了一种基于参考图和语义内容的黑白人像上色方法，S1、获取待上色人像图和参考图；S2、输入语义提取网络得到待上色人像图的语义图和参考图的语义图，输入特征提取网络得到待上色人像图特征和参考图特征；S3、输入自注意力模块得到待上色人像图和参考图的相似性矩阵，并根据相似性矩阵和参考图得到颜色匹配结果；S4、将相似度矩阵和颜色匹配结果输入生成器生成结果图。使用语义图作为辅助信息，使得模型不仅仅只通过图像对学习映射关系，有效控制了模型训练的可解释性，减少了之前模型训练存在的不确定性的问题，从而使得之前部分模型学习不好的上色区域能够更加准确的上到合适的颜色。的上到合适的颜色。的上到合适的颜色。

【技术实现步骤摘要】
一种基于参考图和语义内容的黑白人像上色方法及终端


[0001]本专利技术涉及图像处理
，特别涉及一种基于参考图和语义内容的黑白人像上色方法及终端。

技术介绍

[0002]现阶段人物图像上色有两种主流方案。一是使用传统的人工上色，该方法能够最大程度的还原真实场景，二则是使用一些算法技术，通过计算机强大的计算能力来恢复所需要的颜色信息。
[0003]计算机上色中，现有技术较为常用的是采用生成对抗网络(Generative adversarial networks:GAN)进行计算机上色。一个生成对抗网络中包含了两个神经网络，即生成器和判别器，它们的对抗学习使自己变得日臻完善，从而得到逼近于真实数据的颜色效果。
[0004]该方法主要是通过大量的图片数据，学习待上色的黑白图像与真实彩色图像之间的颜色映射关系，之后输入黑白图片则能够自动恢复所需要的填充的颜色信息。在采用原始GAN训练的时候容易出现训练不收敛或者训练崩溃的问题，需要通过不断尝试才能获得比较稳定的训练结果，此外，由于学习黑白图像到彩色图像的映射关系是让网络完全自己学习，缺少人为控制，容易造成最终上色结果不尽如人意。

技术实现思路

[0005]本专利技术所要解决的技术问题是：提供一种基于参考图和语义内容的黑白人像上色方法法及终端，使得生成对抗网络具有更好的上色效果。
[0006]为了解决上述技术问题，本专利技术采用的技术方案为：
[0007]一种基于参考图和语义内容的黑白人像上色方法，包括步骤：
[0008]S1、获取待上色人像图和参考图；
[0009]S2、将待上色人像图和参考图输入语义提取网络得到待上色人像图的语义图和参考图的语义图，将待上色人像图和参考图输入特征提取网络得到待上色人像图特征和参考图特征；
[0010]S3、将待上色人像图特征、参考图特征、待上色人像图的语义图和参考图的语义图输入自注意力模块得到待上色人像图和参考图的相似性矩阵，并根据相似性矩阵和参考图得到颜色匹配结果；
[0011]S4、将相似度矩阵和颜色匹配结果输入生成器生成结果图。
[0012]为了解决上述技术问题，本专利技术采用的另一种技术方案为：
[0013]一种基于参考图和语义内容的黑白人像上色终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。
[0014]本专利技术的有益效果在于：一种基于参考图和语义内容的黑白人像上色方法及终
端，使用语义图作为辅助信息，使得模型不仅仅只通过图像对学习映射关系，通过语义图这种更加简单明了的对应关系的学习，有效控制了模型训练的可解释性，减少了之前模型训练存在的不确定性的问题，从而使得之前部分模型学习不好的上色区域能够更加准确的上到合适的颜色。
附图说明
[0015]图1为本专利技术实施例的一种基于参考图和语义内容的黑白人像上色方法的流程示意图；
[0016]图2为本专利技术实施例的一种基于参考图和语义内容的黑白人像上色终端的结构示意图。
[0017]标号说明：
[0018]1、一种基于参考图和语义内容的黑白人像上色终端；2、处理器；3、存储器。
具体实施方式
[0019]为详细说明本专利技术的
技术实现思路
、所实现目的及效果，以下结合实施方式并配合附图予以说明。
[0020]请参照图1，一种基于参考图和语义内容的黑白人像上色方法，包括步骤：
[0021]S1、获取待上色人像图和参考图；
[0022]S2、将待上色人像图和参考图输入语义提取网络得到待上色人像图的语义图和参考图的语义图，将待上色人像图和参考图输入特征提取网络得到待上色人像图特征和参考图特征；
[0023]S3、将待上色人像图特征、参考图特征、待上色人像图的语义图和参考图的语义图输入自注意力模块得到待上色人像图和参考图的相似性矩阵，并根据相似性矩阵和参考图得到颜色匹配结果；
[0024]S4、将相似度矩阵和颜色匹配结果输入生成器生成结果图。
[0025]由上述描述可知，本专利技术的有益效果在于：一种基于参考图和语义内容的黑白人像上色方法及终端，使用语义图作为辅助信息，使得模型不仅仅只通过图像对学习映射关系，通过语义图这种更加简单明了的对应关系的学习，有效控制了模型训练的可解释性，减少了之前模型训练存在的不确定性的问题，从而使得之前部分模型学习不好的上色区域能够更加准确的上到合适的颜色。
[0026]进一步地，所述语义提取网络包括依次连接的四个卷积模块，每个卷积模块包括三个卷积层、一个批正则化层和一个R
e
LU激活函数，所述卷积模块的计算公式为：
[0027]F＝BN{{W2×
{ReLU{BN{W1*I
g
+B1}}}+B2}}+ReLU{W3*I
g
+B3}；
[0028]式中，g表示非线性激活函数，W
i
表示第i个卷积层的权重，B
i
表示第i个卷积层的偏置，BN表示批归一化函数，I
g
表示输入图片，F表示卷积模块的输出。
[0029]由上述给出了语义网络模块的具体实现方法，实现了语义提取。
[0030]特征提取网络采用预训练的vgg19模型，该部分参数固定不做训练调整。
[0031]进一步地，所述自注意力模块具体实现步骤：
[0032]S31、将待上色人像图特征和参考图特征进行外积运算，得到特征相似度矩阵，其
计算公式为：
[0033]V
ref
＝Resize(F
ref
*W1+b1)；
[0034]V
g
＝Resize(F
g
*W2+b2)；
[0035][0036]将待上色人像图的语义图和参考图的语义图张成张量：
[0037]V
ref_s
＝Resize(F
ref_s
)；
[0038]V
s
＝Resize(F
s
)；
[0039]将待上色人像图的语义图和参考图的语义图同语义的部分标记为1，其余部分标记为0，得到语义相似度矩阵，其计算公式为：
[0040][0041]S32、将特征相似度矩阵和语义相似度矩阵依次进行拼接、恢复原始大小和归一化操作，得到相似性矩阵，其计算公式为：
[0042]S
′
＝normal(Recover(concat(S1，S2)))；
[0043]S33、对相似度矩阵和参考图进行矩阵乘法得到颜色匹配结果，其计算公式为：
[0044]I
′
＝S
′
*I
ref
；
[0045]式中，W
i
表示第i个卷积层的权重，b
i
表示第i个卷积层的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于参考图和语义内容的黑白人像上色方法，其特征在于，包括步骤：S1、获取待上色人像图和参考图；S2、将待上色人像图和参考图输入语义提取网络得到待上色人像图的语义图和参考图的语义图，将待上色人像图和参考图输入特征提取网络得到待上色人像图特征和参考图特征；S3、将待上色人像图特征、参考图特征、待上色人像图的语义图和参考图的语义图输入自注意力模块得到待上色人像图和参考图的相似性矩阵，并根据相似性矩阵和参考图得到颜色匹配结果；S4、将相似度矩阵和颜色匹配结果输入生成器生成结果图。2.根据权利要求1所述的一种基于参考图和语义内容的黑白人像上色方法，其特征在于，所述语义提取网络包括依次连接的四个卷积模块，每个卷积模块包括三个卷积层、一个批正则化层和一个ReLU激活函数，所述卷积模块的计算公式为：F＝BN{{W2×
{ReLU{BN{w1*I
g
+B1}}}+B2}}+ReLU{w3*I
g
+B3}；式中，g表示非线性激活函数，W
i
表示第i个卷积层的权重，B
i
表示第i个卷积层的偏置，BN表示批归一化函数，I
g
表示输入图片，F表示卷积模块的输出。3.根据权利要求1所述的一种基于参考图和语义内容的黑白人像上色方法，其特征在于，所述自注意力模块具体实现步骤：S31、将待上色人像图特征和参考图特征进行外积运算，得到特征相似度矩阵，其计算公式为：V
ref
＝Resize(F
ref
*W1+b1)；V
g
＝Resize(F
g
*W2+b2)；将待上色人像图的语义图和参考图的语义图张成张量：V
ref_s
＝Resize(F
ref_s
)；V
s
＝Resize(F
s
)；将待上色人像图的语义图和参考图的语义图同语义的部分标记为1，其余部分标记为0，得到语义相似度矩阵，其计算公式为：S32、将特征相似度矩阵和语义相似度矩阵依次进行拼接、恢复原始大小和归一化操作，得到相似性矩阵，其计算公式为：S
′
＝normal(Recover(concat(S1，S2)))；S33、对相似度矩阵和参考图进行矩阵乘法得到颜色匹配结果，其计算公式为：I
′
＝S
′
*I
ref
；式中，W
i
表示第i个卷积层的权重，b
i
表示第i个卷积层的偏置，Resize表示将矩阵张成向量的操作，V
ref
为参考图的特征的向量表示，V
g
为将待上色人像图的特征的向量表示，
×
表示外积操作，S1为特征的相似性矩阵，V
ref_s
为参考图的语义图的向量表示，V
s
为待上色人像图的语义图的向量表示，select表示将两个语义图相同语义的部分标记为1，其余部分标记为0的操作，Recover表示恢复成原始大小的操作，normal表示归一化操作。S
′
表示相似性
矩阵，I
′
表示颜色匹配结果，F
g
表示待上色人像图特征，F
ref
表示参考图特征，F
s
表示待上色人像图...

【专利技术属性】
技术研发人员：浦佳祺，邓炜，童同，高钦泉，
申请(专利权)人：福建帝视信息科技有限公司，
类型：发明
国别省市：