基于参考图颜色风格的灰度图像着色方法技术

本发明专利技术公开了一种基于参考图颜色风格的灰度图像着色方法，可以作为线稿及黑白图像上色这一类问题的解决方案。本发明专利技术具体实施包括如下步骤：1.拟定上色图像类别库，根据类别收集彩色图像数据集，并对其进行线稿提取或灰度化，以及提取其颜色直方图信息。2.将彩色图像、线稿或灰度图像、颜色直方图信息作为训练集，输入网络中训练，得到对应该类别的着色模型。3.将待上色图像重新输入网络，使用步骤2中得到的模型进行图像着色。4.评估着色结果。本发明专利技术所提出的基于参考图颜色风格的灰度图像着色方法可以解决各种类别的线稿、黑白图像着色问题，并且在实践中证明着色效果良好。并且在实践中证明着色效果良好。并且在实践中证明着色效果良好。

【技术实现步骤摘要】
基于参考图颜色风格的灰度图像着色方法


[0001]本专利技术属于计算机技术及图像处理领域，尤其涉及一种基于参考图颜色风格的灰度图像着色方法。

技术介绍

[0002]图像上色是为了还原、增强原图像的表达效果，提高其视觉感受，还能丰富图像的语义，提高其应用价值。最早在19世纪，就流行以手工上色的方法来还原黑白照片等，随着技术发展，图像上色在影视处理、动漫艺术等领域得到了广泛的应用。如漫画行业，利用图像上色技术，能够解决大量黑白线稿上色费时费力等问题，节约绘制成本，且不影响购买者的阅读体验；在电影行业，早期黑白电影的观看体验较差，利用图像上色将黑白电影转为彩色电影，观众能在欣赏经典的同时获得视觉享受；对医学影像进行着色，也有助于医生对病人的病变部位有一个更加直观的观察和分析。
[0003]图像上色技术是图像处理领域一个活跃且具有挑战性的课题，传统着色方法分为两种，一类是基于颜色扩展的着色方法，另一类是基于颜色传递的着色方法。而机器学习的发展与在该课题上的应用，例如使用卷积神经网络学习从灰度图像到彩色图像的映射等，减轻了传统方法下人为工作量，并增加了上色效果的丰富性与真实性。尽管卷积神经网络的应用仍是一种较为主流的方法，它还是存在着损失函数设计复杂等的问题，面对多样化的图像上色需求，需要人为设计不同的损失函数，否则极易产生结果模糊等的问题。
[0004]生成对抗网络(Generative Adversarial Networks，GANs)，是近年来复杂分布上无监督学习最具前景的方法之一。生成对抗网络的模型通过框架中两个模块，生成模型和判别模型的互相博弈，产生相当好的输出。而它在图像生成这一领域的应用也取得了很大的成功，特别是在图像上色问题上，利用生成对抗网络可以使一个通用的网络结构与损失函数解决不同类型的图像上色问题。
[0005]本专利技术提出了一种基于参考图颜色风格的灰度图像着色方法，利用生成对抗网络进行图像生成，并且通过在图像上色任务中引入注意力机制，可以作为多类图像上色问题的解决方案。

技术实现思路

[0006]本专利技术公开了一种基于参考图颜色风格的灰度图像着色方法。其目的是利用生成对抗网络训练模型，得到关于线稿、灰度图像上色这一类问题的解决方法，生成具有指定颜色风格的彩色图像。
[0007]本专利技术解决其技术问题所采用的技术方案如下：
[0008]步骤1：按照希望进行着色的图像类别收集彩色图像，构建彩色图像数据库，并进行预处理，采用双线性插值法调整图像大小至统一尺寸；
[0009]步骤2：对步骤1中得到的彩色图像数据库进行线稿提取或图像灰度化，获得线稿图像或灰度图像数据集，并提取彩色图像的颜色直方图信息制作成颜色提示信息；
[0010]所述的线稿提取采用XDoG算子，计算公式如下：
[0011]d(i,j)＝img1(i,j)
‑
γ*img2(i,j)
[0012]其中，(i,j)为像素点坐标；d为初始线稿图像；img1和img2为将彩色图像经过两个不同尺度的高斯差分滤波后得到图像，γ是用于调整高斯差分滤波的截止效果强度的参数；
[0013]通过设定阈值ε，对提取的初始线稿图像进行阈值操作，得到最终线稿图像：
[0014][0015]其中，d
′
为经过阈值操作后的最终线稿图像，Ψ为用于平衡线稿图像亮度的软阈值参数；
[0016]所述的图像灰度化采用加权平均灰度处理法；
[0017]步骤3：构建条件生成对抗网络，包括生成器和鉴别器；将步骤2中得到的线稿图像与颜色直方图信息输入到生成器中进行卷积处理，然后将真实彩色图像、生成器生成的彩色图像、以及标签图像一起作为鉴别器的输入，对彩色图像的真假进行鉴别，完成对条件生成对抗网络的训练，将训练结束后的生成器作为对应类别图像的着色模型；所述的标签图像为步骤2中得到的线稿图像或灰度图像；
[0018]步骤4：使用步骤3得到的着色模型对同类别的线稿图像或灰度图像进行着色，生成着色后的彩色图像。
[0019]本专利技术的有益效果：
[0020]第一，本专利技术利用生成对抗网络，为图像上色一类的问题提出了一个通用的解决方案。生成对抗网络和传统神经网络如CNN等网络结构相比，免去了面对不同上色问题要设计不同损失函数的复杂，对于各种类型的图像，如服饰、自然风景、漫画等都可以用同一种网络进行训练与上色，生成的图像真实且具有美感。第二，本专利技术将自注意力机制加入网络结构，可以更好的关注到图像色彩的全局信息，使得上色结果更好的学习到了原图的颜色风格，并且结果图像的色彩更加的均衡。
附图说明
[0021]图1为本专利技术中采用的生成对抗网络的生成器网络结构。
[0022]图2为本专利技术中采用的生成对抗网络的鉴别器网络结构。
[0023]图3为本专利技术基于生成对抗网络的图像上色方法的流程图。
[0024]图4为本专利技术实施过程中采用的彩色图像数据集示例。
[0025]图5为本专利技术实施过程中对彩色图像经过线稿提取得到的线稿图像示例。
[0026]图6为本专利技术实施过程中采用的参考图像数据集示例。
[0027]图7为本专利技术实施过程中得到的上色结果示例。
具体实施方式
[0028]下面结合附图对本专利技术方法作进一步说明。
[0029]如图3所示，一种基于参考图颜色风格的灰度图像着色方法，其具体实施步骤如下：
[0030]步骤(1)：按照图像类别收集动漫人物图像，构建数据库。在本实施例中，采用了Danbooru2017动漫人物数据集，其中包含了14224张训练图像与3454张测试图像。进而利用双线性插值算法对图像进行预处理，调整Danbooru2017数据集中图像大小至统一尺寸512*512。图4为彩色图像数据集实例。
[0031]步骤(2)：对步骤(1)中得到的彩色图像数据集，利用XDoG算子(eXtended Difference of Gaussian)进行线稿提取，获得鞋类图像线稿。
[0032]其中，利用XDoG算子进行线稿提取的计算公式如下：
[0033]d(i,j)＝img1(i,j)
‑
γ*img2(i,j)
[0034]其中，(i,j)为像素点坐标；d为初始线稿图像；img1和img2为经过两个不同尺度的高斯滤波后得到图像(尺度分别为σ和σ*k，其中σ为高斯分布的标准差；k是一个大于零的常数)；γ为常数，用于调整高斯差分滤波的截止效果的强度。
[0035]进一步，通过设定阈值ε，对上述中的初始线稿图像进行阈值操作得到最终的线稿图：
[0036][0037]其中，d
′
为经过阈值操作后的最终线稿图像，Ψ为用于平衡线稿图像亮度的软阈值参数。
[0038]在本实施例中，设定参数为γ＝0.78，Ψ＝180，ε＝0.3，k＝4.5，σ＝0.6，从而得到步骤(1)所对应的线稿数据集，如图5所示。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于参考图颜色风格的灰度图像着色方法，其特征在于，包括以下步骤：步骤1：构建特定类别的彩色图像数据库并进行预处理，采用双线性插值法调整图像大小至统一尺寸；步骤2：对步骤1中得到的彩色图像数据库进行线稿提取或图像灰度化，获得线稿图像或灰度图像数据集，并提取彩色图像的颜色直方图信息；所述的线稿提取采用XDoG算子，计算公式如下：d(i,j)＝img1(i,j)
‑
γ*img2(i,j)其中，(i,j)为像素点坐标；d为初始线稿图像；img1和img2为将彩色图像经过两个不同尺度的高斯差分滤波后得到图像，γ是用于调整高斯差分滤波的截止效果强度的参数；通过设定阈值ε，对提取的初始线稿图像进行阈值操作，得到最终线稿图像：其中，d
′
为经过阈值操作后的最终线稿图像，Ψ为用于平衡线稿图像亮度的软阈值参数；步骤3：构建条件生成对抗网络，包括生成器和鉴别器；将步骤2中得到的线稿图像与颜色直方图信息输入到生成器中进行卷积处理，然后将真实彩色图像、生成器生成的彩色图像、以及标签图像一起作为鉴别器的输入，对彩色图像的真假进行鉴别，完成对条件生成对抗网络的训练，将训练结束后的生成器作为对应类别图像的着色模型；所述的标签图像为步骤2中得到的线稿图像或灰度图像；步骤4：使用步骤3得到的着色模型对同类别的线稿图像或灰度图像进行着色，生成着色后的彩色图像。2.如权利要求1所述的基于参考图颜色风格的灰度图像着色方法，其特征在于，所述步骤3中的生成器为一个包含下采样和上采样的U
‑
Net结构，首先将输入m*n*3统一大小的线稿图像和颜色直方图信息经过1个卷积层和N个下采样层进行下采样操作；其中m和n分别为图像的长和宽，N为生成器网络结构的下采样层数；然后再采用N个上采样层进行上采样操作，并在前两层上采样层之后分别引入一层自注意力层；最后一层上采样层的输出结果再经过Relu激活层、卷积层、Tanh激活层最终生成处理后的彩色图像。3.如权利要求2所述的基于参考图颜色风格的灰度图像着色方法，其特征在于，所述的下采样和上采样层各取6层，输入图像大小为512*512*3。4.如权利要求1所述的基于参考图颜色风格的灰度图像着色方法，其特征在于，所述步骤3中的鉴别器对输入的图片进行分块预测，...

【专利技术属性】
技术研发人员：丁勇，阮翊婷，夏靖雯，汤峻，
申请(专利权)人：浙江大学，
类型：发明
国别省市：