基于视觉显著性和通道注意力机制的色彩传递方法技术

本发明专利技术公开了一种基于视觉显著性和通道注意力机制的色彩传递方法，属于数字图像处理技术领域。本发明专利技术基于参考图像的视觉显著性特征提取，并基于结合了通道注意力机制的生成对抗网络模型，提出了针对参考图像颜色特征进行着色的色彩传递方法，提高了颜色特征提取的准确性和最终色彩传递的效果，能够获得色彩更加真实、自然的着色结果，并且该结果能够学习到更符合人眼视觉系统认知的参考图像颜色风格。更符合人眼视觉系统认知的参考图像颜色风格。更符合人眼视觉系统认知的参考图像颜色风格。

【技术实现步骤摘要】
基于视觉显著性和通道注意力机制的色彩传递方法


[0001]本专利技术属于数字图像处理
，尤其涉及基于视觉显著性和通道注意力机制的色彩传递方法。

技术介绍

[0002]图像着色课题的研究目标是对灰度图像或黑白线稿添加颜色，可以应用多种场景，例如医学影像着色、老照片色彩重建、漫画线稿着色等，具有较高的应用价值。
[0003]在图像着色技术发展之前，早期的纯手工着色方式往往是由艺术家们通过手工的方式在胶片上绘制颜色，但是该过程通常需要花费较长的时间以及较多的人力物力，且需要上色者有一定的美术功底。在1970年，威尔逊
·
马克尔最早提出了着色（colorization）这个术语，用于描述他为黑白电影、电视节目等添加色彩而专利技术的计算机辅助技术。随后也出现了很多利用图像处理技术来进行着色的方法。近几年，随着深度学习技术的快速发展，有研究学者们开始使用神经网络进行图像着色的研究，且取得了不错的着色结果。
[0004]按照是否依赖用户引导，可以将基于深度学习的图像着色方法分为自动式着色方法和交互式着色方法，自动式着色方法只需要向网络中输入线稿图像（或灰度图像）就可以得到着色之后的图像，交互式着色方法则还需要用户添加一定的引导，例如点、线或参考图像等交互。其中，以用户提供参考图像的为引导的着色方法，需要用户提供一副参考图像，然后着色模型会学习该参考图像的颜色特征，并以此对线稿图像（或灰度图像）进行着色，这一类方法也称为色彩传递方法，即将色彩从参考图像传递到待着色图像。
[0005]生成对抗网络（Generative Adversarial Networks，GANs）是一类无监督学习算法，它通过生成器和判别器两个模型相对对抗和优化，能够生成更加真实的图像，给图像生成领域上带来了较大的发展。因此，近几年，生成对抗网络也成为了图像着色领域中的主流网络模型。
[0006]利用生成对抗网络进行着色模型的训练，能够得到质量较高的着色结果，但是当前主流方法的着色结果依旧存在着一定的问题：一是由于大部分的生成对抗网络中仍采用了卷积结构，而由于卷积神经网络本身的感受野限制，着色模型缺乏对远距离特征的捕捉，导致对图像中各个位置的理解不够充分，影响到局部区域的着色；二是生成图像细节的不足，这是由于生成网络在下采样特征提取过程中以及判别网络的图像判别过程中，会存在大量的冗余特征，这会影响到模型的特征学习能力，导致着色图像的细节信息不足。

技术实现思路

[0007]为解决上述技术问题，本专利技术提供了基于视觉显著性和通道注意力机制的色彩传递方法，利用生成对抗网络进行图像色彩传递任务，同时结合了视觉显著性机制和通道注意力机制，通过视觉显著性机制更好的捕捉到参考图像的颜色风格，通过通道注意力机制获得图像的全局上下文特征与通道间的依赖关系，得到更加真实、细节更加丰富的着色结果。
[0008]为实现上述目的，本专利技术采用以下技术方案：提供一种基于视觉显著性和通道注意力机制的色彩传递方法，所述方法包括以下步骤：S10：分别读取原始图像和若干未着色图像，并将所述原始图像作为色彩传递模型的参考图像；其中，所述未着色图像的图像类型包括灰度图像和线稿图像。
[0009]S20：对参考图像进行视觉显著性检测，根据其频率先验、位置先验、颜色先验三种先验知识分别计算频率显著性、位置显著性和颜色显著性，再通过频率显著性、位置显著性和颜色显著性计算得到所述参考图像的显著性特征图。
[0010]S30：将参考图像的颜色三通道划分呈N个颜色区间，记为，并取每个区间的颜色中心值作为代表颜色，再对每个颜色区间查找参考图像中属于该颜色区间的像素点的位置分布并记录，记为，其中，。
[0011]S40：将步骤S30中得到的位置合集与步骤S20中得到的视觉显著性检测结果结合，查找每个像素点在显著性特征图中的权值。
[0012]S50：对每个颜色区间，将它所包含像素的显著性权值逐个相加，作为其整体的显著性颜色统计值，再根据值的大小对所有的从高至低排序，取前N个颜色区间的代表颜色作为参考图像的颜色直方图特征。
[0013]S60：以生成对抗网络为基础建立色彩传递模型，所述生成对抗网络包括生成器和判别器，所述色彩传递模型的建立步骤包括：S61：将步骤S10中获取的未着色图像和步骤S50中得到的颜色直方图特征分别作为训练数据集和条件特征输入生成器中，所述生成器进行特征提取和着色图像的生成；其中，所述的生成器采用包括上采样路径和下采样路径的U
‑
Net结构，所述生成器包括瓶颈层、上采样路径和下采样路径，所述瓶颈层包括若干个残差模块，所述下采样路径包括一个下采样卷积模块和X组交替的下采样模块和全局上下文模块，所述上采样路径X组上采样模块和一个上采样卷积模块，所述上采样模块一个卷积层、一个残差模块和一个Pixel Shuffle层，所述上采样卷积模块包括Tanh激活函数、卷积层和Leaky ReLU激活函数。
[0014]S62：将步骤S10中获取的参考图像和步骤S61中生成器生成的着色图像输入鉴别器中，进行真假鉴别，以完成对生成对抗网络的训练。
[0015]S63：将训练结束后的生成器作为色彩传递模型。
[0016]S70：使用若干灰度图像或线稿图像作为测试图像测试步骤S60中得到的色彩传递模型的着色效果，测试通过后输出所述色彩传递模型，将待着色图像与所述颜色直方图一同输入所述色彩传递模型，得到色后的彩色图像。
[0017]作为优选，所述频率显著性、位置显著性、颜色显著性以及显著性特征图的计算方法包括：
所述频率显著性记为其计算公式如公式（1）所示：
ꢀꢀꢀꢀꢀꢀꢀ
（1）式中，为参考图像中像素点对应的空间位置；、、分别为参考图像从RGB色彩空间转换到CIE Lab色彩空间下的三个通道结果；代表在频域空间对图像进行Log
‑
Gabor滤波，其中，代表卷积操作。
[0018]通过公式（2）近似求解：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）式中，为参考图像的像素点在频域中的坐标，为滤波器的中心频率，为控制滤波器的带宽。
[0019]所述位置显著性记为，其计算公式如公式（3）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）式中，和分别为和在范围内的线性映射，为可调节颜色显著性检测效果的参数。
[0020]和分别通过公式（4）和公式（5）计算得到：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）其中，、、、分别为参考图像在CIE Lab色彩空间下a通道和b通道的最小、最大值。
[0021]所述颜色显著性记为，其计算公式如公式（6）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6）其中，代表参考图像中心点对应的空间位置；为可调节位置显著性检测效果
的参数。
[0022]所述显著性特征图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉显著性和通道注意力机制的色彩传递方法，其特征在于包括以下步骤：S10：分别读取原始图像和若干未着色图像，并将所述原始图像作为色彩传递模型的参考图像；其中，所述未着色图像的图像类型包括灰度图像和线稿图像；S20：对参考图像进行视觉显著性检测，根据其频率先验、位置先验、颜色先验三种先验知识分别计算频率显著性、位置显著性和颜色显著性，再通过频率显著性、位置显著性和颜色显著性计算得到所述参考图像的显著性特征图；S30：将参考图像的颜色三通道划分呈N个颜色区间，记为，并取每个区间的颜色中心值作为代表颜色，再对每个颜色区间查找参考图像中属于该颜色区间的像素点的位置分布并记录，记为，其中，；S40：将步骤S30中得到的位置合集与步骤S20中得到的视觉显著性检测结果结合，查找每个像素点在显著性特征图中的权值；S50：对每个颜色区间，将它所包含像素的显著性权值逐个相加，作为其整体的显著性颜色统计值，再根据值的大小对所有的从高至低排序，取前N个颜色区间的代表颜色作为参考图像的颜色直方图特征；S60：以生成对抗网络为基础建立色彩传递模型，所述生成对抗网络包括生成器和判别器，所述色彩传递模型的建立步骤包括：S61：将步骤S10中获取的未着色图像和步骤S50中得到的颜色直方图特征分别作为训练数据集和条件特征输入生成器中，所述生成器进行特征提取和着色图像的生成；其中，所述的生成器采用包括上采样路径和下采样路径的U
‑
Net结构，所述生成器包括瓶颈层、上采样路径和下采样路径，所述瓶颈层包括若干个残差模块，所述下采样路径包括一个下采样卷积模块和X组交替的下采样模块和全局上下文模块，所述上采样路径X组上采样模块和一个上采样卷积模块，所述上采样模块一个卷积层、一个残差模块和一个Pixel Shuffle层，所述上采样卷积模块包括Tanh激活函数、卷积层和Leaky ReLU激活函数；S62：将步骤S10中获取的参考图像和步骤S61中生成器生成的着色图像输入鉴别器中，进行真假鉴别，以完成对生成对抗网络的训练；S63：将训练结束后的生成器作为色彩传递模型；S70：使用若干灰度图像或线稿图像作为测试图像测试步骤S60中得到的色彩传递模型的着色效果，测试通过后输出所述色彩传递模型，将待着色图像与所述颜色直方图一同输入所述色彩传递模型，得到色后的彩色图像。2.根据权利要求1所述的基于视觉显著性和通道注意力机制的色彩传递方法，其特征在于，所述频率显著性、位置显著性、颜色显著性以及显著性特征图的计算方法包括：所述频率显著性记为其计算公式如公式（1）所示：
ꢀꢀꢀꢀꢀꢀꢀ
（1）式中，为参考图像中像素点对应的空间位置；、、分别为参考图像从RGB色
彩空间转换到CIE Lab色彩空间下的三个通道结果；代表在频域空间对图像进行Log
‑
Gabor滤波，通过公式（2）近似求解；其中，代表卷积操作；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）式中，为参考图像的像素点在频域中的坐标，为滤波器的中心频率，为控制滤波器的带宽；所述位置显著性记为，其计算公式如公式（3）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）式中，和分别为和在范围内的线性映射，为可调节颜色显著性...

【专利技术属性】
技术研发人员：阮翊婷，丁柱，罗绍仪，
申请(专利权)人：杭州并坚科技有限公司，
类型：发明
国别省市：