一种用于灰度图像上色的三通路卷积神经网络结构制造技术

一种用于灰度图像上色的三通路卷积神经网络结构，分为三个部分，第一是数据集的选择和处理，第二是网络结构的搭建，第三是损失函数和最优化算法的选择；搭建完成后即可根据数据集对该神经网络进行训练并分析上色结果；该网络结构将传统单通道卷积神经网络进行拓展，分为三个色彩通道，分别对RGB三个通道上色，最后将获得的三个通道进行连接，形成彩色图像；该算法采用丰富的损失函数来评价上色的效果，并将图像信息进行了分配，相对于传统单通道卷积网络，该算法的参数量要大一些，但是能够更好针对不同色彩通道进行上色。

【技术实现步骤摘要】
一种用于灰度图像上色的三通路卷积神经网络结构
本专利技术属于神经网络领域，尤其涉及在利用神经网络对灰度图像上色的应用之中，采用一个包含三个通道的卷积神经网络分别对图像的三个通道进行上色，并最后整合成一幅彩色图片，即用于灰度图像上色的三通路卷积神经网络。
技术介绍
卷积神经网络（ConvolutionalNeuralNetworks,CNN）是一类包含卷积计算且具有深度结构的前馈神经网络。目前，卷积神经网络是人工智能研究界的重点研究对象，庞大的参数量和灵活的优化算法使得卷积神经网络在图像处理，视频音频处理等方面有着不俗的表现。目前有不少研究利用神经网络对灰度图像上色，这些算法多数基于特征学习，即学习原始灰度图像中的物体信息，并根据信息对物体上色。由此看来，这与机器视觉领域的语义分割有很大相似性。同时，卷积神经网络对于研究者来说又有很大的不确定性。其中一大问题是大量的参数需要大量的训练数据来进行参数的最优逼近。对于主流研究领域，像这样的大型数据集是存在的，但是有一些小众研究方向则没有这么多的数据。此外。神经网络的学习过程往往是人为不可控的，在实践中很难保证神经网络按照预先设定的思路进行。图像上色是人类一直关注的问题。早些年由于设备和技术的限制，很多珍贵的照片都是黑白的。同时，即使是彩色的画作经历了一段时间后色彩也会暗淡。在神经网络兴起之前，想通过算法实现对这些不包含色彩信息的图像上色是一件非常困难的事情。但是近些年的研究使得这样的想法成为了现实。
技术实现思路
针对现有技术存在的问题，本专利技术提出了一种用于灰度图像上色的三通路卷积神经网络结构，该网络结构将传统单通道卷积神经网络进行拓展，分为三个色彩通道，分别对RGB三个通道上色，最后将获得的三个通道进行连接，形成彩色图像；该算法采用丰富的损失函数来评价上色的效果，并将图像信息进行了分配，相对于传统单通道卷积网络，该算法的参数量要大一些，但是能够更好针对不同色彩通道进行上色。一种用于灰度图像上色的三通路卷积神经网络结构，分为三个部分，第一是数据集的选择和处理，第二是网络结构的搭建，第三是损失函数和最优化算法的选择；搭建完成后即可根据数据集对该神经网络进行训练并分析上色结果。（1）数据集处理根据实际需要，在构建数据集时采用加权法将彩色图片转化成为灰度图片，以供实际训练测试需求，同时将未去色的图像作为最终判断的对比标杆，以建立神经网络的损失；（2）网络结构根据RGB三个通路的特征分别设计，红色通道往往包含更多的人物信息和突出的色彩信息；绿色通道一般包含更多的景物信息；蓝色通道更多是大面积的自然景观和空旷区域；三通道设计具体如下：将训练集图片调整大小至128*128，通过切片操作将RGB三个色彩通道数据分割出来；R分量输入红色通道，红色通道包含9个卷积层，卷积核大小均为3*3，卷积核个数分别为：3、16、32、32、64、32、32、16、1，所有卷积操作的步长均为1，保障特征图的长宽不变，只有深度发生变化；G分量输入绿色通道，绿色通道包含6个卷积层，卷积核大小为4*4，卷积核数量为：3、16、32、32、16、1，同样，绿色通道内卷积步长也为1；B分量输入蓝色通道，蓝色通道结构简单，包含四个卷积层，每层卷积核大小为5*5，卷积核个数分别为16、32、16、1；最终将三个通道的输出在通道维度上拼接，输入最后的整合网络，该结构的整体描述如图1，通过三个通道不同尺度和大小的神经网络提取R、G、B三个通道的信息，一起送入一个密度块内进行整合，最终得到输出。密度块是借用了密度神经网络的设计，将每一层的输出都连接到其后每一层神经网络上，充分利用了神经网络提取每一层的特征。这里可以根据需要采用密度块的大小和深度；（3）损失函数对于该网络的损失函数设计，根据经验，L1损失在衡量两张图片一致性的时候有很大优势。同时，结构一致性（SSIM）也可以反映生成图像和原图的视觉上相似度。综合，本专利技术提出了一种包含L1损失和SSIM损失这两个损失函数，且以权重分配二者的作用效力。这两个损失函数具体表达如下：上式中，Y为标准彩色图像，即去色前的图像，为经过神经网络生成的图像，式（1）中（i,j）表示图像上坐标为（i,j），SSIM是介于0-1的实数，其数值越大表示生成图像和原始图像越接近；在图像无限大的时候，L1损失会变的很大，而SSIM损失则介于0-1之间，从而会导致神经网络对于SSIM的优化不够明显。因此，本专利技术将L1损失做一次归一化。具体操作是根据图像尺寸进行一次除法。式中a、b分别为输入图像的长和宽，ab的乘积代表了图片上的像素点个数。总的损失函数表达如下：。本专利技术根据卷积神经网络，分为三个神经网络通道分别学习RGB三个色彩通道的特性，并通过一个密度块将所有学习而来的特征进行了汇总和综合学习。卷积神经网络本身在图像领域就有着非常明显的优势，合理利用不同色彩通道的信息，并辅以结构一致性作为损失函数，从而在视觉上保障了生成彩色图片的真实性。附图说明图1是用于灰度图像上色的三通路卷积神经网络整体结构图。具体实施方式该神经网络结构新颖，从三个色彩通道的不同特征层面出发，分别提取特征，同时利用一个密度块实现三个输出的综合，已达到所求的上色效果。同时利用SSIM作为损失函数，使得生成的图像更加自然真实。由于网络架构的特性，最适合采用谷歌开源的TensorFlow架构来实现，根据训练集的大小决定训练时间，一般到损失函数收敛至0.1以内即可。同时，在数据集选取上，可采用ImageNet作为训练集，该数据集包含内容丰富，非常适合提升神经网络的泛化能力。整合网络为一个密度块网络。通过层间极其密集的连接，充分学习了每层的信息，同时还避免了由于网络较深造成的梯度消失和梯度爆炸。该神经网络结构参考附图1。本文档来自技高网...

【技术保护点】
1.一种用于灰度图像上色的三通路卷积神经网络结构，其特征在于：分为三个部分，第一是数据集的选择和处理，第二是网络结构的搭建，第三是损失函数和最优化算法的选择；搭建完成后即可根据数据集对该神经网络进行训练并分析上色结果；/n（1）数据集处理/n根据实际需要，在构建数据集时采用加权法将彩色图片转化成为灰度图片，以供实际训练测试需求，同时将未去色的图像作为最终判断的对比标杆，以建立神经网络的损失；/n（2）网络结构/n根据RGB三个通路的特征分别设计，红色通道往往包含更多的人物信息和突出的色彩信息；绿色通道一般包含更多的景物信息；蓝色通道更多是大面积的自然景观和空旷区域；/n三通道设计具体如下：/n将训练集图片调整大小至128*128，通过切片方式将RGB三个色彩通道数据分割出来；R分量输入红色通道，红色通道包含9个卷积层，卷积核大小均为3*3，卷积核个数分别为：3、16、32、32、64、32、32、16、1，所有卷积操作的步长均为1，保障特征图的长宽不变，只有深度发生变化；G分量输入绿色通道，绿色通道包含6个卷积层，卷积核大小为4*4，卷积核数量为：3、16、32、32、16、1，同样，绿色通道内卷积步长也为1；B分量输入蓝色通道，蓝色通道结构简单，包含四个卷积层，每层卷积核大小为5*5，卷积核个数分别为16、32、16、1；/n最终将三个通道的输出在通道维度上拼接，输入最后的整合网络，通过三个通道不同尺度和大小的神经网络提取R、G、B三个通道的信息，一起送入一个密度块内进行整合，最终得到输出；/n（3）损失函数/n对于该网络的损失函数设计，提出了一种包含L1损失和SSIM损失这两个损失函数，且以权重分配二者的作用效力，这两个损失函数具体表达如下：/n...

【技术特征摘要】
1.一种用于灰度图像上色的三通路卷积神经网络结构，其特征在于：分为三个部分，第一是数据集的选择和处理，第二是网络结构的搭建，第三是损失函数和最优化算法的选择；搭建完成后即可根据数据集对该神经网络进行训练并分析上色结果；
（1）数据集处理
根据实际需要，在构建数据集时采用加权法将彩色图片转化成为灰度图片，以供实际训练测试需求，同时将未去色的图像作为最终判断的对比标杆，以建立神经网络的损失；
（2）网络结构
根据RGB三个通路的特征分别设计，红色通道往往包含更多的人物信息和突出的色彩信息；绿色通道一般包含更多的景物信息；蓝色通道更多是大面积的自然景观和空旷区域；
三通道设计具体如下：
将训练集图片调整大小至128*128，通过切片方式将RGB三个色彩通道数据分割出来；R分量输入红色通道，红色通道包含9个卷积层，卷积核大小均为3*3，卷积核个数分别为：3、16、32、32、64、32、32、16、1，所有卷积操作的步长均为1，保障特征图的长宽不变，只有深度发生变化；G分量输入绿色通道，绿色通道包含6个卷积层，卷积核大小为4*4，卷积核数量为：3、16、32、32、16、1，同样，...

【专利技术属性】
技术研发人员：徐江涛，史兴萍，查万斌，秦书臻，路凯歌，
申请(专利权)人：天津大学青岛海洋技术研究院，
类型：发明
国别省市：山东;37