一种RYB格式的RAW图像色彩还原方法技术

本发明专利技术公开了一种RYB格式的RAW图像色彩还原方法，神经网络包括两阶段结构，第一阶段结构包括依次连接的十层结构，第二阶段结构为对第一阶段结构的输出进行复原的Recover层。本发明专利技术通过神经网络处理RYB格式的RAW图，该神经网络为像素级处理的神经网络，在网络应用过程中能够对图像的每个像素值进行神经网络结构式的修改与变换；通过本发明专利技术提出的网络训练方法，训练后的神经网络能够将RYB格式RAW图像成功恢复为全彩RGB图像。成功恢复为全彩RGB图像。成功恢复为全彩RGB图像。

【技术实现步骤摘要】
一种RYB格式的RAW图像色彩还原方法


[0001]本专利技术涉及一种图像处理方法，具体涉及一种图像色彩还原方法。

技术介绍

[0002]目前主流的CMOS图像传感器几乎都是输出Bayer格式的RAW数据。其实现原理即为在图像传感器表面覆盖一层滤光片，使得某一个像素点只接收一种颜色的光，图像传感器所得到的像素值即为单种颜色的像素值。拜尔滤波阵列采用RGB三色进行排列，一般一组2*2矩阵内，三色数量成R：G：B=1：2：1的形式，每个元素表示一个像素，实现了每个像素点只有一种颜色，常见的排列形式有RGGB，BGGR、GRBG等。如果将2x2矩阵内的绿色滤光片换成黄色滤光片，呈RYYB排列，则这种传感器中Y(yellow)的光谱响应更宽、光谱覆盖更广、能够感应到更多光子，总进光量可以提升30%
‑
40%左右，在暗光场景中对Luminance信噪比提升显著，夜拍效果更胜一筹。
[0003]但传统的基于RGB三色的算法如Demosaic算法、AWB算法等就无法对以RYYB排列的RAW图进行准确的还原图像色彩。

技术实现思路

[0004]专利技术目的：针对上述现有技术，提出一种RYB格式的RAW图像色彩还原方法，用以对处理图像传感器捕获的RYB格式的RAW图进行色彩还原，输出RGB格式图像。
[0005]技术方案：一种RYB格式的RAW图像色彩还原方法，包括：将以RYYB排列的RAW图像输入神经网络进行色彩还原处理后，输出RGB图像；
[0006]所述神经网络包括两阶段结构，第一阶段结构包括依次连接的十层结构：第一层为预处理层，通过卷积将图像中R、Y、Y、B像素分别提取为单独的通道，第一层的输入尺寸为448*448*3，输出尺寸为448*448*4；第二至第五层均为卷积层，每层均由Conv层、BN层、ReLU层链接构成，第二至第五层的输出尺寸分别为：112*112*24、56*56*96、28*28*192、14*14*384；第六至第十层为反卷积层，每层均由Upsample层、BN层、ReLU层链接构成，第六至第十层的输出尺寸分别为：14*14*384、28*28*192、56*56*96、112*112*24、448*448*4；其中，第七、八、九层的输出分别对应与第四、三、二层的输出进行残差操作；
[0007]所述神经网络的第二阶段结构为对所述第一阶段结构的输出进行复原的Recover层，所述Recover层由Upsample层以及3个尺寸为1*1的Conv层链接构成，最终输出尺寸为448*448*3。
[0008]进一步的，对所述神经网络进行训练时，将所述第一阶段结构记为Backbone，并构建一个与所述第一阶段结构并行的结构Tophalf，所述Tophalf由与所述第一阶段结构中第一至第五层相同的结构构成；
[0009]首先对所述第一阶段结构进行训练，包括：
[0010]步骤1：采用输出为以RGGB排列的RAW图像和输出为以RYYB排列的RAW图像的图像传感器分别对若干场景进行相同的拍摄，得到的图像分别记入图像集P1和图像集P2，从而
形成训练集；
[0011]步骤2：将所述训练集中的图像输入所述第一阶段结构进行训练；
[0012]在训练过程中，将图像集P1中图像输入所述Tophalf中，将图像集P2中对应图像输入所述Backbone中，然后分别计算所述Backbone中第六层、第七层、第八层、第九层相对于所述Tophalf中第二层、第三层、第四层、第五层输出图像的差异度Dis
n
：
[0013][0014]式中，Backbone
i,j
为所述Backbone中对应层输出图像的第i行j列处的像素值，Tophalf
i,j
为所述Tophalf中对应层输出图像的第i行j列处的像素值；其中，n取6,7,8,9，分别对应所述Backbone中的第六层、第七层、第八层、第九层；
[0015]将各差异度Dis
n
值按照权重相加，得到损失值Loss
Dis
：
[0016]Loss
Dis
=0.4Dis6+0.6Dis7+0.8Dis8+1.0Dis9[0017]根据损失值进行反向传播来对所述第一阶段结构的网络参数进行优化；
[0018]步骤3：在完成所述第一阶段结构的训练后对所述第二阶段结构进行训练，包括：将图像集P2中图像输入训练好的所述第一阶段结构，将所述第一阶段结构最终输出尺寸为448*448*4的图像输入所述第二阶段结构，再将所述第二阶段结构最终输出尺寸为448*448*3的图像与图像集P1中对应图像求损失值LossR：
[0019][0020]式中，P1
i,j
为所述图像集P1中对应图像的第i行j列处的像素值，Recover
i,j
为所述第二阶段结构最终输出图像的第i行j列处的像素值；
[0021]根据所述损失值LossR进行反向传播来对所述第二阶段结构的网络参数进行优化。
[0022]有益效果：现有Demosaic算法均仅适用于RGB格式图像，不存在能够有效提升画面效果的RYB格式的RAW图像处理算法。本专利技术通过神经网络处理RYB格式的RAW图，该神经网络为像素级处理的神经网络，在网络应用过程中能够对图像的每个像素值进行神经网络结构式的修改与变换；通过本专利技术提出的网络训练方法，训练后的神经网络能够将RYB格式RAW图像成功恢复为全彩RGB图像。
附图说明
[0023]图1为本专利技术神经网络第一阶段结构的网络结构示意图；
[0024]图2为本专利技术神经网络训练过程中构建的Tophalf网络结构示意图；
[0025]图3为本专利技术神经网络第一阶段结构训练过程中求差异度值的示意图；
[0026]图4为本专利技术神经网络第二阶段结构的网络结构示意图。
具体实施方式
[0027]下面结合附图对本专利技术做更进一步的解释。
[0028]一种RYB格式的RAW图像色彩还原方法，包括：将以RYYB排列的RAW图像输入神经网络进行色彩还原处理后，输出RGB图像。
[0029]该神经网络包括两阶段结构。如图1所示，第一阶段结构包括依次连接的十层结构：第一层为预处理层，通过卷积将图像中R、Y、Y、B像素分别提取为单独的通道，第一层的输入尺寸为448*448*3，输出尺寸为448*448*4；第二至第五层均为卷积层，每层均由卷积(Conv)层、BN层、激活函数(ReLU)层链接构成，第二至第五层的输出尺寸分别为：112*112*24、56*56*96、28*28*192、14*14*384；第六至第十层为反卷积层，每层均由上采样(Upsample)层、BN层、ReLU层链接构成，第六至第十层的输出尺寸分别为：14*14*384、28*28*192、56*56*96、112*112*24、448*448*4。其中，第七本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种RYB格式的RAW图像色彩还原方法，其特征在于，包括：将以RYYB排列的RAW图像输入神经网络进行色彩还原处理后，输出RGB图像；所述神经网络包括两阶段结构，第一阶段结构包括依次连接的十层结构：第一层为预处理层，通过卷积将图像中R、Y、Y、B像素分别提取为单独的通道，第一层的输入尺寸为448*448*3，输出尺寸为448*448*4；第二至第五层均为卷积层，每层均由Conv层、BN层、ReLU层链接构成，第二至第五层的输出尺寸分别为：112*112*24、56*56*96、28*28*192、14*14*384；第六至第十层为反卷积层，每层均由Upsample层、BN层、ReLU层链接构成，第六至第十层的输出尺寸分别为：14*14*384、28*28*192、56*56*96、112*112*24、448*448*4；其中，第七、八、九层的输出分别对应与第四、三、二层的输出进行残差操作；所述神经网络的第二阶段结构为对所述第一阶段结构的输出进行复原的Recover层，所述Recover层由Upsample层以及3个尺寸为1*1的Conv层链接构成，最终输出尺寸为448*448*3。2.根据权利要1所述的一种RYB格式的RAW图像色彩还原方法，其特征在于，对所述神经网络进行训练时，将所述第一阶段结构记为Backbone，并构建一个与所述第一阶段结构并行的结构Tophalf，所述Tophalf由与所述第一阶段结构中第一至第五层相同的结构构成；首先对所述第一阶段结构进行训练，包括：步骤1：采用输出为以RGGB排列的RAW图像和输出为以RYYB排列的RAW图像的图像传感器分别对若干场景进行相同的拍摄，得到的图像分别记入图像集P1和图像集P2，从而形成训练集；步骤2：将所述训练集中的图像...

【专利技术属性】
技术研发人员：周康，王彬，程银，熊傲然，杨元浩，方昊栋，
申请(专利权)人：江苏稻源科技集团有限公司，
类型：发明
国别省市：