图像处理中去马赛克的方法、系统、终端及介质技术方案

本发明专利技术提供了一种图像处理中去马赛克的方法和系统，其中方法包括：获取RAW图片的色彩滤波阵列及其在三维方向上的展开矩阵；基于所述色彩滤波阵列和所述展开矩阵，对R、G、B三个通道进行各自通道插值和通道间插值，并对得到的各插值结果进行融合，得到初步RGB图像；对所述初步RGB图像进一步通道间插值，并对得到的插值结果进行修正，重复该步骤，得到中间RGB图像；对所述中间RGB图像进行图像增强，得到最终的RGB图像，完成去马赛克。同时提供了一种终端及介质。及介质。及介质。

【技术实现步骤摘要】
图像处理中去马赛克的方法、系统、终端及介质


[0001]本专利技术涉及图像处理
，具体地，涉及一种图像处理中去马赛克的方法、系统、终端及介质。

技术介绍

[0002]传统的去马赛克设计都是一些确定的插值结果，插值的公式是固定的，没办法根据场景变化去动态的调整插值效果。基于深度学习的去马赛克技术，通常采用一些大型的网络去训练，运算量比较大，而且结果鲁棒性不强；同时打乱了不同通道之间的关系，但插值效果更多的是和周边像素关联性较大。
[0003]经过检索发现：
[0004]Monno Y,Kiku D,Tanaka M,et al.Adaptive residual interpolation for color image demosaicking[C]//2015IEEE International Conference on Image Processing(ICIP).IEEE,2015:3861
‑
3865.，提供了一种基于残差的方式对G进行插值的技术，插值完成后根据G的排列规则对R进行插值。如图1所示。该技术具有如下缺点：最后的插值比较固定，没办法根据场景进行优化，更没办法针对AI进行端到端的优化。而在传统算法中，很难解决这种端到端的优化问题，也就没办法面向机器视觉去优化。
[0005]Tang,J.；Li,J.；Tan,P.Demosaicing by Differentiable Deep Restoration.Appl.Sci.2021,11,1649.，提供了一种基于AI的去马赛克设计，采用类Unet的结构，类unet结构在数据增强领域得到了广泛的应用。可以设置专门的unet网络进行端到端的训练。但是，Unet训练的时候会打乱不同通道的关系。具体结构如图2所示。这种基于AI的去马赛克设计，具有如下缺点：整个结构过于复杂，需要大量的数据集进行多次的训练，因为很难解释每一步操作的意义，收敛速度比较慢，同时整个结果的鲁棒性比较低。

技术实现思路

[0006]本专利技术针对现有技术中存在的上述不足，提供了一种图像处理中去马赛克的方法、系统、终端及介质。
[0007]本专利技术是通过以下技术方案实现的。
[0008]根据本专利技术的一个方面，提供了一种图像处理中去马赛克的方法，包括：
[0009]获取RAW图片的色彩滤波阵列及其在三维方向上的展开矩阵；
[0010]基于所述色彩滤波阵列和所述展开矩阵，对R、G、B三个通道进行各自通道插值和通道间插值，并对得到的各插值结果进行融合，得到初步RGB图像；
[0011]对所述初步RGB图像进一步通道间插值，并对得到的插值结果进行修正，重复该步骤，得到中间RGB图像；
[0012]对所述中间RGB图像进行图像增强，得到最终的RGB图像，完成去马赛克。
[0013]可选地，所述获取RAW图片的色彩滤波阵列及其在三维方向上的展开矩阵，包括：
[0014]构建RAW图片与插值完成的RGB图片之间的关系M表示为：
[0015]M＝H
⊙
I
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0016]H＝[Hr,Hg,Hb][0017]cfa＝Hr+Hg+Hb
[0018]RAW＝Mr+Mg+Mb
[0019]式中，H为色彩滤波阵列在三维方向上的展开矩阵，Hr、Hg、Hb分别为色彩滤波阵列的三个通道；I为为我们插值得到的最终结果；cfa为色彩滤波阵列；RAW为RAW图片；
⊙
为点乘操作；
[0020]所述色彩滤波阵列cfa包括：RGGB阵列、GRGB阵列、GBRG阵列和BGGR阵列；其中：
[0021]所述RGGB阵列中：
[0022][0023]所述GRBG阵列中：
[0024][0025]所述GBRG阵列中：
[0026][0027]所述BGGR阵列中：
[0028][0029]式中：concat(
·
)为三个2
ⅹ
2的矩阵沿通道方向拼接。
[0030]可选地，所述对R、G、B三个通道进行各自通道插值，包括：
[0031]将RAW图片展开为R、G、B三个通道的Moire数据，记为M，其中，每一个通道处，只有一个像素点有值，其余两个像素点为0；
[0032]采用unet分割模型，基于depthwise卷积操作，对R、G、B三个通道的Moire数据进行各自通道插值如下：
[0033]I1＝conv1(M)+up(conv2(down(M))+up(conv3(down(down(M)))))
ꢀꢀꢀ
(17)
[0034]式中，M为输入的数据，即RAW图片三个通道展开的Moire数据；down(
·
)为下采样操作；conv1、conv2和conv3分别为5
ⅹ
5的卷积核以及激活函数构成的卷积激活操作；up(
·
)为插值操作；I1为R、G、B各自通道插值结果。
[0035]可选地，所述对R、G、B三个通道进行通道间插值，包括：
[0036]基于所述色彩滤波阵列，将所述色彩滤波阵列中的每一个2
ⅹ
2的像素看作一个像素块，通过周边14
ⅹ
14的窗口空间来对所述2
ⅹ
2的像素块做插值，得到2
ⅹ2ⅹ
3的像素块；
其中，插值过程表示为：
[0037][0038]式中，RAW
i
为14
ⅹ
14的窗口空间中的R、G、B值；w和b分别为训练出来的插值权重系数和偏置；n为插值出的2
ⅹ2ⅹ
3的像素块的像素个数；I2为插值出的2
ⅹ2ⅹ
3的像素块，即R、G、B通道间插值结果。
[0039]可选地，所述对得到的各插值结果进行融合，包括：
[0040]将R、G、B各自通道插值结果部分和R、G、B通道间插值结果部分从通道方向融合到一起，再经过卷积激活函数得到融合后的结果；其中，融合过程表示为：
[0041]I3＝activate(conv(concat(I1,I2)))
ꢀꢀꢀꢀꢀ
(19)
[0042]式中，concat(
·
)为沿通道方向把I1和I2拼接在一起；conv(
·
)为卷积核；activate(
·
)为激活函数；I1为R、G、B各自通道插值结果；I2为R、G、B通道间插值结果；I3为融合后的结果，即为初步RGB图像。
[0043]可选地，所述对所述初步RGB图像进一步通道间插值，并对得到的插值结果进行修正，包括：
[0044]采用不同大小的插值窗口，对所述初步RGB图像进行多通道间插值，其中每一个窗口的插值结果均为中间的2
ⅹ2ⅹ
3的像素块；其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理中去马赛克的方法，其特征在于，包括：获取RAW图片的色彩滤波阵列及其在三维方向上的展开矩阵；基于所述色彩滤波阵列和所述展开矩阵，对R、G、B三个通道进行各自通道插值和通道间插值，并对得到的各插值结果进行融合，得到初步RGB图像；对所述初步RGB图像进一步通道间插值，并对得到的插值结果进行修正，重复该步骤，得到中间RGB图像；对所述中间RGB图像进行图像增强，得到最终的RGB图像，完成去马赛克。2.根据权利要求1所述的图像处理中去马赛克的方法，其特征在于，所述获取RAW图片的色彩滤波阵列及其在三维方向上的展开矩阵，包括：构建RAW图片与插值完成的RGB图片之间的关系M表示为：M＝H
⊙
I
ꢀꢀꢀꢀꢀ
(1)H＝[Hr，Hg，Hb]cfa＝Hr+Hg+HbRAW＝Mr+Mg+Mb式中，H为色彩滤波阵列在三维方向上的展开矩阵，Hr、Hg、Hb分别为色彩滤波阵列的三个通道；I为为我们插值得到的最终结果；cfa为色彩滤波阵列；RAW为RAW图片；
⊙
为点乘操作；所述色彩滤波阵列cfa包括：RGGB阵列、GRGB阵列、GBRG阵列和BGGR阵列；其中：所述RGGB阵列中：所述GRBG阵列中：所述GBRG阵列中：所述BGGR阵列中：式中：concat(
·
)为三个2
ⅹ
2的矩阵沿通道方向拼接。3.根据权利要求1所述的图像处理中去马赛克的方法，其特征在于，所述对R、G、B三个通道进行各自通道插值，包括：
将RAW图片展开为R、G、B三个通道的Moire数据，记为M，其中，每一个通道处，只有一个像素点有值，其余两个像素点为0；采用unet分割模型，基于depthwise卷积操作，对R、G、B三个通道的Moire数据进行各自通道插值如下：I1＝conv1(M)+up(conv2(down(M))+up(conv3(down(down(M)))))
ꢀꢀꢀꢀꢀꢀ
(6)式中，M为输入的数据，即RAW图片三个通道展开的Moire数据；down(
·
)为下采样操作；conv1、conv2和conv3分别为5
ⅹ
5的卷积核以及激活函数构成的卷积激活操作；up(
·
)为插值操作；I1为R、G、B各自通道插值结果。4.根据权利要求1所述的图像处理中去马赛克的方法，其特征在于，所述对R、G、B三个通道进行通道间插值，包括：基于所述色彩滤波阵列，将所述色彩滤波阵列中的每一个2
ⅹ
2的像素看作一个像素块，通过周边14
ⅹ
14的窗口空间来对所述2
ⅹ
2的像素块做插值，得到2
ⅹ2ⅹ
3的像素块，其中，插值过程表示为：式中，RAW
i
为14
ⅹ
14的窗口空间中的R、G、B值；w和b分别为训练出来的插值权重系数和偏置；n为插值出的2
ⅹ2ⅹ
3的像素块的像素个数；I2为插值出的2
×2×
3的像素块，即R、G、B通道间插值结果。5.根据权利要求1所述的图像处理中去马赛克的方法，其特征在于，所述对得到的各插值结果进行融合，包括：将R、G、B各自通道插值结果部分和R、...

【专利技术属性】
技术研发人员：贺光辉，罗飞，任一帆，黄腾，叶璐，
申请(专利权)人：合肥辉羲智能科技有限公司，
类型：发明
国别省市：