去马赛克方法、去马赛克装置、存储介质及芯片制造方法及图纸

本公开是关于一种去马赛克方法、去马赛克装置、存储介质及芯片。去马赛克方法，应用于终端，该方法包括：获取原始图像，并确定所述原始图像中所包括的目标像素值，所述目标像素值为具有预设原始图像数据格式的原始图像像素值；基于所述预设原始图像数据格式的原始图像像素值与RGB像素值的对应关系，确定所述目标像素值所对应的目标RGB像素值；将所述目标RGB像素值对应的RGB图像，作为所述原始图像去马赛克后的目标图像。通过本公开实现基于预设的像素值与RGB像素值的对应关系，快速对原始图像进行去马赛克，得到RGB图像。得到RGB图像。得到RGB图像。

【技术实现步骤摘要】
去马赛克方法、去马赛克装置、存储介质及芯片


[0001]本公开涉及图像处理
，尤其涉及一种去马赛克方法、去马赛克装置、存储介质及芯片。

技术介绍

[0002]单电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)传感器与彩色滤波器阵列(Color FilterArray，CFA)广泛应用于现代彩色数码相机。CFA的布局设计会由于相机类型而有所不同，最常使用的拜尔滤波器阵列(BayerCFA)。与传感器的类型无关，每个传感器元件根据具体的CFA在红色(R)、绿色(G)、蓝色(B)三种颜色(也称为三原色)中只记录一个强度值。针对CFA颜色通道输出的不完全采样重建全彩色图像，即重建每个像素的完整RGB三色组合，这个重建过程即为彩色图像去马赛克。图像去马赛克作为获取彩色图像的开始阶段，快速而高质量的图像去马赛克对于实际应用非常重要。
[0003]传统的去马赛克过程通常采用插值的方法，近年也有研究通过深度学习的方式进行去马赛克方法的优化。目前基于深度学习的去马赛克方法可以在并行计算执行，但由于计算量大，在终端上使用较为困难。

技术实现思路

[0004]为克服相关技术中存在的问题，本公开提供一种去马赛克方法、去马赛克装置、存储介质及芯片。
[0005]根据本公开实施例的第一方面，提供一种去马赛克方法，包括：获取原始图像，并确定所述原始图像中所包括的目标像素值，所述目标像素值为具有预设原始图像数据格式的原始图像像素值；基于预设原始图像数据格式的原始图像像素值与RGB像素值的对应关系，确定所述目标像素值所对应的目标RGB像素值；将所述目标RGB像素值对应的RGB图像，作为所述原始图像去马赛克后的目标图像。
[0006]一种实施方式中，所述预设原始图像数据格式的原始图像像素值与RGB像素值的对应关系采用如下方式生成：获取预设原始图像数据格式的原始图像像素值；将预设原始图像数据格式的原始图像像素值输入目标网络模型，得到RGB像素值；创建预设原始图像数据格式的原始图像像素值与RGB像素值的对应关系。
[0007]一种实施方式中，所述目标网络模型采用如下方式训练得到：确定原始图像样本集以及RGB图像像素测试集，所述原始图像样本集中的每一原始图像样本添加有马赛克；基于所述原始图像样本集中各原始图像样本所包括的预设原始图像数据格式的原始图像像素值，确定样本预设原始图像数据格式的原始图像像素值；基于所述样本预设原始图像数据格式的原始图像像素值和所述RGB图像像素测试集中的RGB像素值，进行目标网络模型训练，所述目标网络模型的输入为样本预设原始图像数据格式的原始图像像素值，输出为RGB像素值。
[0008]一种实施方式中，确定原始图像样本集，包括：确定RGB图像像素集，并确定RGB图像像素集每一像素对应的线性RGB图像，得到线性RGB图像集；对所述线性RGB图像集中的RGB图像添加马赛克，得到原始图像样本集。
[0009]一种实施方式中，基于所述原始图像样本集中各原始图像样本，确定样本预设原始图像数据格式的原始图像像素值，包括：对所述原始图像样本，以预设的至少一种翻转形式进行翻转；按预设规则对翻转后的原始图像样本进行剪裁；将所述原始图像样本以及各次翻转并裁剪后的原始图像样本，作为目标原始图像样本；将所述目标原始图像样本中的预设原始图像数据格式的原始图像像素值，作为样本预设原始图像数据格式的原始图像像素值。
[0010]一种实施方式中，所述至少一种翻转形式包括：列方向翻转、行方向翻转，以及行列方向翻转。
[0011]一种实施方式中，基于所述样本预设原始图像数据格式的原始图像像素值和所述RGB图像像素测试集中的RGB像素值，进行目标网络模型训练，包括：调用预测网络模型，所述预测网络模型的第一层卷积神经网络的卷积核大小为2n*2n，步长长度为所述原始图像样本的单位长度，所述n为正整数；基于多个目标原始图像样本中的每一目标原始图像样本，分别输入至预测网络模型，得到预测RGB像素值；将所述目标原始图像样本对应的预测RGB像素值进行均值化处理；基于所述均值化处理后的RGB像素值，以及真实RGB像素值，确定目标损失；基于所述目标损失对所述预测网络模型进行训练，得到目标网络模型。
[0012]根据本公开实施例的第二方面，提供一种去马赛克装置，包括：获取单元，用于获取原始图像，并确定所述原始图像中所包括的目标像素值，所述目标像素值为预设原始图像数据格式的原始图像像素值；确定单元，用于基于预设原始图像数据格式的原始图像像素值与RGB像素值的对应关系，确定所述目标像素值所对应的目标RGB像素值，并将所述目标RGB像素值对应的RGB图像，作为所述原始图像去马赛克后的目标图像。
[0013]一种实施方式中，所述确定单元采用如下方式生成所述预设原始图像数据格式的原始图像像素值与RGB像素值的对应关系：获取预设原始图像数据格式的原始图像像素值；将预设原始图像数据格式的原始图像像素值输入目标网络模型，得到RGB像素值；创建预设原始图像数据格式的原始图像像素值与RGB像素值的对应关系。
[0014]一种实施方式中，还包括训练单元，所述训练单元采用如下方式训练所述目标网络模型：确定原始图像样本集以及RGB图像像素测试集，所述原始图像样本集中的每一原始图像样本添加有马赛克；基于所述原始图像样本集中各原始图像样本所包括的预设原始图像数据格式的原始图像像素值，确定样本预设原始图像数据格式的原始图像像素值；基于所述样本预设原始图像数据格式的原始图像像素值和所述RGB图像像素测试集中的RGB像素值，进行目标网络模型训练，所述目标网络模型的输入为样本预设原始图像数据格式的原始图像像素值，输出为RGB像素值。
[0015]一种实施方式中，所述训练单元采用如下方式确定原始图像样本集：确定RGB图像像素集，并确定RGB图像像素集每一像素对应的线性RGB图像，得到线性RGB图像集；对所述线性RGB图像集中的RGB图像添加马赛克，得到原始图像样本集。
[0016]一种实施方式中，所述训练单元采用如下方式基于所述原始图像样本集中各原始图像样本，确定样本预设原始图像数据格式的原始图像像素值：对所述原始图像样本，以预
设的至少一种翻转形式进行翻转；按预设规则对翻转后的原始图像样本进行剪裁；将所述原始图像样本以及各次翻转并裁剪后的原始图像样本，作为目标原始图像样本；将所述目标原始图像样本中的预设原始图像数据格式的原始图像像素值，作为样本预设原始图像数据格式的原始图像像素值。
[0017]一种实施方式中，所述至少一种翻转形式包括：列方向翻转、行方向翻转，以及行列方向翻转。
[0018]一种实施方式中，所述训练单元采用如下方式基于所述样本预设原始图像数据格式的原始图像像素值和所述RGB图像像素测试集中的RGB像素值，进行目标网络模型训练：调用预测网络模型，所述预测网络模型的第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种去马赛克方法，其特征在于，包括：获取原始图像，并确定所述原始图像中所包括的目标像素值，所述目标像素值为具有预设原始图像数据格式的原始图像像素值；基于所述预设原始图像数据格式的原始图像像素值与RGB像素值的对应关系，确定所述目标像素值所对应的目标RGB像素值；将所述目标RGB像素值对应的RGB图像，作为所述原始图像去马赛克后的目标图像。2.根据权利要求1所述的方法，其特征在于，所述预设原始图像数据格式的原始图像像素值与RGB像素值的对应关系采用如下方式生成：获取预设原始图像数据格式的原始图像像素值；将所述预设原始图像数据格式的原始图像像素值输入目标网络模型，得到RGB像素值；创建所述预设原始图像数据格式的原始图像像素值与RGB像素值的对应关系。3.根据权利要求2所述的方法，其特征在于，所述目标网络模型采用如下方式训练得到：确定原始图像样本集以及RGB图像像素测试集，所述原始图像样本集中的每一原始图像样本添加有马赛克；基于所述原始图像样本集中各原始图像样本所包括的预设的像素值，确定样本预设的像素值；基于所述样本预设原始图像数据格式的原始图像像素值和所述RGB图像像素测试集中的RGB像素值，进行目标网络模型训练，所述目标网络模型的输入为样本预设原始图像数据格式的原始图像像素值，输出为RGB像素值。4.根据权利要求3所述的方法，其特征在于，确定原始图像样本集，包括：确定RGB图像像素集，并确定RGB图像像素集每一像素对应的线性RGB图像，得到线性RGB图像集；对所述线性RGB图像集中的RGB图像添加马赛克，得到原始图像样本集。5.根据权利要求3所述的方法，其特征在于，基于所述原始图像样本集中各原始图像样本，确定样本预设原始图像数据格式的原始图像像素值，包括：对所述原始图像样本，以预设的至少一种翻转形式进行翻转；按预设规则对翻转后的原始图像样本进行剪裁；将所述原始图像样本以及各次翻转并裁剪后的原始图像样本，作为目标原始图像样本；将所述目标原始图像样本中的预设原始图像数据格式的原始图像像素值，作为样本预设原始图像数据格式的原始图像像素值。6.根据权利要求5所述的方法，其特征在于，所述至少一种翻转形式包括：列方向翻转、行方向翻转，以及行列方向翻转。7.根据权利要求3至6中任意一项所述的方法，其特征在于，基于所述样本预设原始图像数据格式的原始图像像素值和所述RGB图像像素测试集中的RGB像素值，进行目标网络模型训练，包括：调用预测网络模型，所述预测网络模型的第一层卷积神经网络的卷积核大小为2n*2n，步长长度为所述原始图像样本的单位长度，所述n为正整数；
基于多个目标原始图像样本中的每一目标原始图像样本，分别输入至预测网络模型，得到预测RGB像素值；将所述目标原始图像样本对应的预测RGB像素值进行均值化处理；基于所述均值化处理后的RGB像素值，以及真实RGB像素值，确定目标损失；基于所述目标损失对所述预测网络模型进行训练，得到目标网络模型。8.一种去马赛克装置，其特征在于，包括：获取单元，用于获取原始图像，并确定所述原始图像中所包括的目标像素值，所述目标像素值为具有预设原始图像数据格式的原始图像像素值；确定单元，用于基于预设原始图像数据格式的原始图像像素值与RBG像素值的对应关系，确定所述目标像素值所对应的目标RBG像素值，并将所述目标RBG像素值对应的RGB图像...

【专利技术属性】
技术研发人员：葛琳，尹玄武，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：