【技术实现步骤摘要】
颜色分解方法和用其基于深度学习对图像去马赛克的方法
[0001]相关申请的交叉引用
[0002]2020年9月22日提交于韩国知识产权局的标题为“颜色分解方法和用其基于深度学习对图像去马赛克的方法”的韩国专利申请No.10
‑
2020
‑
0122511整体以引用方式并入本文中。
[0003]示例实施例总体上涉及图像处理，更具体地，涉及一种颜色分解方法和使用该颜色分解方法基于深度学习对图像去马赛克的方法。
技术介绍
[0004]使用用于训练深度学习模块的足够量的训练数据或学习数据来执行基于深度学习的图像处理。例如，可能需要数以千万计的各种类型的训练数据以防止在训练期间过度拟合并增强深度学习模块的性能。使用真实图像传感器确保足够的数据用于训练并非易事。
技术实现思路
[0005]实施例涉及一种颜色分解方法，其中基于彩色图像来生成指示感色灵敏度之间的相似性的色间图像。确定彩色图像和色间图像相对于白色图像的转换系数。使用转换系数来生成与彩色图像和色间图像对应的伪白色图像。
[0006]根据示例实施例，一种对图像去马赛克的方法包括：基于彩色图像来生成指示感色灵敏度之间的相似性的色间图像；确定彩色图像和色间图像相对于白色图像的转换系数；使用转换系数来生成与彩色图像和色间图像对应的伪白色图像；基于彩色图像和伪白色图像来生成训练马赛克图像；基于训练马赛克图像来训练人工神经网络；以及基于所训练的人工神经网络来生成与输入马赛克图像对应的去马赛克彩色图像。>[0007]根据示例实施例，一种对图像去马赛克的方法包括：基于红色图像、绿色图像和蓝色图像，生成指示绿色灵敏度和蓝色灵敏度之间的相似性的绿色
‑
蓝色图像以及指示绿色灵敏度和红色灵敏度之间的相似性的绿色
‑
红色图像；确定红色图像、绿色图像、蓝色图像、绿色
‑
蓝色图像和绿色
‑
红色图像相对于白色图像的转换系数；使用转换系数来生成与红色图像、绿色图像、蓝色图像、绿色
‑
蓝色图像和绿色
‑
红色图像对应的伪白色图像；基于红色图像、绿色图像、蓝色图像和伪白色图像来生成训练马赛克图像；基于训练马赛克图像来训练人工神经网络；以及基于所训练的人工神经网络来生成与输入马赛克图像对应的去马赛克彩色图像。
附图说明
[0008]通过参照附图详细描述示例实施例，特征对于本领域技术人员将变得显而易见，附图中：
[0009]图1是示出根据示例实施例的颜色分解方法的流程图。
[0010]图2是示出根据示例实施例的颜色分解装置的框图。
[0011]图3和图4是示出根据示例实施例的与颜色分解方法对应的图像的图。
[0012]图5是用于描述根据示例实施例的颜色分解方法中所包括的确定转换系数的示例实施例的图。
[0013]图6是示出根据波长的图像传感器的感色灵敏度的示例的图。
[0014]图7是示出根据波长的白色图像的灵敏度的示例的图。
[0015]图8是示出根据示例实施例的颜色分解装置的框图。
[0016]图9和图10是用于描述根据示例实施例的由机器学习装置驱动的深度学习神经网络结构的示例的图。
[0017]图11是示出包括在神经网络中的节点的示例的图。
[0018]图12是示出根据示例实施例的基于深度学习的去马赛克方法的流程图。
[0019]图13是示出根据示例实施例的与基于深度学习的去马赛克方法对应的图像的图。
[0020]图14是示出根据示例实施例的用于基于深度学习的去马赛克方法的人工神经网络的结构的框图。
[0021]图15是示出根据示例实施例的用于基于深度学习的去马赛克方法的人工神经网络的示例实施例的框图。
[0022]图16是示出图15的人工神经网络的参数的图。
[0023]图17是示出根据示例实施例的基于深度学习的去马赛克方法的效果的图。
[0024]图18是示出根据示例实施例的基于深度学习的去马赛克方法的流程图。
[0025]图19是示出根据示例实施例的执行基于深度学习的去马赛克方法的系统的框图。
[0026]图20是示出根据示例实施例的图19的系统中可采用的接口的示例实施例的框图。
具体实施方式
[0027]图1是示出根据示例实施例的颜色分解方法的流程图。
[0028]参照图1，可基于彩色图像来生成指示感色灵敏度(color sensitivity)之间的相似性的色间图像(S100)。
[0029]感色灵敏度之间的相似性可根据入射在图像传感器上的光的波长而变化。在相同亮度的条件下，感色灵敏度之间的相似性可随着彩色像素值之间的差减小而增加，如下面将参照图6更详细地描述的。
[0030]可确定彩色图像和色间图像相对于白色图像的转换系数(S200)。
[0031]在一些示例实施例中，如下面将参照图5更详细描述的，可基于包括彩色图像的彩色像素值和色间图像的色间像素值作为矩阵分量的矩阵以及例如通过RGBW图像传感器获得的真实白色像素值使用最小二乘法来确定转换系数。
[0032]在一些示例实施例中，如下面将参照图5更详细描述的，色间图像的色间像素值可以是与色间图像对应的不同彩色图像的彩色像素值的乘积的平方根。
[0033]可使用转换系数来生成与彩色图像和色间图像对应的伪白色图像(S300)。伪白色图像与使用包括白色像素的真实图像传感器获得的真实白色图像有所区别。
[0034]在一些示例实施例中，可提供伪白色图像作为附加信息以用于与图像处理关联的
人工神经网络的深度学习。在一些示例实施例中，伪白色图像可用作用于包括白色像素的显示装置的显示数据。
[0035]因此，根据示例实施例的颜色分解方法可使用指示感色灵敏度之间的相似性的色间图像来生成与真实白色图像相似的伪白色图像。
[0036]如下面将更详细描述的，可基于深度学习在根据示例实施例的对图像去马赛克的方法中使用伪白色图像。可使用彩色图像和伪白色图像来高效地执行人工神经网络的深度学习，并且可使用所训练的经训练的人工神经网络来生成高质量的去马赛克图像。
[0037]图2是示出根据示例实施例的颜色分解装置的框图。
[0038]参照图2，颜色分解装置100可包括第一色间图像生成器GBIG 110、第二色间图像生成器GRIG 120和图像处理单元130。
[0039]第一色间图像生成器110和第二色间图像生成器120可基于彩色图像来生成指示感色灵敏度之间的相似性的色间图像。在一些示例实施例中，彩色图像可包括红色图像Ir、绿色图像Ig和蓝色图像Ib。
[0040]本文中，基于彩色图像包括红色图像Ir、绿色图像Ig和蓝色图像Ib的非限制性示例来描述一些示例实施例。然而，根据示例实施例，彩色图像可包括各种颜色的任意组合。
[0041]当本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种颜色分解方法，包括：基于彩色图像生成指示感色灵敏度之间的相似性的色间图像；确定所述彩色图像和所述色间图像相对于白色图像的转换系数；以及使用所述转换系数生成与所述彩色图像和所述色间图像对应的伪白色图像。2.根据权利要求1所述的方法，其中，每个色间图像的色间像素值是与所述每个色间图像对应的不同彩色图像的彩色像素值的乘积的平方根。3.根据权利要求1所述的方法，其中，所述色间图像的色间像素值随着所述感色灵敏度之间的相似性增加而增大。4.根据权利要求1所述的方法，其中，所述伪白色图像的白色像素值随着与所述白色像素值对应的色间图像的色间像素值增大而减小。5.根据权利要求1所述的方法，其中，所述彩色图像相对于所述白色图像的转换系数具有正值，并且所述色间图像相对于所述白色图像的转换系数具有负值。6.根据权利要求1所述的方法，其中，基于包括所述彩色图像的彩色像素值和所述色间图像的色间像素值作为矩阵分量的矩阵使用最小二乘法来确定所述转换系数。7.根据权利要求1所述的方法，其中，所述彩色图像包括红色图像、绿色图像和蓝色图像。8.根据权利要求7所述的方法，其中，所述色间图像包括指示绿色灵敏度和蓝色灵敏度之间的相似性的绿色
‑
蓝色图像以及指示绿色灵敏度和红色灵敏度之间的相似性的绿色
‑
红色图像。9.根据权利要求8所述的方法，其中，所述伪白色图像的白色像素值由下面的方程确定W＝C
r
*R+C
g
*G+C
b
*B+C
gb
*GB+C
gr
*GR其中，W指示所述伪白色图像的白色像素值，R指示所述红色图像的红色像素值，G指示所述绿色图像的绿色像素值，B指示所述蓝色图像的蓝色像素值，GB指示所述绿色
‑
蓝色图像的绿色
‑
蓝色像素值，GR指示所述绿色
‑
红色图像的绿色
‑
红色像素值，C
r
指示所述红色图像相对于所述白色图像的红色转换系数，C
g
指示所述绿色图像相对于所述白色图像的绿色转换系数，C
b
指示所述蓝色图像相对于所述白色图像的蓝色转换系数，C
gb
指示所述绿色
‑
蓝色图像相对于所述白色图像的绿色
‑
蓝色转换系数，并且C
gr
指示所述绿色
‑
红色图像相对于所述白色图像的绿色
‑
红色转换系数。10.根据权利要求9所述的方法，其中，基于包括所述红色图像的红色像素值、所述绿色图像的绿色像素值、所述蓝色图像的蓝色像素值、所述绿色
‑
蓝色图像的绿色
‑
蓝色像素值和所述绿色
‑
红色图像的绿色
‑
红色像素值作为矩阵分量的矩阵使用最小二乘法来确定所述转换系数。11.根据权利要求8所述的方法，其中，针对所述红色图像、所述绿色图像和所述蓝色图像确定的转换系数具有正值，并且针对所述绿色
‑
蓝色图像和所述绿色
‑...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。