图像处理方法、图像处理装置、终端及可读存储介质制造方法及图纸

本申请公开了一种图像处理方法、图像处理装置、终端及可读存储介质。图像传感器包括像素阵列，像素阵列包括全色感光像素及彩色感光像素；图像处理方法包括：获取原始图像；根据同一个子单元内的所有彩色图像像素获取彩色图像，根据同一个子单元内的所有全色图像像素获取全色图像；对彩色图像进行分离处理以获取第一颜色初始图像、第二颜色初始图像及第三颜色初始图像，并根据第一颜色初始图像及第三颜色初始图像对第二颜色初始图像进行图像处理，以获得第二颜色中间图像；根据全色图像对第二颜色中间图像进行处理，以获得第二颜色目标图像；处理第二颜色目标图像、第一颜色初始图像及第三颜色初始图像以获取第一颜色目标图像及第三颜色目标图像。及第三颜色目标图像。及第三颜色目标图像。

【技术实现步骤摘要】
图像处理方法、图像处理装置、终端及可读存储介质


[0001]本申请涉及图像处理
，特别涉及一种图像处理方法、图像处理装置、终端及计算机可读存储介质。

技术介绍

[0002]手机等终端中可以设置有摄像头以实现拍照功能。摄像头内可以设置用于接收光线的图像传感器。图像传感器中可以设置有滤光片阵列。为了提高手机等终端获取图像的信噪比，会采用四合一像素排列的图像传感器。然而采用四合一像素排列的图像传感器曝光以binning模式输出获得以拜耳阵列排布的图像后，需要插值获得全排列图像后才能传输至图像处理装置进行后续处理，如此会导致解析力下降，影响最终获得的图像效果。

技术实现思路

[0003]本申请实施方式提供了一种图像处理方法、图像处理装置、终端及计算机可读存储介质。
[0004]本申请实施方式提供一种用于图像传感器的图像处理方法。所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素及多个彩色感光像素。所述彩色感光像素包括具有不同光谱响应的第一颜色感光像素、第二颜色感光像素及第三颜色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，且所述第一颜色感光像素及所述第三颜色感光像素均具有比所述第二颜色感光像素更窄的光谱响应。每个所述最小重复单元包含多个子单元，每个所述子单元包括至少一个单颜色感光像素及至少一个全色感光像素。所述图像处理方法包括：获取所述像素阵列曝光得到的原始图像，所述原始图像包括彩色图像像素及全色图像像素，根据同一个所述子单元内的所有所述彩色图像像素获取彩色图像，并根据同一个所述子单元内的所有全色图像像素获取全色图像，所述彩色图像中的图像像素呈拜耳阵列排布；对所述彩色图像中的第一颜色图像像素、第二颜色图像像素、及第三颜色图像像素进行分离处理以获取第一颜色初始图像、第二颜色初始图像及第三颜色初始图像，并根据所述第一颜色初始图像及所述第三颜色初始图像对所述第二颜色初始图像进行图像处理，以获得全排列的第二颜色中间图像；根据所述全色图像对所述第二颜色中间图像进行处理，以获得第二颜色目标图像；处理所述第二颜色目标图像及所述第一颜色初始图像以获取全排列的第一颜色目标图像，及处理所述第二颜色目标图像及所述第三颜色初始图像以获取全排列的第三颜色目标图像。
[0005]本申请实施方式提供一种图像处理装置。图像处理装置包括图像传感器及处理器。所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素及多个彩色感光像素，所述彩色感光像素包括具有不同光谱响应的第一颜色感光像素、第二颜色感光像素及第三颜色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，且所述第一颜色感光像素及所述第三颜色感光像素均具有比所述第二颜色感光像素更窄的光谱响应，所述像素阵列包括多个最小重复单元，每个所述最小重复单元包含多个子单元，每
个所述子单元包括至少一个单颜色感光像素及至少一个全色感光像素。所述处理器用于：获取所述像素阵列曝光得到的原始图像，所述原始图像包括彩色图像像素及全色图像像素，根据同一个所述子单元内的所有所述彩色图像像素获取彩色图像，并根据同一个所述子单元内的所有全色图像像素获取全色图像，所述彩色图像中的图像像素呈拜耳阵列排布；对所述彩色图像中的第一颜色图像像素、第二颜色图像像素、及第三颜色图像像素进行分离处理以获取第一颜色初始图像、第二颜色初始图像及第三颜色初始图像，并根据所述第一颜色初始图像及所述第三颜色初始图像对所述第二颜色初始图像进行图像处理，以获得全排列的第二颜色中间图像；根据所述全色图像对所述第二颜色中间图像进行处理，以获得第二颜色目标图像；处理所述第二颜色目标图像及所述第一颜色初始图像以获取全排列的第一颜色目标图像，及处理所述第二颜色目标图像及所述第三颜色初始图像以获取全排列的第三颜色目标图像。
[0006]本申请实施方式提供一种终端。所述终端包括镜头、壳体及上述的图像处理装置。所述镜头、所述图像处理装置与所述壳体结合，所述镜头与所述图像处理装置的图像传感器配合成像。
[0007]本申请实施方式提供一种包含计算机程序的非易失性计算机可读存储介质。所述计算机程序被处理器执行时，使得所述处理器执行上述的图像处理方法。
[0008]本申请实施方式中的图像处理方法、图像处理装置、终端及计算机可读存储介质，通过对同一子单元内的所有彩色图像像素融合为呈拜耳阵列排布的彩色图像；对同一子单元内的所有全色图像像素融合为全色图像，并先根据第一颜色初始图像、第三颜色初始图像对第二颜色初始图像进行插值处理获得全排列的第二颜色中间图像后，全色图像再与第二颜色中间图像融合以获得第二颜色目标图像。最后再根据第二颜色目标图像、第一颜色初始图像及第三颜色初始图像进行处理，以获得全排列的第一颜色目标图像及第三颜色目标图像。一方面，如此能够直接输出含有全色图像信息且全排列的第一颜色目标图像、第二颜色目标图像及第三颜色目标图像，从而能够提高图像的解析力和信噪比，提升了整体拍照效果。另一方面，由于先根据第一颜色初始图像、第三颜色初始图像对第二颜色初始图像进行插值处理获得全排列的第二颜色中间图像后，全色图像再与第二颜色中间图像融合以获得第二颜色目标图像，相交于利用全色图像分别与第一颜色初始图像、第二颜色初始图像及第三颜色初始图像进行融合，能够降低计算量从而降低图像处理装置的功耗。
[0009]本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0010]本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
[0011]图1是本申请某些实施方式的图像处理方法的流程示意图；
[0012]图2是本申请某些实施方式的图像处理装置的结构示意图；
[0013]图3是本申请某些实施方式的像素阵列的示意图；
[0014]图4是本申请某些实施方式的感光像素的截面示意图；
[0015]图5是本申请某些实施方式的感光像素的像素电路图；
[0016]图6至图8是本申请某些实施方式像素阵列中最小重复单元的排布示意图；
[0017]图9是本申请某些实施方式的获取彩色图像及全色图像的原理示意图；
[0018]图10是本申请某些实施方式的彩色图像分离的原理示意图；
[0019]图11是本申请某些实施方式中根据第一颜色初始图像及第三颜色初始图像获取第二颜色中间图像的原理示意图；
[0020]图12是本申请某些实施方式的图像处理方法的流程示意图；
[0021]图13至图14是本申请某些实施方式的获取第二颜色中间图像像素的原理示意图；
[0022]图15是本申请某些实施方式的图像处理方法的流程示意图；
[0023]图16是本申请某些实施方式的获取第二颜色中间图像像素的原理示意图；
[0024]图17是本申请某些实施方式的图像处理方法的流程示意图；
[0025]图18是本申请某些实施方式中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，用于图像传感器，其特征在于，所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素及多个彩色感光像素，所述彩色感光像素包括具有不同光谱响应的第一颜色感光像素、第二颜色感光像素及第三颜色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，且所述第一颜色感光像素及所述第三颜色感光像素均具有比所述第二颜色感光像素更窄的光谱响应，每个所述最小重复单元包含多个子单元，每个所述子单元包括至少一个单颜色感光像素及至少一个全色感光像素；所述图像处理方法包括：获取所述像素阵列曝光得到的原始图像，所述原始图像包括彩色图像像素及全色图像像素；根据同一个所述子单元内的所有所述彩色图像像素获取彩色图像，并根据同一个所述子单元内的所有全色图像像素获取全色图像，所述彩色图像中的图像像素呈拜耳阵列排布；对所述彩色图像中的第一颜色图像像素、第二颜色图像像素、及第三颜色图像像素进行分离处理以获取第一颜色初始图像、第二颜色初始图像及第三颜色初始图像，并根据所述第一颜色初始图像及所述第三颜色初始图像对所述第二颜色初始图像进行图像处理，以获得全排列的第二颜色中间图像；根据所述全色图像对所述第二颜色中间图像进行处理，以获得第二颜色目标图像；处理所述第二颜色目标图像及所述第一颜色初始图像以获取全排列的第一颜色目标图像，及处理所述第二颜色目标图像及所述第三颜色初始图像以获取全排列的第三颜色目标图像。2.根据权利要求1所述的图像处理方法，其特征在于，彩色初始图像中的图像像素包括彩色图像像素及空像素，所述空像素的像素值为零；根据所述第一颜色初始图像及所述第三颜色初始图像对所述第二颜色初始图像进行图像处理，以获得第二颜色中间图像，包括：若待更新的所述图像像素为所述第二颜色图像像素，则将所述第二颜色图像像素的原像素值作为待更新的所述图像像素更新后的所述第二颜色中间图像像素的像素值；若所述第一颜色初始图像中与待更新的所述图像像素对应的位置为所述第一颜色图像像素，则根据所述第一颜色初始图像对所述第二颜色初始图像进行插值处理，以获取待更新的所述图像像素更新后的所述第二颜色中间图像像素的像素值；若所述第三颜色初始图像中与待更新的所述图像像素对应的位置为所述第三颜色图像像素，则根据所述第三颜色初始图像对所述第二颜色初始图像进行插值处理，以获取待更新的所述图像像素更新后的所述第二颜色中间图像像素的像素值。3.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述全色图像对所述第二颜色中间图像进行处理，以获得第二颜色目标图像包括：若所述全色图像中与所述第二颜色中间图像中待更新的第二颜色中间图像像素对应的全色图像像素过曝，则将待更新的所述第二颜色中间图像像素的原像素值作为更新后的第二颜色目标图像像素的像素值；若所述全色图像中与所述第二颜色中间图像中待更新的所述第二颜色中间图像像素对应的全色图像像素未过曝，则根据所述全色图像及所述第二颜色中间图像计算待更新的第二颜色中间图像像素更新后的第二颜色目标图像像素的像素值。
4.根据权利要求3所述的图像处理方法，其特征在于，根据所述全色图像及所述第二颜色中间图像计算待更新的第二颜色中间图像像素更新后的像素值并作为第二颜色目标图像像素的像素值，包括：在所述第二颜色中间图像中选取以待更新的所述第二颜色中间图像像素为中心的第一窗口，并在所述全色图像中选取与所述第一窗口对应的第二窗口，所述第二窗口中心处的所述全色图像像素与待更新的第二颜色中间图像像素对应并定义为映射的全色图像像素；根据所述第一窗口中获取第一矩阵，所述第一矩阵中与所述第一窗口中第二颜色中间图像像素对应位置的取值均记为预设数值；根据映射的全色图像像素的像素值、第二窗口中所有全色图像像素的像素值、所述第一矩阵及预设的权重函数获取第二矩阵；及根据映射的全色图像像素的像素值、所述第一窗口中所有第二颜色中间图像像素的像素值、所述第二窗口中所有全色图像像素的像素值、所述第二矩阵，获取待更新的所述第二颜色中间图像像素更新后的所述第二颜色目标图像像素的像素值。5.根据权利要求4所述的图像处理方法，其特征在于，所述第一窗口与所述第二窗口中的图像像素均呈M*M排列，M为奇数，所述第一矩阵呈M*M排列。6.根据权利要求4所述的图像处理方法，其特征在于，所述根据映射的全色图像像素的像素值、第二窗口中所有全色图像像素的像素值、所述第一矩阵及预设的权重函数获取第二矩阵，包括：将所述第二窗口中全色图像像素的矩阵排布映射为所述第二矩阵的阵列排布；根据所述第二窗口中每个全色图像像素的像素值及映射的全色图像像素的像素值获取所述第二矩阵中与该全色图像像素对应位置的偏差值；根据所述偏差值、预设函数及第一矩阵中相同位置的取值，获取所述第二矩阵中该对应位置的取值。7.根据权利要求4所述的图像处理方法，其特征在于，所述根据映射的全色图像像素的像素值、所述第一窗口中所有图像像素的像素值、所述第二窗口中所有全色图像像素的像素值、所述第二矩阵，获取待更新的所述第二颜色中间图像像素更新后的所述第二颜色目标图像像素的像素值，包括：根据所述第一窗口中所有第二颜色中间图像像素的像素值形成的第一窗口矩阵及所述第二矩阵计算第一加权值，根据所述第二窗口中所有全色图像像素的像素值形成的第二窗口矩阵及所述第二矩阵计算第二加权值；根据映射的全色图像像素的像素值、所述第一加权值及所述第二加权值获取待更新的所述第二颜色中间图像像素更新后的所述第二颜色目标图像像素的像素值。8.根据权利要求1所述的图像处理方法，其特征在于，处理所述第二颜色目标图像及所述第一颜色初始图像以获取全排列的第一颜色目标图像，及处理所述第二颜色目标图像及所述第三颜色初始图像以获取全排列的第三颜色目标图像，包括：根据所述第二颜色目标图像对所述第一颜色初始图像进行双边滤波处理以获取所述第一颜色目标图像，根据所述第二颜色目标图像对所述第三颜色初始图像进行双边滤波处理以获取所述第三颜色目标图像。
9.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括:对所述彩色图像做彩色图像处理以获取处理后的彩色图像，对所述全色图像做全色图像处理以获取处理后的全色图像；对处理后的所述彩色图像中的第一颜色图像像素、第二颜色图像像素、及第三颜色图像像素进行分离处理以获取第一颜色初始图像、第二颜色初始图像及第三颜色初始图像，并根据所述第一颜色初始图像及所述第三颜色初始图像对所述第二颜色初始图像进行图像处理，以获得全排列的第二颜色中间图像；根据处理后的所述全色图像对所述第二颜色中间图像进行处理，以获得第二颜色目标图像。10.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括:根据所述第一颜色...

【专利技术属性】
技术研发人员：杨鑫，李小涛，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：