图像处理方法及装置、系统、可读存储介质制造方法及图纸

一种图像处理方法及装置、系统、可读存储介质。所述方法包括：获取原始马赛克图像；所述原始马赛克图像来自第一图像传感器；对所述原始马赛克图像中的可见光像素执行插值操作，得到完整可见光图像，以及对所述原始马赛克图像中的近红外光像素执行插值操作，得到完整近红外光图像；将所述完整可见光图像及所述完整近红外光图像进行图像融合，得到融合图像；所述第一图像传感器的像素阵列中，一半像素为可见光像素，另一半像素为近红外光像素；在所述像素阵列的水平方向上，所述可见光像素与所述近红外光像素间隔排布，竖直方向上，所述可见光像素与所述近红外光像素间隔排布。采用上述方案，可以较低的成本得到高分辨率的融合图像。可以较低的成本得到高分辨率的融合图像。可以较低的成本得到高分辨率的融合图像。

【技术实现步骤摘要】
图像处理方法及装置、系统、可读存储介质


[0001]本专利技术涉及图像处理
，具体涉及一种图像处理方法及装置、系统、可读存储介质。

技术介绍

[0002]图像传感器主要通过捕获物体反射的光线来成像，大多数物体对可见光和近红外光拥有不同的反射特性。例如绿色植物、棉织物对近红外光的反射率高于对可见光的反射率。雪、水体对可见光的反射率高于对近红外光的反射率。另外，近红外光还具有透雾的特性。结合可见光与近红外光的差异，对二者所成的图像进行融合，使其优势互补，可以提高使用者对场景目标的识别能力。
[0003]现有近红外和可见光图像融合方案，主要通过以下两种方法实现：第一种是通过两个图像传感器实现，这种双图像传感器的缺点是结构复杂、成本高；第二种是在单图像传感器上制作红(R)、绿(G)、蓝(B)三种可见光像素及近红外光像素来实现，但由于这4种像素的比例较低，此方案得到的融合图像分辨率较低。
[0004]因此，如何以较低的成本得到高分辨率、适用于低照度的融合图像，成为亟待解决的问题。

技术实现思路

[0005]本专利技术要解决的问题是：以较低的成本得到高分辨率的融合图像。
[0006]为解决上述问题，本专利技术实施例提供了一种图像处理方法，所述方法包括：获取原始马赛克图像；所述原始马赛克图像来自第一图像传感器；对所述原始马赛克图像中的可见光像素执行插值操作，得到完整可见光图像，以及对所述原始马赛克图像中的近红外光像素执行插值操作，得到完整近红外光图像；将所述完整可见光图像及所述完整近红外光图像进行图像融合，得到融合图像；其中，所述第一图像传感器的像素阵列中，一半像素为可见光像素，另一半像素为近红外光像素；并且，在所述像素阵列的水平方向上，所述可见光像素与所述近红外光像素间隔排布；在所述像素阵列的竖直方向上，所述可见光像素与所述近红外光像素间隔排布。
[0007]本专利技术实施例还提供了一种图像处理装置，所述装置包括：获取单元，适于获取原始马赛克图像；所述原始马赛克图像来自第一图像传感器；插值单元，适于对所述原始马赛克图像中的可见光像素执行插值操作，得到完整可见光图像，以及对所述原始马赛克图像中的近红外光像素执行插值操作，得到完整近红外光图像；图像融合单元，适于将所述完整可见光图像及所述完整近红外光图像进行图像融合，得到融合图像；其中，所述第一图像传感器的像素阵列中，一半像素为可见光像素，另一半像素为近红外光像素；并且，在所述像素阵列的水平方向上，所述可见光像素与所述近红外光像素间隔排布；在所述像素阵列的竖直方向上，所述可见光像素与所述近红外光像素间隔排布。
[0008]本专利技术实施例还提供了一种图像处理系统，所述图像处理系统包括：第一图像传
感器，以及上述的图像处理装置；其中，所述第一图像传感器的像素阵列中，一半像素为可见光像素，另一半像素为近红外光像素；并且，在所述像素阵列的水平方向上，所述可见光像素与所述近红外光像素间隔排布；在所述像素阵列的竖直方向上，所述可见光像素与所述近红外光像素间隔排布；所述第一图像传感器适于向所述图像处理装置提供原始马赛克图像。
[0009]本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行，以实现上述方法的步骤。
[0010]本专利技术实施例还提供了一种图像处理装置，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述方法的步骤。
[0011]与现有技术相比，本专利技术实施例的技术方案具有以下优点：
[0012]应用本专利技术的方案，由于原始马赛克图像来自第一图像传感器，即使用单图像传感器来获得完整可见光图像及完整近红外光图像，可以有效降低成本。另外，由于第一图像传感器的像素阵列中，一半像素为可见光像素，另一半像素为近红外光像素，并且，在所述像素阵列的水平方向上，所述可见光像素与所述近红外光像素间隔排布，在所述像素阵列的竖直方向上，所述可见光像素与所述近红外光像素间隔排布，由此使得第一图像传感器的像素阵列中，可见光像素及近红外光像素间隔排布，且各占50％。由于第一图像传感器的像素阵列中可见光像素及近红外光像素所占的比例均较高，因此插值后的完整可见光图像和完整近红外光图像分辨率均较高，最终得到的融合图像的分辨率也较高。
附图说明
[0013]图1是一种图像传感器像素阵列上像素的分布示意图；
[0014]图2是本专利技术实施例中一种图像处理方法的流程图；
[0015]图3是本专利技术实施例中第一图像传感器像素阵列上像素的分布示意图；
[0016]图4是本专利技术实施例中一种图像处理过程的示意图；
[0017]图5是本专利技术实施例中一种图像融合过程的示意图；
[0018]图6是本专利技术实施例中对待插值像素执行插值操作的流程图；
[0019]图7是本专利技术实施例中一种第一图像块的示意图；
[0020]图8是本专利技术实施例中计算待插值像素平均水平梯度的过程示意图；
[0021]图9是本专利技术实施例中计算待插值像素平均竖直梯度的过程示意图；
[0022]图10是本专利技术实施例中一种具有密集交替纹理的图像示意图；
[0023]图11是本专利技术实施例中一种原始马赛克图像的示意图；
[0024]图12是本专利技术实施例中一种完整可见光图像的示意图；
[0025]图13是本专利技术实施例中一种完整近红外光图像的示意图；
[0026]图14是本专利技术实施例中一种RGB图像的示意图；
[0027]图15是本专利技术实施例中一种图像处理装置的结构示意图。
具体实施方式
[0028]目前已有的近红外和可见光图像融合技术主要分为两种：
[0029]第一种是通过两个图像传感器实现，其中一个可见光图像传感器用于拍摄可见光图像，另一个近红外光图像传感器用于拍摄近红外光图像。这种双图像传感器的缺点是结构复杂、成本高。
[0030]由于可见光和近红外光可以共用一个单图像传感器，因此另一种已有技术是在单图像传感器上制作RGB像素和近红外光(IR)像素，然后将RGB像素所成的可见光彩色图像与近红外光像素所成的近红外光图像进行融合，这一方法的缺点是R、G、B、IR这四种像素的比例都较低，通常都为25％，如图1所示，造成成像的分辨率显著下降，影响图像质量。
[0031]针对该问题，本专利技术提供了一种图像处理方法，应用所述方法，通过单图像传感器来获得完整可见光图像及完整近红外光图像，可以有效降低成本。另外，在第一图像传感器的像素阵列中，可见光像素及近红外光像素间隔排布且各占50％，因此插值后的完整可见光图像和完整近红外光图像分辨率均较高，最终得到的融合图像的分辨率也较高。另外，由于第一图像传感器中的可见光像素可以接收全部白光，因此比R、G、B像素具有更高的信噪比、从而更适用于低照度应用。另外，本专利技术在对原始马赛克图像进行插值时，不仅利用与待插值像素同类型的像素进行边缘方向判断，而且综合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取原始马赛克图像；所述原始马赛克图像来自第一图像传感器；对所述原始马赛克图像中的可见光像素执行插值操作，得到完整可见光图像，以及对所述原始马赛克图像中的近红外光像素执行插值操作，得到完整近红外光图像；将所述完整可见光图像及所述完整近红外光图像进行图像融合，得到融合图像；其中，所述第一图像传感器的像素阵列中，一半像素为可见光像素，另一半像素为近红外光像素；并且，在所述像素阵列的水平方向上，所述可见光像素与所述近红外光像素间隔排布；在所述像素阵列的竖直方向上，所述可见光像素与所述近红外光像素间隔排布。2.如权利要求1所述的图像处理方法，其特征在于，采用以下方法对所述原始马赛克图像中任一待插值像素执行插值操作，包括：计算所述待插值像素的水平梯度值及竖直梯度值；计算所述水平梯度值及竖直梯度值之间的第一差值；当所述第一差值的绝对值大于预设差值阈值时，按照边缘方向执行插值操作；当所述第一差值的绝对值小于或等于所述预设差值阈值时，计算所述待插值像素的平均竖直梯度值及平均水平梯度值，基于所述平均竖直梯度值及平均水平梯度值的大小，按照边缘方向执行插值操作；其中，所述待插值像素为可见光像素或近红外光像素。3.如权利要求2所述的图像处理方法，其特征在于，计算所述待插值像素的水平梯度值及竖直梯度值，包括：确定以所述待插值像素为中心的第一图像块，结合所述第一图像块内各可见光像素和近红外光像素，计算所述待插值像素的水平梯度值及竖直梯度值。4.如权利要求2所述的图像处理方法，其特征在于，所述当所述第一差值的绝对值大于预设差值阈值时，按照边缘方向执行插值操作，包括：当所述第一差值为正数时，判定当前边缘方向为竖直方向，并按照竖直方向执行插值操作；当所述第一差值为负数时，判定当前边缘方向为水平方向，并按照水平方向执行插值操作。5.如权利要求2所述的图像处理方法，其特征在于，所述计算所述待插值像素的平均竖直梯度值及平均水平梯度值，包括：确定以所述待插值像素为中心的第二图像块，结合所述第二图像块内各可见光像素和近红外光像素，计算所述待插值像素的平均竖直梯度值及平均水平梯度值。6.如权利要求5所述的图像处理方法，其特征在于，结合所述第二图像块内各可见光像素和近红外光像素，计算所述待插值像素的平均水平梯度值，包括：利用相互水平翻转对称的第一滤波器及第二滤波器，分别对所述第二图像块各像素进行逐像素对应相乘并求和操作，得到第一求和结果和第二求和结果；对所述第一求和结果和第二求和结果分别取绝对值后，再执行相加操作，得到第一相加结果；对所述第一相加结果执行归一化操作，得到所述待插值像素的平均水平梯度值；其中，所述第一滤波器及第二滤波器的大小，与所述第二图像块的大小相同。
7.如权利要求6所述的图像处理方法，其特征在于，所述第一滤波器及第二滤波器的系数，是基于所述第二图像块内每一列各像素出现的次数确定的。8.如权利要求6所述的图像处理方法，其特征在于，所述第一滤波器的系数为：所述第二滤波器的系数为：9.如权利要求5所述的图像处理方法，其特征在于，结合所述第二图像块内各可见光像素和近红外光像素，计算所述待插值像素的平均竖直梯度值，包括：利用相互竖直翻转对称...

【专利技术属性】
技术研发人员：陈炜，池国泉，
申请(专利权)人：锐芯微电子股份有限公司，
类型：发明
国别省市：