非标准稀疏的色彩滤波阵列图像的处理方法和装置制造方法及图纸

本申请涉及一种非标准稀疏的色彩滤波阵列图像的处理方法和装置，其中，该方法包括：获取非标准稀疏的色彩滤波阵列图像；利用插值算法，基于色彩滤波阵列图像中APS像素位置的单通道颜色信息，重建APS像素位置的三通道颜色信息，并填充至色彩滤波阵列图像中APS像素的对应位置，得到至少三幅半彩阵列图像；基于半彩阵列图像的APS像素位置的三通道颜色信息，确定DVS像素处插值APS像素的插值方向图，以重建DVS像素位置的三通道颜色信息；并填充至色彩滤波阵列图像中DVS像素的对应位置，得到全彩图像。通过本申请解决了相关技术中不能实现非标准稀疏的色彩滤波阵列图像重建的问题，实现非标准稀疏的色彩滤波阵列图像重建，能够适用于常规的ISP算法。用于常规的ISP算法。用于常规的ISP算法。

【技术实现步骤摘要】
非标准稀疏的色彩滤波阵列图像的处理方法和装置
[0001]技术邻域
[0002]本申请涉及图像处理技术邻域，特别是涉及非标准稀疏的色彩滤波阵列图像的处理方法和装置。

技术介绍

[0003]动态视觉传感器(Dynamic Vision Sensor，DVS)是一种新型的视觉传感器，具有高速响应(可达上万赫兹)、大动态范围成像等优点，实现低数据量、低功耗的数据输出，解决传统相机CIS(Camera Image Sensor)帧率不够高、动态范围相应过小、丢帧、数据量过大导致算法臃肿等问题。由于DVS无法捕捉自然场景的精细纹理图像，因此提出了图像芯片视觉传感器，该图像芯片视觉传感器将传统APS(Active Pixel Vision Sensor)像素和新型DVS像素交叉排列，同时输出彩色CFA图像和DVS数据，实现输出大分辨率的RGB图像和event数据，保证高信噪比数据。该图像芯片视觉传感器，其上面覆盖有一层按Bayer方式排列的色彩滤波阵列，这种阵列使同一个像素点只能采样三种基色，即红R，绿G，蓝B中的一种，而另外两个颜色值则需要根据其邻域信息来插值，从而得到所需要的全彩色图像，这种处理为去马赛克。
[0004]现有的色彩滤波阵列图像去马赛克方法一般采用方向线性最小均方误差。该方法首先通过最小均方误差LMMSE将水平和竖直方向的颜色差值估计出来，然后通过混合方向加权得到最终的颜色差值信号，最终将各个通道的缺失像素值估计出来。但是由于DVS和APS是间隔分布，DVS像素输出的二值数据，不能为APS像素提供强度信息，使得APS像素排布是不连续的，导致上述方法无法估计DVS像素的三通道颜色，因此不能实现非标准稀疏的色彩滤波阵列图像的重建。
[0005]针对相关技术中不能实现非标准稀疏的色彩滤波阵列图像重建的问题，目前还没有提出有效的解决方案。

技术实现思路

[0006]在本实施例中提供了一种非标准稀疏的色彩滤波阵列图像的处理方法和装置，以解决相关技术中不能实现非标准稀疏的色彩滤波阵列图像重建的问题。
[0007]第一个方面，在本实施例中提供了一种非标准稀疏的色彩滤波阵列图像的处理方法，包括：
[0008]获取非标准稀疏的色彩滤波阵列图像，所述色彩滤波阵列图像包括APS像素、与所述APS像素交叉排列的DVS像素；
[0009]利用插值算法，基于所述色彩滤波阵列图像中所述APS像素位置的单通道颜色信息，重建所述APS像素位置的三通道颜色信息；
[0010]将重建的所述APS像素位置的三通道颜色信息填充至所述色彩滤波阵列图像中所述APS像素的对应位置，得到至少三幅半彩阵列图像；
[0011]基于所述半彩阵列图像的所述APS像素位置的三通道颜色信息，确定所述DVS像素
处插值APS像素的插值方向图，以重建所述DVS像素位置的三通道颜色信息；
[0012]将重建的所述DVS像素位置的三通道颜色信息填充至所述色彩滤波阵列图像中所述DVS像素的对应位置，得到全彩图像。
[0013]在其中的一些实施例中，在得到全彩图像之后，还包括：
[0014]对所述全彩图像进行降采样，得到标准拜耳阵列图像；所述标准拜耳阵列图像适用于ISP算法。
[0015]在其中的一些实施例中，所述利用插值算法，基于所述色彩滤波阵列图像中所述APS像素位置的单通道颜色信息，重建所述APS像素位置的三通道颜色信息，包括：
[0016]对所述色彩滤波阵列图像进行降采样，得到APS像素的第一拜耳阵列子图；
[0017]利用插值算法，基于所述APS像素位置的单通道颜色信息，对所述第一拜耳阵列子图中绿色通道缺失的像素进行评估，得到第一绿色通道图像；
[0018]利用插值算法，基于所述第一绿色通道图像对第一拜耳阵列子图中的红色通道缺失的像素进行双线性插值，得到第一红色通道图像；
[0019]利用插值算法，基于所述第一绿色通道图像对第一拜耳阵列子图中的蓝色通道缺失的像素进行双线性插值，得到第一蓝色通道图像；
[0020]根据所述第一绿色通道图像、第一红色通道图像以及第一蓝色通道图像，以重建所述APS像素位置的三通道颜色信息。
[0021]在其中的一些实施例中，所述利用插值算法，基于所述APS像素位置的单通道颜色信息，对所述第一拜耳阵列子图中绿色通道缺失的像素进行评估，得到第一绿色通道图像，包括：
[0022]基于所述APS像素位置的单通道颜色信息，确定所述第一拜耳阵列子图中绿色通道缺失像素的权重方向图；
[0023]利用插值公式，基于所述第一拜耳阵列子图中绿色通道缺失像素的权重方向图，对所述第一拜耳阵列子图中绿色通道缺失的像素进行插值，得到第一绿色通道图像。
[0024]在其中的一些实施例中，所述插值公式为：
[0025]g＝ω
V
g
V
+(1
‑
ω
V
)g
H
；
[0026]式中，g表示R/B处插值；g
V
表示垂直方向的插值；g
H
表示水平方向的插值；ω
V
垂直方向的权重。
[0027]在其中的一些实施例中，所述基于所述APS像素位置的单通道颜色信息，确定所述第一拜耳阵列子图中绿色通道缺失像素的权重方向图，包括：
[0028]确定第一拜耳阵列子图中绿色通道缺失像素的梯度，并利用所述梯度确定APS像素的上、下、左、右四方向的初始权重；
[0029]利用插值图梯度方差，确定水平方向的和垂直方向的第一权重；
[0030]利用插值图色差方差，确定水平方向的和垂直方向的第二权重；
[0031]根据所述第一权重和第二权重，对所述初始权重的方向进行噪声判断，以确定所述第一拜耳阵列子图中绿色通道缺失像素的权重方向图。
[0032]在其中的一些实施例中，所述基于所述半彩阵列图像的所述APS像素位置的三通道颜色信息，确定所述DVS像素处插值APS像素的插值方向图，以重建所述DVS像素位置的三通道颜色信息，包括：
[0033]对所述半彩阵列图像进行降采样，得到DVS像素的第二拜耳阵列子图；
[0034]基于所述APS像素位置的三通道颜色信息，确定所述DVS像素的第二拜耳阵列子图中各通道缺失像素的权重方向图，以重建所述DVS像素位置的三通道颜色信息。
[0035]在其中的一些实施例中，所述重建所述DVS像素位置的三通道颜色信息，包括：
[0036]利用第一加权插值公式，基于所述DVS像素的第二拜耳阵列子图中绿色通道缺失像素的权重方向图，对所述第二拜耳阵列子图中绿色通道缺失的像素进行插值，得到第二绿色通道图像；
[0037]利用第二加权插值公式，基于所述DVS像素的第二拜耳阵列子图中红色通道缺失像素的权重方向图，对所述第二拜耳阵列子图中红色通道缺失的像素进行插值，得到第二红色通道图像；
[0038]利用第三加权插值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种非标准稀疏的色彩滤波阵列图像的处理方法，其特征在于，包括：获取非标准稀疏的色彩滤波阵列图像，所述色彩滤波阵列图像包括APS像素、与所述APS像素交叉排列的DVS像素；利用插值算法，基于所述色彩滤波阵列图像中所述APS像素位置的单通道颜色信息，重建所述APS像素位置的三通道颜色信息；将重建的所述APS像素位置的三通道颜色信息填充至所述色彩滤波阵列图像中所述APS像素的对应位置，得到至少三幅半彩阵列图像；基于所述半彩阵列图像的所述APS像素位置的三通道颜色信息，确定所述DVS像素处插值APS像素的插值方向图，以重建所述DVS像素位置的三通道颜色信息；将重建的所述DVS像素位置的三通道颜色信息填充至所述色彩滤波阵列图像中所述DVS像素的对应位置，得到全彩图像。2.根据权利要求1所述的非标准稀疏的色彩滤波阵列图像的处理方法，其特征在于，在得到全彩图像之后，还包括：对所述全彩图像进行降采样，得到标准拜耳阵列图像；所述标准拜耳阵列图像适用于ISP算法。3.根据权利要求1所述的非标准稀疏的色彩滤波阵列图像的处理方法，其特征在于，所述利用插值算法，基于所述色彩滤波阵列图像中所述APS像素位置的单通道颜色信息，重建所述APS像素位置的三通道颜色信息，包括：对所述色彩滤波阵列图像进行降采样，得到APS像素的第一拜耳阵列子图；利用插值算法，基于所述APS像素位置的单通道颜色信息，对所述第一拜耳阵列子图中绿色通道缺失的像素进行评估，得到第一绿色通道图像；利用插值算法，基于所述第一绿色通道图像对第一拜耳阵列子图中的红色通道缺失的像素进行双线性插值，得到第一红色通道图像；利用插值算法，基于所述第一绿色通道图像对第一拜耳阵列子图中的蓝色通道缺失的像素进行双线性插值，得到第一蓝色通道图像；根据所述第一绿色通道图像、第一红色通道图像以及第一蓝色通道图像，以重建所述APS像素位置的三通道颜色信息。4.根据权利要求3所述的非标准稀疏的色彩滤波阵列图像的处理方法，其特征在于，所述利用插值算法，基于所述APS像素位置的单通道颜色信息，对所述第一拜耳阵列子图中绿色通道缺失的像素进行评估，得到第一绿色通道图像，包括：基于所述APS像素位置的单通道颜色信息，确定所述第一拜耳阵列子图中绿色通道缺失像素的权重方向图；利用插值公式，基于所述第一拜耳阵列子图中绿色通道缺失像素的权重方向图，对所述第一拜耳阵列子图中绿色通道缺失的像素进行插值，得到第一绿色通道图像。5.根据权利要求4所述的非标准稀疏的色彩滤波阵列图像的处理方法，其特征在于，所述插值公式为：g＝ω
V
g
V
+(1
‑
ω
V
)g
H
；式中，g表示R/B处插值；g
V
表示垂直方向的插值；g
H
表示水平方向的插值；ω
V
垂直方向的权重。
6.根据权利要求4所述的非标准稀疏的色彩滤波阵列图像的处理方法，其特征在于，所述基于所述APS像素位置的单通道颜色信息，确定所述第一拜耳阵列子图中绿色通道缺失像素的权重方向图，包括：确定第一拜耳阵列子图中绿色通道缺失像素的梯度，并利用所述梯度确定APS...

【专利技术属性】
技术研发人员：韩江涛，杨力林，蒋坤君，李程辉，
申请(专利权)人：舜宇光学浙江研究院有限公司，
类型：发明
国别省市：