一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法技术

本发明专利技术公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法，属于微光夜视成像和图像处理技术领域。采用基于灰度世界假设的四通道自动白平衡算法估计光源色，根据各通道像素最大值对各通道图像进行亮度拉伸，考虑到彩色夜视噪声分布，恢复光源色温引起的图像色偏；将R、G、B、W各颜色分量拓展到非线性空间，通过设计损失函数和回归方法，利用标准光源下的色卡参考值和白平衡校正图像中的色卡样本值训练求解CCM参数使损失函数最小化，得到色彩校正后的图像。本发明专利技术能够提高RGBW彩色夜视设备输出色彩的显现度、饱和度和自然度，扩充适用范围，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。提高人眼观察舒适度。提高人眼观察舒适度。

【技术实现步骤摘要】
一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法


[0001]本专利技术涉及一种彩色夜视设备色彩增强方法，尤其涉及一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法，属于微光夜视成像和图像处理


技术介绍

[0002]近年来，基上片上RGBW彩色滤光阵列(Color Filter Array,CFA)的固态彩色成像技术逐渐向低照度方向扩展。这一类成像设备以高性能CCD/CMOS作为核心成像部件，具有结构紧凑的优势，从增大进光量的角度拓展成像设备的最低工作照度，相比基于传统拜尔阵列的彩色设备亮度和信噪比明显提升，更加适用于低于1lx照度的应用场景，在智能手机、军用彩色夜视仪摄像机传感器系统、夜间导航等低照度彩色成像产品中具有广泛的应用。
[0003]在RGBW CFA彩色夜视设备中，亮度W通道对应的像素装有全通滤光片，保持黑白探测器的可见光+近红外光谱响应，RGB通道像素在保留原有RGB通道光谱的基础上，拓展近红外的光谱响应，增加目标场景辐射的接收，有效提升低照度成像的图像亮度。然而彩色夜视设备直接输出的源图像色彩不符合人眼观察习惯，有几方面原因：(a)场景光源色温差异导致成像设备各通道光谱能量分布不平衡，各色彩分量响应强度不同，引起源图像色彩的整体偏移；(b)成像设备光谱响应曲线偏离CIE 1931XYZ标准观察者光谱三刺激值曲线，导致源图像色彩与标准色彩存在差异；(c)成像设备近红外光谱响应部分(780
‑
1100nm)对可见光部分(380
‑
780nm)的颜色分量进行干扰，引入非线性的色彩偏移模型，反映到最终成像的色彩饱和度下降，图像看起来黯淡，与正常照度下人眼观察的色彩存在较大差异；(d)设备源色彩和标准色彩无法保证在同一光源和同一照度下获取，不同颜色空间的色彩分量不满足线性变换关系，令相机中常用的线性颜色校正矩阵(Color Correction Matrix,CCM)算法不再适用。
[0004]由于上述原因，传统彩色夜视设备的色彩增强方法不再适用于新型RGBW滤光阵列的彩色夜视设备，需要针对图像信号处理(Image Signal Processing,ISP)模块的色彩增强算法特殊设计，以提高输出图像的色彩质量，最终符合人眼的观察习惯。具体而言，ISP模块的色彩增强分为两阶段：(a)自动白平衡。指为消除光源色温的影响、恢复色彩的整体偏移、提高色彩的显现度而对彩色成像系统进行先验地色彩增强，旨在提高色彩的显现度；(b)颜色校正。指针对成像色彩与标准色彩存在差异、近红外波段信息(780
‑
1100nm)使色彩饱和度下降等问题进行进一步的色彩增强，旨在提高色彩的饱和度和自然度。考虑到RGBW彩色夜视系统引入亮度W通道，应在色彩增强方法设计中充分利用四通道色彩分量；同时考虑到彩色夜视系统在低照度下工作时滤光片和CMOS灵敏度的限制，需将夜视图像噪声分布纳入考虑，实现具有鲁棒性的亮度增强。基于新型RGBW滤光阵列的彩色夜视设备的色彩增强方法成为近年来国际上的重要研究方向之一。

技术实现思路

[0005]本专利技术公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法要解决的技术问题为：针对基于RGBW滤光阵列的彩色夜视设备成像过程和色彩模型，通过四通道自动白平衡算法恢复光源色温引起的图像色偏，实现具有鲁棒性的亮度增强，提高色彩显现度，通过非线性颜色校正矩阵(CCM)实现颜色校正，提高色彩的饱和度和自然度，克服传统彩色夜视设备的色彩增强方法不再适用于基于RGBW滤光阵列的彩色夜视设备的缺陷，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。
[0006]本专利技术的目的是通过下述技术方案实现的：
[0007]本专利技术公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法，针对基于RGBW滤光阵列的彩色夜视设备成像过程和色彩模型，采用基于灰度世界假设的四通道自动白平衡算法估计光源色，并根据源图像中各通道像素最大值对各通道图像进行亮度拉伸，考虑到彩色夜视噪声分布，恢复光源色温引起的图像色偏，实现具有鲁棒性的亮度增强；将R、G、B、W各颜色分量拓展到特定的非线性空间，通过设计损失函数和回归方法，利用标准光源下的色卡参考值和白平衡校正图像中的色卡样本值训练求解CCM参数使损失函数最小化，得到色彩校正后的图像。本专利技术能够提高RGBW彩色夜视设备输出色彩的显现度、饱和度和自然度，克服传统彩色夜视设备的色彩增强方法不再适用于基于RGBW滤光阵列的彩色夜视设备的缺陷，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。
[0008]本专利技术公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法，包括如下步骤：
[0009]步骤1：根据彩色夜视设备R、G、B、W各通道源图像R0、G0、B0、W0，采用基于灰度世界假设的四通道自动白平衡算法估计光源色，并根据源图像中各通道像素最大值对各通道图像进行亮度拉伸，得到白平衡校正后的图像R1、G1、B1、W1，考虑到彩色夜视噪声分布，恢复光源色温引起的图像色偏，实现具有鲁棒性的亮度增强，提高RGBW彩色夜视设备输出色彩的显现度，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。
[0010]步骤1
‑
1：根据彩色夜视设备R、G、B、W各通道源图像R0、G0、B0、W0，得到各通道的平均灰度值
[0011][0012]其中(i,j)代表图像中的像素位置，用坐标形式表示，其中，i＝0,1,
…
,M
‑
1；j＝0,1,
…
,N
‑
1，一副数字图像由M
×
N个像素点组成，M、N分别为图像的高度、宽度。
[0013]步骤1
‑
2：根据步骤1
‑
1得到的彩色夜视设备R、G、B、W各通道的平均灰度值1得到的彩色夜视设备R、G、B、W各通道的平均灰度值得到各通道的白平衡系数α、β、γ、ζ。
[0014][0015]其中为最大的R、G、B、W各通道的平均灰度值。
[0016]步骤1
‑
3：根据彩色夜视设备R、G、B、W各通道源图像R0、G0、B0、W0，计算各通道中的像素最大值R
max
、G
max
、B
max
、W
max
，并得到亮度拉升系数ρ。
[0017]对于x bit图像，考虑到彩色夜视设备实际应用中场景图像常常存在噪声和过曝区域，在计算各通道源图像中的像素最大值R
max
、G
max
、B
max
、W
max
时，去掉最大灰度级2
x
–
1，计算各通道图像的直方统计T
Ry
、T
Gy
、T
By
、T
Wy
(y＝0,1,2,
…
,2
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法，其特征在于：包括如下步骤，步骤1：根据彩色夜视设备R、G、B、W各通道源图像R0、G0、B0、W0，采用基于灰度世界假设的四通道自动白平衡算法估计光源色，并根据源图像中各通道像素最大值对各通道图像进行亮度拉伸，得到白平衡校正后的图像R1、G1、B1、W1，考虑到彩色夜视噪声分布，恢复光源色温引起的图像色偏，实现具有鲁棒性的亮度增强，提高RGBW彩色夜视设备输出色彩的显现度，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度；步骤2：根据步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1，取R1、G1、B1、W1中的色卡样本值R
1k
、G
1k
、B
1k
、W
1k
(k＝1,2,
…
,n，n代表色卡非灰度色块的数量)，将各颜色分量拓展到非线性空间；已知标准光源下色卡参考值R'
k
、G'
k
、B'
k
(k＝1,2,
…
,n，n代表色卡非灰度色块的数量)，通过设计损失函数和回归方法，训练求解CCM参数使损失函数最小化，得到色彩校正后的图像R2、G2、B2，并合成彩色图像，提高RGBW彩色夜视设备输出色彩的饱和度和自然度，克服传统彩色夜视设备的色彩增强方法不适用于基于RGBW滤光阵列的彩色夜视设备的缺陷，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。2.如权利要求1所述的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法，其特征在于：步骤一实现方法为，步骤1
‑
1：根据彩色夜视设备R、G、B、W各通道源图像R0、G0、B0、W0，得到各通道的平均灰度值值其中(i,j)代表图像中的像素位置，用坐标形式表示，其中，i＝0,1,
…
,M
‑
1；j＝0,1,
…
,N
‑
1，一副数字图像由M
×
N个像素点组成，M、N分别为图像的高度、宽度；步骤1
‑
2：根据步骤1
‑
1得到的彩色夜视设备R、G、B、W各通道的平均灰度值1得到的彩色夜视设备R、G、B、W各通道的平均灰度值得到各通道的白平衡系数α、β、γ、ζ；其中为最大的R、G、B、W各通道的平均灰度值；步骤1
‑
3：根据彩色夜视设备R、G、B、W各通道源图像R0、G0、B0、W0，计算各通道中的像素最大值R
max
、G
max
、B
max
、W
max
，并得到亮度拉升系数ρ；对于x bit图像，考虑到彩色夜视设备实际应用中场景图像常常存在噪声和过曝区域，在计算各通道源图像中的像素最大值R
max
、G
max
、B
max
、W
max
时，去掉最大灰度级2
x
–
1，计算各通道图像的直方统计T
Ry
、T
Gy
、T
By
、T
Wy
(y＝0,1,2,
…
,2
x
–
2)，即各通道中灰度级为y的像素数，从大到小遍历2
x
–
2～0灰度级，直到找到像素数量超过N的某个灰度级的像素集；R通道源图像R0中的像素最大值R
max
表示为，
G通道源图像G0中的像素最大值G
max
表示为，B通道源图像B0中的像素最大值B
max
表示为，W通道源图像W0中的像素最大值W
max
表示为，得到亮度拉升系数ρ，步骤1
‑
4：根据彩色夜视设备R、G、B、W各通道源图像R0、G0、B0、W0，步骤1
‑
2得到的白平衡系数α、β、γ、ζ以及步骤1
‑
3得到的亮度拉升系数ρ，对各通道图像进行白平衡恢复和亮度拉伸，得到白平衡校正的各通道图像R1、G1、B1、W1，恢复光源色温引起的图像色偏，实现具有鲁棒性的亮度增强，提高RGBW彩色夜视设备输出色彩的显现度，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度；3.如权利要求2所述的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法，其特征在于：步骤2实现方法为，步骤2
‑
1：根据步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1，取R1、G1、B1、W1中的色卡样本值R
1k
、G
1k
、B
1k
、W
1k
(k＝1,2,
…
,n，n代表色卡非灰度色块的数量)，引入R
1k
、G
1k
、B
1k
、W
1k
的非线性项以及它们的组合项，将各颜色分量拓展到非线性空间，合成一组n个输入样本颜色矢量P
k
...

【专利技术属性】
技术研发人员：金伟其，王海琳，韩正昊，李力，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：