Bayer图像的高亮恢复装置、方法及系统制造方法及图纸

本发明专利技术公开了Bayer图像的高亮恢复装置、方法及系统，涉及图像处理技术领域。所述装置包括连接白平衡增益控制模块的高亮控制模块，被配置为：对于每帧图像，获取各颜色通道的白平衡增益，比较各颜色通道的白平衡增益以确定最大增益值；以及获取预定的RAW域数据位宽范围，根据最高位宽值和最大增益值计算得到高亮区最大值；以及获取预设的高亮区最小值后结合高亮区最大值确定映射曲线，将白平衡增益控制模块输出的乘完白平衡增益的各颜色通道数据按照该映射曲线进行映射后，得到高亮压缩后各颜色通道数据。本发明专利技术能够校正因白平衡处理后高亮区过曝导致的细节丢失和偏色问题，具有简单易于实现、调试灵活且副作用少的特征。调试灵活且副作用少的特征。调试灵活且副作用少的特征。

【技术实现步骤摘要】
Bayer图像的高亮恢复装置、方法及系统


[0001]本专利技术涉及图像处理
，尤其涉及一种Bayer图像的高亮恢复装置、方法及系统。

技术介绍

[0002]RAW格式图像是图像传感器(即Image Sensor，比如CMOS或者CCD图像传感器)将捕捉到的光源信号转化为数字信号的原始数据(RAW的原意就是“未经加工”)，是无损的，包含了物体原始的颜色信息等。彩色滤波阵列(Color Filter Array，简称CFA)是图像传感器上方覆盖的一层滤波阵列覆盖层，用于采集图像的色彩信息。一般的光电传感器只能感应光的强度，不能区分光的波长，因此图像传感器需要通过彩色滤波阵列来获取像素点上的色彩信息，其中最常见的是Bayer Filter(拜耳滤波器)，它提供了关于红色波长区域、绿色波长区域和蓝色波长区域中光强度的信息，图像传感器通过Bayer Filter获得像素点上的红色(Red)、绿色(Green)和蓝色(Blue)光的强度信息，再依据色彩还原算法推算像素点的色值，得到的图像称为RGB Bayer图像或者Bayer图像。以数码相机为例，Bayer图像就是数码相机内部的原始图片，一般后缀名为.RAW。通常，图像系统具有图像处理流水线(ISP pipeline，或称Image Signal Processing pipeline)，该图像处理流水线(ISP pipeline)能够对RAW格式图像执行多种图像处理操作以生成可被显示在显示设备(例如监视器)上以供观看的全彩图像。
[0003]在ISP pipeline算法中，通过自动白平衡(Auto White Balance，简称AWB)处理可以解决色彩还原和色调处理的一系列问题——白平衡的目的就是让物体从在不同光源下所呈现出来的颜色，恢复到物体的固有色，以达到减少色偏或者无色偏的效果。由于ISP pipeline涉及大量的数据和严格的实时性要求，所以ISP(图像信号处理器)通常采用硬件方案实现。在采用专用硬件处理ISP流水线时，为了省硬件资源，每一个数据的存储通常都有位宽限制，比如ISPPipeline算法中会根据硬件资源配置RAW数据位宽范围。
[0004]白平衡算法为全局域算法，对传感器输出的三个颜色通道数据(包括R通道、G通道和B通道)上分别乘以一个增益系数，这三个增益系数即被定义为白平衡增益(AWB gain)；对图像施加了白平衡增益后，图像即获得了正常的白平衡——即通过白平衡增益对该图像进行补偿，得到其在标准白光下的显示效果。然而，对于图像中的较高亮区域，在经过白平衡处理后，可能因乘完白平衡增益值而导致超出ISP Pipeline定义的RAW数据位宽范围。对于超出定义的位宽范围的数据，通常处理方式为截位(Clipping，或称裁切)处理，把超出范围内的数据一并截位成最高位宽的定义值。作为举例，比如配置的图像源数据的最高位宽为12bit(比特)，对应的图像亮度范围为[0，4095]，当某个高亮区域经过白平衡增益处理后的亮度值超过4095时，溢出4095的亮度值都会被截位为4095(可以采用的亮度最高值)，参见图1所示，此时该高亮区域具有统一的亮度值，会导致高亮区细节丢失(发生过曝)和图像颜色偏色，作为举例，比如截位处理可能会导致图像中的天空呈现紫色，且丢失原有云彩等细节。
[0005]针对图像高亮区域细节丢失的现象，现有技术中提出了高亮恢复技术，高亮恢复技术就是指通过在图像的截位区域中恢复颜色信息来校正高亮裁切的技术。现有的高亮恢复技术中，常用的主要有以下三种方法。
[0006]第一种是采用基于双色反色模型的高光去除方法。双色反射模型认为图像是由漫反射分量与镜面反射分量组成。在非均匀光照条件下，物体表面通常会出现块状的强反射区域，即为高光区域，该区域可以被认为是镜面反射分量。因此利用空域分析或颜色空间分析等方法去除镜面反射分量，从而获取去除高光区域的图像。
[0007]第二种是采用色调映射方法。色调映射方法是将HDR(High—DynamicRange，高动态范围图像)图像的亮度进行压缩，进而映射到LDR(Low
‑
Dynamic Range，低动态范围图像)显示设备的显示范围之内，同时，在映射的过程中要尽量保持原HDR图像的细节与颜色等重要信息。该算法能够将图像亮度进行压缩，包括图像的所有亮度范围都可以调整，能够保持图像细节与颜色。
[0008]第三种是颜色传播高亮恢复方法。为了执行颜色传播高亮恢复，将尚未被截位且与截位区域相邻的像素的颜色值被传播到截位区域，因此，未截位像素的颜色值旨在“渗出(bleed over)”以校正截位区域。颜色传播高亮恢复技术参考专利申请CN202080066899.0用于图像处理流水线的高亮恢复中的描述。
[0009]然而，前两种方法都是针对整幅图像的高光抑制算法，主要算法复杂度较高，运算时间较长，在RAW域的白平衡处理模块中难以适用；同时，由于高光抑制算法涉及整幅图像，会影响整幅图像的处理结果，无法做到仅调试高亮区，调试不够灵活。而第三种方法则要求图像处理器必须在存储器中保留多个像素值，对于每个截位区域，图像像素数据的光栅扫描顺序可能需要将整个截位区域缓存在SRAM中以便恢复该区域中截位像素的色调，这无疑会增加缓冲区大小，增加了硬件的大小、成本和复杂性。
[0010]综上所述，在恢复/校正因白平衡处理后的截位操作导致的高亮区域细节丢失及偏色问题时，如何根据数据位宽限制，针对高亮区过曝提供一种复杂度低易于实现、调试更灵活且副作用较少的高亮细节恢复装置，是当前亟需解决的技术问题。

技术实现思路

[0011]本专利技术的目的在于：克服现有技术的不足，提供了一种Bayer图像的高亮恢复装置、方法及系统。所述高亮恢复装置能够校正因白平衡处理后高亮区过曝导致的细节丢失和偏色问题，能较好地保持原有高亮区的细节，并使颜色过度更平滑，显著改善高亮区的偏色现象；同时，结合白平衡增益，可自适应调整每帧图像过曝区的亮度范围，保留原图最大亮度值的同比压缩。本专利技术具有简单易于实现、调试灵活且副作用少的特征，尤其适用于RAW域数据的白平衡处理。
[0012]为实现上述目标，本专利技术提供了如下技术方案：
[0013]一种Bayer图像的高亮恢复装置，包括高亮控制模块，所述高亮控制模块的输入端连接白平衡增益控制模块的输出端，具有R、G和B三个颜色通道的Bayer图像经白平衡增益控制模块进行白平衡增益处理后输入到前述高亮控制模块中；
[0014]所述高亮控制模块被配置为：对于每帧图像，获取R、G和B三个颜色通道的白平衡增益，比较R、G和B三个颜色通道的白平衡增益以确定最大增益值Max
gain
，令Max
gain
＝MAX
(R
gain
，G
gain
，B
gain
)，其中，R
gain
，G
gain
，B
gain
分别表示R、G和B本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种Bayer图像的高亮恢复装置，其特征在于：包括高亮控制模块，所述高亮控制模块的输入端连接白平衡增益控制模块的输出端，具有R、G和B三个颜色通道的Bayer图像经白平衡增益控制模块进行白平衡增益处理后输入到前述高亮控制模块中；所述高亮控制模块被配置为：对于每帧图像，获取R、G和B三个颜色通道的白平衡增益，比较R、G和B三个颜色通道的白平衡增益以确定最大增益值Max
gain
，令Max
gain
＝MAX(R
gain
,G
gain
,B
gain
)，其中，R
gain
，G
gain
，B
gain
分别表示R、G和B三个颜色通道的白平衡增益，MAX(
·
)表示返回最大数值的函数；以及，获取预定的RAW域数据位宽范围，根据最高位宽值对应的亮度值a和前述最大增益值Max
gain
计算得到高亮区最大值lum
max
，令lum
max
＝Max
gain
*a；以及，获取预设的高亮区最小值lum
min
，lum
min
∈[0,a]，将白平衡增益控制模块输出的乘完白平衡增益的三个颜色通道数据R
awb
、G
awb
和B
awb
按照对应的映射曲线进行映射后得到高亮压缩后的三个颜色通道数据R
output
、G
output
和B
output
，所述映射曲线如下：G
output
＝G
awb
；其中，2.根据权利要求1所述的Bayer图像的高亮恢复装置，其特征在于：所述高亮区最小值lum
min
由用户设置。3.根据权利要求1所述的Bayer图像的高亮恢复装置，其特征在于：所述RAW域数据位宽范围由ISP Pipeline定义，RAW域数据的最大位宽为8bit、10bit、12bit、14bit或16bit。4.根据权利要求1所述的Bayer图像的高亮恢复装置，其特征在于：对于每帧图像，在获取该帧图像多通道的白平衡增益后，同步根据所述白平衡增益自适应更新对应的高亮区最大值lum
max
。5.一种Bayer图像的高亮恢复装置，其特征在于：包括并联的截位模块和高亮控制模块，所述截位模块和高亮控制模块的输入端均连接白平衡增益控制模块的输出端；所述高亮恢复装置具有截位模式和高亮控制模式，在截位模式下，具有R、G和B三个颜色通道的Bayer图像经白平衡增益控制模块进行白平衡增益处理后输入到前述截位模块；在高亮控制模式，具有R、G和B三个颜色通道的Bayer图像经白平衡增益控制模块进行白平衡增益处理后输入到前述高亮控制模块；所述截位模块，用于获取Bayer图像的图像源数据位宽值，并根据前述图像源数据位宽值对白平衡增益处理后超出位宽范围的颜色通道的值做截位操作；所述高亮控制模块被配置为：对于每帧图像，获取R、G和B三个颜色通道的白平衡增益，比较R、G和B三个颜色通道的白平衡增益以确定最大增益值Max
gain
，令Max
gain
＝MAX(R
gain
,G
gain
,B
gain
)，其中，R
gain
，G
gain
，B
gain
分别表示R、G和B三个颜色通道的白平衡增益，MAX(
·
)表示返回最大数值的函数；以及，
获取预定的RAW域数据位宽范围，根据最高位宽值对应的亮度值a和前述最大增益值Max
gain
计算得到高亮区最大值lum
max
，令lum
max
＝Max
gain
*a；以及，获取预设的高亮区最小值lum
min
，lum
min
∈[0,a]，将白平衡增益控制模块输出的乘完白平衡增益的三个颜色通道数据R
awb
、G
awb
和B
awb
按照对应的映射曲线进行映射后得到高亮压缩后的三个颜色通道数据R
output
、G
output
和B
output
，所述映射曲线如下：G
output
＝G
awb
；其中，6.根据权利要求5所述的Bayer...

【专利技术属性】
技术研发人员：李香花，孙德印，何珊，朱钧，张子曼，
申请(专利权)人：眸芯科技上海有限公司，
类型：发明
国别省市：