高动态范围图像处理系统及方法、电子设备和存储介质技术方案

本申请公开了一种高动态范围图像处理系统及方法、电子设备和计算机可读存储介质。高动态范围图像处理系统包括图像传感器、高动态融合单元和图像处理器。像素阵列以第一曝光时间曝光得到第一原始图像、以第二曝光时间曝光得到第二原始图像。图像处理器和高动态融合单元用于对第一原始图像和第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像。本申请实施方式的高动态范围图像处理系统及方法、电子设备和计算机可读存储介质通过控制像素阵列进行至少两次曝光，并根据不同的曝光时间和不同的感光像素生成多张图像，再对图像进行图像预处理、高动态范围处理、图像处理和融合算法处理，从而得到高动态范围的目标图像。

【技术实现步骤摘要】
高动态范围图像处理系统及方法、电子设备和存储介质
本申请涉及图像处理
，特别涉及一种高动态范围图像处理系统及方法、电子设备和计算机可读存储介质。
技术介绍
普通相机因受到动态范围的限制，不能记录极端亮或者暗的细节。尤其在拍摄场景的光比较大的时候，很容易出现过曝或者欠曝的情况。具有高动态范围(High-DynamicRange,HDR)功能的相机，在大光比情况下拍摄图像，无论是高光、暗位都能够具有比普通相机更佳的表现。具有高动态范围功能的一些高动态相机采用较高感光度的像素阵列，同时提高快门速度来减少曝光，以保存更多高光部分的细节；或者选取感光响应曲线呈对数形式的感光像素，致使感光像素达到光饱和的速度减慢，这对高动态相机的图像传感器的硬件参数提出较高要求，使得成本增加，设计难度增大，不利于产品的批量生产。
技术实现思路
本申请实施方式提供一种高动态范围图像处理系统及方法、电子设备和计算机可读存储介质。本申请实施方式提供的高动态范围图像处理系统包括图像传感器、高动态融合单元和图像处理器。所述图像传感器包括像素阵列。所述像素阵列包括多个全色感光像素和多个彩色感光像素。所述彩色感光像素具有比所述全色感光像素更窄的光谱响应。所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元。每个所述子单元包括多个单颜色感光像素及多个全色感光像素。所述像素阵列以第一曝光时间曝光得到第一原始图像。第一原始图像包括以第一曝光时间曝光的所述单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间曝光的所述全色感光像素生成的第一全色原始图像数据。所述像素阵列以第二曝光时间曝光得到第二原始图像。第二原始图像包括以第二曝光时间曝光的所述单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间曝光的所述全色感光像素生成的第二全色原始图像数据。其中，第一曝光时间不等于第二曝光时间。所述图像处理器和所述高动态融合单元用于对第一原始图像和第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像。本申请实施方式提供的高动态范围图像处理方法用于高动态范围图像处理系统。所述高动态范围图像处理系统包括图像传感器。所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素。所述彩色感光像素具有比所述全色感光像素更窄的光谱响应。所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元。每个所述子单元包括多个单颜色感光像素及多个全色感光像素。高动态范围图像处理方法包括：控制像素阵列进行至少两次曝光，其中，所述像素阵列以第一曝光时间曝光得到第一原始图像，第一原始图像包括以第一曝光时间曝光的所述单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间曝光的所述全色感光像素生成的第一全色原始图像数据；所述像素阵列以第二曝光时间曝光得到第二原始图像，第二原始图像包括以第二曝光时间曝光的所述单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间曝光的所述全色感光像素生成的第二全色原始图像数据；其中，第一曝光时间不等于第二曝光时间；和对第一原始图像和第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像。本申请实施方式提供的电子设备包括镜头、壳体及高动态范围图像处理系统。所述镜头、高动态范围图像处理系统与所述壳体结合。所述镜头与所述高动态范围图像处理系统的图像传感器配合成像。所述高动态范围图像处理系统包括图像传感器、高动态融合单元和图像处理器。图像传感器包括像素阵列。像素阵列包括多个全色感光像素和多个彩色感光像素。彩色感光像素具有比全色感光像素更窄的光谱响应。像素阵列包括最小重复单元，每个最小重复单元包含多个子单元。每个子单元包括多个单颜色感光像素及多个全色感光像素。像素阵列以第一曝光时间曝光得到第一原始图像。第一原始图像包括以第一曝光时间曝光的单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间曝光的全色感光像素生成的第一全色原始图像数据。像素阵列以第二曝光时间曝光得到第二原始图像。第二原始图像包括以第二曝光时间曝光的单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间曝光的全色感光像素生成的第二全色原始图像数据。其中，第一曝光时间不等于第二曝光时间。图像处理器、高动态融合单元用于对第一原始图像和第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像。本申请实施方式提供的包含计算机程序的非易失性计算机可读存储介质中，所述计算机程序被处理器执行时，使得所述处理器执行高动态范围图像处理方法。所述高动态范围图像处理方法用于高动态范围图像处理系统。所述高动态范围图像处理系统包括图像传感器、彩色高动态融合单元、全色高动态融合单元和图像处理器。图像传感器包括像素阵列，像素阵列包括多个全色感光像素和多个彩色感光像素。彩色感光像素具有比全色感光像素更窄的光谱响应。像素阵列包括最小重复单元，每个最小重复单元包含多个子单元。每个子单元包括多个单颜色感光像素及多个全色感光像素。像素阵列以第一曝光时间曝光得到第一原始图像。第一原始图像包括以第一曝光时间曝光的单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间曝光的全色感光像素生成的第一全色原始图像数据。像素阵列以第二曝光时间曝光得到第二原始图像。第二原始图像包括以第二曝光时间曝光的单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间曝光的全色感光像素生成的第二全色原始图像数据。其中，第一曝光时间不等于第二曝光时间。图像处理器、彩色高动态融合单元和全色高动态融合单元用于对第一原始图像和第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像。本申请实施方式的高动态范围图像处理系统及方法、电子设备和计算机可读存储介质通过控制像素阵列至少分别以第一曝光时间和第二曝光时间进行两次曝光，并且根据不同的曝光时间和不同的感光像素生成多张图像，以便后续对此多张图像进行图像预处理、高动态范围处理、图像处理和融合算法处理，从而得到具有高动态范围的目标图像。本申请实施方式的高动态范围图像处理系统及方法、电子设备和计算机可读存储介质在无需提高图像传感器的感光像素硬件参数的情况下，就能实现高动态范围功能，使得目标图像的亮处、暗位都能够具有更佳的表现，有利于提高成像性能的同时，有助于降低成本。附图说明本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：图1是本申请实施方式的高动态范围图像处理系统的示意图；图2是本申请实施方式的像素阵列的示意图；图3是本申请实施方式的感光像素的截面示意图；图4是本申请实施方式的感光像素的像素电路图；图5至图10是本申请实施方式的像素阵列中最小重复单元的排布示意图；图11至图13是本申请某些实施方式的图像传感器输出的原始图像的示意图；图14是本申请实施方式的像素阵列的示意图；图15至图17是本申请实施方式的像素补全处理的示意图；图18至图20是本申请实施方式的高动态本文档来自技高网...

【技术保护点】
1.一种高动态范围图像处理系统，其特征在于，包括图像传感器、高动态融合单元和图像处理器；/n所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素；/n所述像素阵列以第一曝光时间曝光得到第一原始图像，所述第一原始图像包括以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色原始图像数据和以所述第一曝光时间曝光的所述全色感光像素生成的第一全色原始图像数据；所述像素阵列以第二曝光时间曝光得到第二原始图像，所述第二原始图像包括以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色原始图像数据和以所述第二曝光时间曝光的所述全色感光像素生成的第二全色原始图像数据；其中，所述第一曝光时间不等于所述第二曝光时间；/n所述图像处理器和所述高动态融合单元用于对所述第一原始图像和所述第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像。/n

【技术特征摘要】
1.一种高动态范围图像处理系统，其特征在于，包括图像传感器、高动态融合单元和图像处理器；
所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素；
所述像素阵列以第一曝光时间曝光得到第一原始图像，所述第一原始图像包括以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色原始图像数据和以所述第一曝光时间曝光的所述全色感光像素生成的第一全色原始图像数据；所述像素阵列以第二曝光时间曝光得到第二原始图像，所述第二原始图像包括以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色原始图像数据和以所述第二曝光时间曝光的所述全色感光像素生成的第二全色原始图像数据；其中，所述第一曝光时间不等于所述第二曝光时间；
所述图像处理器和所述高动态融合单元用于对所述第一原始图像和所述第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像。


2.根据权利要求1所述的高动态范围图像处理系统，其特征在于，所述像素阵列以第三曝光时间曝光得到第三原始图像，所述第三原始图像包括以所述第三曝光时间曝光的所述单颜色感光像素生成的第三彩色原始图像数据和以所述第三曝光时间曝光的所述全色感光像素生成的第三全色原始图像数据；其中，所述第三曝光时间不等于所述第一曝光时间，所述第三曝光时间不等于所述第二曝光时间；
所述图像处理器、所述高动态融合单元用于对所述第一原始图像、所述第二原始图像和所述第三原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像。


3.根据权利要求1所述的高动态范围图像处理系统，其特征在于，所述图像处理器包括彩色预处理模块、全色预处理模块、彩色处理模块、全色处理模块和融合模块，所述图像预处理包括像素补全处理和去马赛克处理，所述图像处理包括第一图像处理和第二图像处理；其中：
所述彩色预处理模块用于对彩色原始图像数据进行像素补全处理，得到彩色原始图像；
所述全色预处理模块用于对全色原始图像数据进行去马赛克处理，得到全色原始图像；
所述彩色处理模块用于对所述彩色原始图像进行第一图像处理，得到彩色中间图像；
所述全色处理模块用于对所述全色原始图像进行第二图像处理，得到全色中间图像；
所述融合模块用于对所述彩色中间图像和所述全色中间图像进行融合算法处理得到所述目标图像。


4.根据权利要求3所述的高动态范围图像处理系统，其特征在于，在所述融合模块对所述彩色中间图像和所述全色中间图像进行融合算法处理得到所述目标图像之后：
所述高动态融合单元用于将至少两次曝光对应的所述目标图像融合得到高动态的所述目标图像。


5.根据权利要求3所述的高动态范围图像处理系统，其特征在于，所述高动态融合单元包括彩色高动态融合单元和全色高动态融合单元，在所述彩色预处理模块对彩色原始图像数据进行像素补全处理，得到彩色原始图像之前：
所述彩色高动态融合单元用于将至少两次曝光对应的所述彩色原始图像数据融合得到高动态的所述彩色原始图像数据；
在所述全色预处理模块对全色原始图像数据进行去马赛克处理，得到全色原始图像之前：
所述全色高动态融合单元用于将至少两次曝光对应的所述全色原始图像数据融合得到高动态的所述全色原始图像数据。


6.根据权利要求3所述的高动态范围图像处理系统，其特征在于，所述第一图像处理包括：
黑电平矫正处理、镜头阴影矫正处理、坏点补偿处理、去马赛克处理、色彩矫正处理、全局色调映射处理和色彩转换处理中的一个或多个；
所述第二图像处理包括：
所述黑电平矫正处理、所述镜头阴影矫正处理、所述坏点补偿处理和所述全局色调映射处理中的一个或多个。


7.根据权利要求6所述的高动态范围图像处理系统，其特征在于，所述第一图像处理包括第一图像子处理和第二图像子处理，所述彩色处理模块用于对所述彩色原始图像先进行第一图像子处理，再进行第二图像子处理，所述第一图像子处理包括：
黑电平矫正处理、镜头阴影矫正处理和坏点补偿处理中的一个或多个；
所述第二图像子处理包括：
去马赛克处理、色彩矫正处理、全局色调映射处理和色彩转换处理中的一个或多个。


8.根据权利要求4所述的高动态范围图像处理系统，其特征在于，所述高动态融合单元用于：
将至少两次曝光对应的所述目标图像进行亮度对齐处理，以得到亮度对齐的所述目标图像，再融合亮度对齐的所述目标图像及一张或多张所述目标图像以得到所述高动态的所述目标图像。


9.根据权利要求5所述的高动态范围图像处理系统，其特征在于，所述彩色高动态融合单元用于：
将至少两次曝光对应的所述彩色原始图像数据进行亮度对齐处理，以得到亮度对齐的所述彩色原始图像数据，再融合亮度对齐的所述彩色原始图像数据及一张或多张所述彩色原始图像数据以得到高动态的所述彩色原始图像数据；
所述全色高动态融合单元用于：
将至少两次曝光对应的所述全色原始图像数据进行亮度对齐处理，以得到亮度对齐的所述全色原始图像数据，再融合亮度对齐的所述全色原始图像数据及一张或多张所述全色原始图像数据以得到高动态的所述全色原始图像数据。


10.根据权利要求4或5所述的高动态范围图像处理系统，其特征在于，所述图像处理器还包括：
接收单元，所述接收单元用于接收所述彩色原始图像数据和所述全色原始图像数据；和
内存单元，所述内存单元用于暂存所述彩色原始图像数据、所述全色原始图像数据、所述彩色原始图像、所述全色原始图像、所述彩色中间图像、所述全色中间图像和所述目标图像中的一个或多个。


11.根据权利要求1所述的高动态范围图像处理系统，其特征在于，所述图像处理器包括彩色预处理模块和全色预处理模块，
所述图像预处理包括像素相加处理和去马赛克处理，所述彩色预处理模块用于对彩色原始图像数据进行像素相加处理，得到彩色原始图像，所述全色预处理模块用于对全色原始图像数据进行去马赛克处理，得到全色原始图像；或者
所述图像预处理包括像素求平均处理和去马赛克处理，所述彩色预处理模块用于对彩色原始图像数据进行像素求平均处理，得到彩色原始图像，所述全色预处理模块用于对全色原始图像数据进行去马赛克处理，得到全色原始图像。


12.根据权利要求1所述的高动态范围图像处理系统，其特征在于，所述高动态融合单元集成在所述图像传感器中；或所述高动态融合单元集成在所述图像处理器中。


13.一种高动态范围图像处理方法，用于高动态范围图像处理系统，其特征在于，所述高动态范围图像处理系统包括图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素；所述高动态...

【专利技术属性】
技术研发人员：杨鑫，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44