从单拍摄HDR彩色图像传感器生成HDR图像制造技术

一种用于从双曝光时间单拍摄高动态范围(HDR)彩色图像传感器生成HDR彩色图像的方法包括：获得由图像传感器的传感器像素的局部区域生成的像素值；根据与第一颜色相关联的像素值确定局部区域的运动参数；以及对局部区域的像素值去马赛克，以针对三种颜色中的每一种颜色确定图像像素的输出值，其中根据运动参数将短曝光时间像素和长曝光时间像素对输出值的相对贡献加权。一种用于从三曝光时间单拍摄HDR彩色图像传感器生成HDR彩色图像的方法包括：根据短曝光时间像素值和中等曝光时间像素值生成第一双曝光时间HDR图像；根据中等曝光时间像素值和长曝光时间像素值生成第二双曝光时间HDR图像；以及根据第一和第二双曝光时间HDR图像生成三曝光时间HDR彩色图像。间HDR图像生成三曝光时间HDR彩色图像。间HDR图像生成三曝光时间HDR彩色图像。

【技术实现步骤摘要】
从单拍摄HDR彩色图像传感器生成HDR图像
[0001]本申请是于2020年11月30日进入中国国家阶段的申请号为201980036715.3、专利技术名称为“从单拍摄HDR彩色图像传感器生成HDR图像”的中国专利技术专利申请的分案申请。
[0002]相关申请的交叉引用
[0003]本申请要求于2018年6月7日提交的美国临时专利申请号62/681,789和于2018年6月7日提交的欧洲专利申请号18176403.6以及于2019年4月23日提交的美国临时专利申请号62/837,361的优先权权益，所述专利申请通过引用以其全文结合于此。


[0004]本申请涉及高动态范围成像。

技术介绍

[0005]大多数手持相机设备(如智能手机)利用位深度为8位或可能10位的图像传感器。对于许多场景，这样的位深度不足以同时捕获场景中的最亮区和最暗区。例如，当拍摄背光人物的照片时，人物的脸部可能会出现曝光不足，或者替代性地，较亮的背景可能会出现曝光过度。
[0006]高动态范围(HDR)成像功能试图克服这个问题。在典型方法中，HDR数码相机捕获同一场景的两个图像：一个图像的曝光时间较短以获得场景中明亮部分的良好图像数据，而另一个图像的曝光时间较长以获得场景中较暗部分的良好图像数据。将这两个图像缩放到公共比例并组合，以产生场景的同时恰当地描绘较亮场景部分和较暗场景部分的单个HDR图像。这种HDR成像在许多情况下都效果很好，并且HDR成像功能已经成为如智能手机等许多设备的标准特征。然而，短曝光和长曝光是在不同时间记录的，所述不同时间之间至少存在全帧读出过程，并且因此，当场景不是静态场景时，图像组合经常产生不期望的伪影。如果对象在短曝光与长曝光之间移动，则在严重的情况下，HDR图像可能会示出移动对象的偏移重复图像，或者在不太严重的情况下示出移动对象的边缘伪影。
[0007]为了消除HDR图像中的运动伪影，业界开发了所谓的“单拍摄”HDR图像传感器，所述单拍摄HDR图像传感器可以在单次拍摄中实现更亮和更暗的曝光。一类单拍摄图像传感器将大像素和小像素整合在同一像素阵列中。小像素比更大的像素收集的光少。因此，小像素与大像素之间的尺寸差提供了与使用短曝光时间和长曝光时间的动态范围益处相似的动态范围益处。不幸的是，这种双尺寸图像传感器的像素布局显著增加了制造复杂性。另一种类型的单拍摄HDR图像传感器的像素尺寸全部相同，但是对一些像素应用短曝光时间而对其他像素应用长曝光时间。由于这两种不同类型像素的曝光在时间上是重叠的而不是完全分开的，因此这种设计大大减少了运动伪影。
[0008]然而，即使这两种不同类型像素的曝光时间重叠，运动的存在仍然可能不利地影响所记录图像的质量。在这种情况下，运动可能是例如由于借助于图像传感器记录的任何移动对象的移动或者由于图像传感器本身的移动而导致的。无论具有长曝光时间的像素传感器和具有短曝光时间的像素传感器是在重叠的时间间隔期间还是非重叠的时间间隔期
间记录的，所得图像都可能由于像素传感器的不同曝光时间而不同。因此，可以认为本文档的目标是提供一种用于基于短曝光像素值和长曝光像素值生成图像的改进的图像生成方法。更具体地，本文档的目标是提供一种用于双曝光时间单拍摄图像传感器的改进的图像生成方法，其中，所述方法对运动具有稳健性。
[0009]US 2015062368(A1)描述了一种具有图像传感器的电子设备，所述图像传感器捕获长曝光像素值的行与短曝光像素值的行交错的交错图像。电子设备中的处理电路可以(在空间上)将交错图像划分成多个仓(bin)。处理电路可以生成每个仓的加权长曝光像素值和每个仓的加权短曝光像素值。每个仓中的加权长曝光值和加权短曝光值可以组合在一起，以生成所述仓的装仓高动态范围(HDR)像素值。处理电路可以将由装仓HDR像素值形成的装仓HDR图像输出至附加电路，如视频处理电路，以用于执行附加图像处理操作。如果期望，则图像传感器和处理电路可以组合成生成单个装仓HDR像素值的集成结构，并且可以使用多个集成结构。US 2014152694(A1)描述了一种生成高动态范围(HDR)图像的方法。所述方法包括：捕获场景的长曝光图像和短曝光图像；基于像素位置的像素值和饱和度阈值计算长曝光图像的每个像素位置的合并权重；以及以长曝光图像和短曝光图像中的对应像素值的加权和计算HDR图像的每个像素位置的像素值，其中，应用于短曝光图像的像素位置的像素值的权重和应用于像素长曝光图像中的像素位置的像素值的权重基于针对像素位置计算的合并权重并响应于长曝光图像和短曝光图像的场景中的运动来确定。

技术实现思路

[0010]在实施例中，一种用于从双曝光时间单拍摄高动态范围(HDR)彩色图像传感器生成运动补偿HDR彩色图像的方法包括：获得由所述双曝光时间单拍摄HDR彩色图像传感器的相应传感器像素的局部区域生成的像素值。所述局部区域对应于所述运动补偿HDR彩色图像的图像像素的位置。对于三种不同颜色中的每一种颜色，所述局部区域的传感器像素包括对相应颜色敏感的多个短曝光时间像素和多个长曝光时间像素。所述方法还包括：(a)根据与第一颜色相关联的所述短曝光时间像素和所述长曝光时间像素的所述像素值确定用于所述局部区域的运动参数，以及(b)对所述局部区域的所述像素值去马赛克，以针对每种颜色根据所述短曝光时间像素和所述长曝光时间像素确定所述图像像素的输出值，其中，根据所述运动参数将所述短曝光时间像素和所述长曝光时间像素对所述输出值的相对贡献进行加权。
[0011]在实施例中，一种用于从双曝光时间单拍摄高动态范围(HDR)彩色图像传感器生成运动补偿HDR彩色图像的产品包括：在非暂态存储器中编码的机器可读指令。所述指令包括数据选择指令，所述数据选择指令当由处理器执行时取得由所述双曝光时间单拍摄HDR彩色图像传感器的相应传感器像素的局部区域生成的像素值。所述局部区域对应于所述运动补偿HDR彩色图像的图像像素的位置。对于三种不同颜色中的每一种颜色，所述局部区域的传感器像素包括对相应颜色敏感的多个短曝光时间像素和多个长曝光时间像素。所述指令还包括：(a)运动指令，所述运动指令当由所述处理器执行时根据与第一颜色相关联的所述短曝光时间像素和所述长曝光时间像素的所述像素值确定用于所述局部区域的运动参数，以及(b)去马赛克指令，所述去马赛克指令当由所述处理器执行时对所述局部区域的所述像素值去马赛克，以针对每种颜色根据所述短曝光时间像素和所述长曝光时间像素确定
所述图像像素的输出值，其中，根据所述运动参数将所述短曝光时间像素和所述长曝光时间像素对所述输出值的相对贡献进行加权。
[0012]在实施例中，一种方法被配置成从具有多个短曝光时间像素、多个中等曝光时间像素和多个长曝光时间像素的三曝光时间单拍摄高动态范围(HDR)彩色图像传感器生成HDR彩色图像。所述方法包括：(I)根据(a)来自所述短曝光时间像素的短曝光时间像素值与(b)来自所述中等曝光时间像素的中等曝光时间像素值的第一组合生成第一双曝光时间HDR图像；(II)根据(a本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于从具有多个短曝光时间像素、多个中等曝光时间像素和多个长曝光时间像素的三曝光时间单拍摄高动态范围HDR彩色图像传感器生成HDR彩色图像的方法，所述方法包括：根据(a)来自所述短曝光时间像素的短曝光时间像素值和(b)来自所述中等曝光时间像素的中等曝光时间像素值的第一组合生成第一双曝光时间HDR图像；根据(a)来自所述中等曝光时间像素的中等曝光时间像素值和(b)来自所述长曝光时间像素的长曝光时间像素值的第二组合生成第二双曝光时间HDR图像；以及根据所述第一双曝光时间HDR图像和所述第二双曝光时间HDR图像生成三曝光时间HDR彩色图像。2.如权利要求1所述的方法，生成所述第一双曝光时间HDR图像的步骤包括：至少部分地基于所述短曝光时间像素值与所述中等曝光时间像素值之间的视差程度和所述中等曝光时间像素值的饱和度，将所述短曝光时间像素值和所述中等曝光时间像素值对所述第一组合的相对贡献进行局部加权；以及生成所述第二双曝光时间HDR图像的步骤包括：至少部分地基于所述中等曝光时间像素值与所述长曝光时间像素值之间的视差程度和所述长曝光时间像素值的饱和度，将所述中等曝光时间像素值和所述长曝光时间像素值对所述第二组合的相对贡献进行局部加权。3.如权利要求2所述的方法，生成所述三曝光时间HDR彩色图像的步骤包括：至少部分地基于以下各项中的至少一项将所述第一双曝光时间HDR图像和所述第二双曝光时间HDR图像对所述三曝光时间HDR彩色图像的相对贡献进行局部加权：(i)所述短曝光时间像素值与所述中等曝光时间像素值之间的视差程度和(ii)所述中等曝光时间像素值与所述长曝光时间像素值之间的视差程度。4.如权利要求2所述的方法，生成所述三曝光时间HDR彩色图像的步骤包括：根据所述三曝光时间HDR彩色图像的一个或多个质量度量的局部优化来融合所述第一双曝光时间HDR图像和所述第二双曝光时间HDR图像。5.如权利要求4所述的方法，局部融合的步骤包括：仅根据所述局部优化设定所述第一双曝光时间HDR图像和所述第二双曝光时间HDR图像对所述三曝光时间HDR彩色图像的相对贡献，而不考虑以下各项中的任一项：(i)所述短曝光时间像素值与所述中等曝光时间像素值之间的视差程度和(ii)所述中等曝光时间像素值与所述长曝光时间像素值之间的视差程度。6.如权利要求4所述的方法，局部融合的步骤包括：缩放所述第一双曝光时间HDR图像和所述第二双曝光时间HDR图像中的至少一个，以使所述第一双曝光时间HDR图像和所述第二双曝光时间HDR图像处于公共比例；以及以动态范围涵盖所述第一双曝光时间HDR图像和所述第二双曝光时间HDR图像中的每一个图像的动态范围来生成所述三曝光时间HDR彩色图像。7.如权利要求4所述的方法，所述一个或多个质量度量包括对比度、饱和度和良好曝光度中的至少一个。8.如权利要求2所述的方法，还包括：在生成所述第一双曝光时间HDR图像的步骤中并且在包括于其中的将相对贡献进行局
部加权的步骤之前，对所述短曝光时间像素值和所述中等曝光时间像素值进行去噪；以及在生成所述第二双曝光时间HDR图像的步骤中并且在包括于其中的将相对贡献进行局部加权的步骤之前，对所述中等曝光时间像素值和所述长曝光时间像素值进行去噪。9.如权利要求1所述的方法，还包括：将所述中等曝光时间像素值和所述长曝光时间像素值与低于饱和度标准进行比较；如果局部区域被表征为一个或多个中等曝光时间像素值未满足所述低于饱和度标准，则：(i)在生成所述第一双曝光时间HDR图像的步骤中，仅根据所述短曝光时间像素值生成用于所述局部区域的所述第一双曝光时间HDR图像，以及(ii)在生成所述三曝光时间HDR彩色图像的步骤中，仅根据所述第一双曝光时间HDR图像生成用于所述局部区域的所述三曝光时间HDR彩色图像；以及如果局部区域被表征为一个或多个长曝光时间像素值未满足所述低于饱和度标准，并且所述局部区域的每个中等曝光时间像素值满足所述低于饱和度标准，则：(i)在生成所述第二双曝光时间HDR图像的步骤中，仅根据所述中等曝光时间像素值生成用于所述局部区域的所述第二双曝光时间HDR图像。10.如权利要求1所述的方法，所述第一双曝光时间HDR图像和所述第二双曝光时间HDR图像中的每一个由与至少三种不同颜色相关联的双HDR像素值的马赛克构成，生成所述三曝光时间HDR彩色图像的步骤包括：根据所述第一双曝光时间HDR图像和所述第二双曝光时间HDR图像产生中间三曝光时间HDR图像，所述中间三曝光时间HDR图像由与所述至少三种不同颜色相关联的三HDR像素值的马赛克构成；以及对所述中间三曝光时间HDR图像去马赛克以生成所述三曝光时间HDR彩色图像。11.如权利要求1所述的方法，所述三曝光时间单拍摄HDR彩色图像传感器包括相同的4
×
4像素块的阵列，每个4
×
4像素块由以下各项构成：对第一颜色的光敏感的一个第一颜色2
×
2像素组、对第二颜色的光敏感的两个第二绿色2
×
2像素组和对第三颜色的光敏感的一个第三颜色2
×
2像素组，所述2
×
2像素组中的每一个包括所述短曝光时间像素之一、所述中等曝光时间像素中的两个和所述长曝光时间像素之一；所述方法包括：执行生成所述第一双曝光时间HDR图像的步骤，使得(i)所述2
×
2像素组中的每一个由所述第一双曝光时间HDR图像的正好一个像素值表示，并且(ii)所述第一双曝光时间HDR图像由2
×
2像素块构成，所述2
×
2像素块具有与所述第一颜色相关联的一个像素值、与所述第二颜色相关联的两个像素值以及与所述第三颜色相关联的一个像素值，以及至少在所述中等曝光时间像素满足低于饱和度标准的情况下，执行生...

【专利技术属性】
技术研发人员：李粤龙，J，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：