操作设备以捕捉高动态范围图像制造技术

本发明专利技术的一些实施例提供了一种操作设备以捕捉高动态范围（HDR）场景的图像的方法。当进入HDR模式时，该方法就以第一曝光水平捕捉多张图像并加以存储。当接收到捕捉所述HDR场景的命令时，该方法以第二曝光水平捕捉第一图像。该方法从捕捉到的多张图像中选取第二图像。该方法合成所述第一和第二图像以产生捕捉所述HDR场景的合成图像。在一些实施例中，该方法以多个不同的曝光水平捕捉多张图像。

【技术实现步骤摘要】
【国外来华专利技术】操作设备以捕捉高动态范围图像
技术介绍
近年来，数码相机作为独立设备和作为更复杂设备例如蜂窝电话、智能电话、其他移动计算设备等的部件业已迅猛发展。随着这种迅猛发展，制造商已经快速增加在这些设备上的数码相机的技术特征。例如，很多移动设备如今通常包括五百万像素的相机，这对于产生高品质图像往往是需要的。不幸地，即使这种相机的技术规格已经被改进，但是由于这些相机的图像处理能力尚无法与其改进的硬件能力相匹配，因此这些相机往往不能捕捉和产生高品质的图像。例如，很多相机如今仍然不能很好地捕捉和产生具有高动态范围(HDR)的图像。HDR场景的经典示例是白天在室内站在窗户前面的人。捕捉这种场景的很多相机产生具有亮背景的图像，并且具有不能显示人的所有特征的暗前景。由移动设备的相机(例如，由电话的相机)捕捉这种HDR场景的问题由这种相机所采用的较小的图像传感器加剧。专利技术概述本专利技术的一些实施例提供了一种捕捉和产生具有高动态范围的图像的移动设备。为了捕捉和产生高动态范围图像，一些实施例的移动设备包括新颖的图像捕捉和处理模块。在一些实施例中，所述移动设备通过如下产生高动态范围(HDR)图像(1)使其图像捕捉模块以不同图像曝光持续时间快速捕捉连续图像；和(2)使其图像处理模块合成这些图像以产生所述HDR图像。为了快速捕捉连续的图像，一些实施例的图像捕捉模块采取两个动作。首先，在移动设备进入其HDR模式之后或者在其进入图像捕捉模式(下文也称为相机模式)之后，其开始以特定帧速率捕捉图像。在一些实施例中，帧速率为15帧每秒(fps)。在其他实施例中，初始帧速率在不同的光照条件 下是不同的(例如，对于正常光照条件为15fps，对于较暗的条件为IOfps,等等)。这种帧速率使相机能够以当前光照条件的正常曝光设定来捕捉图像(S卩，使相机能够利用图像捕捉模块计算作为当前光照条件的正常曝光持续时间来捕捉每张图像)。图像捕捉模块将其以特定帧速率捕捉的每张图像存储在该设备的帧缓冲器中。在一些实施例中，捕捉模块以循环方式写入帧缓冲器，循环方式在缓冲器达到其最大存储容量时允许模块删除较后存储的帧之前的较早存储的帧。其次，当移动设备进入高动态范围(HDR)模式时，图像捕捉模块计算对于相机捕捉图像的光照条件(下文称为当前光照条件)下用于捕捉曝光不足图像和曝光过度图像的曝光持续时间。本专利技术的不同实施例采用不同的技术计算曝光过度图像和曝光不足图像的持续时间。例如，一些实施例基于设备以特定帧速率捕捉的正常曝光图像的直方图来计算曝光过度图像和曝光不足图像的持续时间。在设备进入其HDR模式之后，该设备会被指示(例如，由设备的用户、由设备上的定时器、由远程用户或定时器、等等)以拍摄HDR图像。当设备被指示以拍摄HDR图像时，一些实施例的图像捕捉模块随后以快速连续的方式捕捉两张图像。一张图像为其基于先前对当前光照条件所计算的曝光过度持续时间捕捉的曝光过度图像，而另一张图像为其基于先前对当前光照条件所计算的曝光不足持续时间捕捉的曝光不足图像。在不同的实施例中，图像捕捉模块以不同的顺序捕捉曝光过度图像和曝光不足图像(例如，一些实施例首先捕捉曝光过度图像，而其他实施例首先捕捉曝光不足图像)。除了捕捉曝光过度和曝光不足图像以外，图像捕捉模块还检索其早先以正常曝光持续时间捕捉且存储在其帧缓冲器中的图像。该模块向图像处理模块提供三张图像中的每一张。在一些实施例中，图像捕捉模块提供相机捕捉图像的颜色空间中的三张图像。例如，一些实施例的图像捕捉模块在Y’ CbCr (亮度、蓝色色度、和红色色度)颜色空间中捕捉和提供这些图像。一些实施例在执行各种图像编辑操作之前将相机的Y’CbCr (亮度，luma)图像反伽玛校正为YCbCr (辉度、蓝色色度、红色色度)图像，并且随后将所得到的YCbCr (辉度，luminance)图像伽玛校正为Y，CbCr (亮度)图像。图像处理模块随后执行两个操作。第一操作是使所有三张图像彼此对齐，这是由于相机在其捕捉三张图像期间可能已经移动。不同的实施例不同地执行这种对齐。例如，为了使两张图像对齐，一些实施例执行试图确认两张图像中的匹配特征的分层搜索。为了确认匹配特征，一些实施例仅检查两张图像的亮度分量(例如，用于Y’ CbCr颜色空间的Y’ -通道分量)。图像的亮度分量在本文有时也被称为“亮度图像”或“图像”。两张亮度图像在每个方向上以某一因数(例如，二)抽取若干次(例如，六次)，直到若干对的亮度图像被确认为止。每对亮度图像用于执行在分层搜索中的不同级别下的搜索。在每个级别，为每张亮度图像生成位图(例如，通过使用该级别的中位亮度值以基于像素是否大于或小于该中位值而生成I或0的像素值)。在每个级别，至少一张位图被划分为若干分块(tile)，其中每个分块包含若干像素。分块用来确认在另一位图中的对应的匹配分块，并且由此确认在两张位图之间的偏移。在一些实施例中，在分块包含仅白色像素、仅黑色像素、小于白色像素的阈值、或小于黑色像素的阈值的情况下，一些所述分块中的被丢弃。这些分块是不具有能够用来与其他分块相匹配的足够数量的特征(例如，边缘)的分块。这些分块被丢弃以加快比较分块并由此确认在两对位图之间的偏移的处理。基于剩下的分块，以各种不同的偏移比较所述两张位图，以确认使在该分层的当前分辨率水平下的两张位图最佳对齐的偏移。如果分层的当前分辨率水平不是该分层的最高分辨率水平，则一些实施例的图像处理模块随后使用针对该分层当前分辨率水平的算出的偏移作为在该分层的下一级别中的搜索起点。在该下一级别，模块再次生成用于该分层级别的两张不同亮度图像的两张位图，并在随后搜索起始于针对该搜索规定的起点处的偏移。在两张图像的亮度分量的分层比较中，在该分层的最高级别下确认的偏移是两张图像之间的偏移。一旦图像处理模块已经确定在一张图像(例如，正常曝光图像)与其他图像(例如，曝光过度图像和曝光不足图像)中的每一张之间的这一偏移，其就使用这些偏移以使三张图像对齐。例如，在一些实施例中，图像处理模块使用这两个偏移来裁剪三张图像，使得它们全都仅包括同一场景的重叠部分。作为替换，代替裁剪所有三张图像，一些实施例仅仅裁剪曝光过度和曝光不足图像，并且对于这些图像的经裁剪的部分，使用来自正常曝光图像的数据生成合成HDR图像。此外，代替裁剪图像，其他实施例可以使用其他操作(例如，它们可以确认图像的并集)以解决在图像中的非重叠区域。一些实施例不裁剪而是替代地重复边缘像素。由于在图像之间的偏移通常较小，因此重复边缘像素得到可接受的结果。此外，色度通常为Y’CbCr的4:2:2或4:2:0格式。这意味着色度的采样不同于亮度。在4:2: 2，色度为亮度的水平尺寸的一半，而在4:2: 0，色度为亮度的水平尺寸的一半和竖直尺寸的一半。因此，当对齐各图像时，一些实施例基于这一格式调节色度的矢量。在对齐各图像之后，图像处理模块执行其第二操作，该第二操作是三张对齐图像的合成以产生合成的HDR图像。在不同的实施例中，图像处理模块使用不同的技术来合成三张图像。例如，一些实施例通过执行用于这些图像的亮度通道的、与用于这些图像的色度通道不同的操作集合成三张图像。此外，在生成HDR合成图像时，一些实施例可能产生超过期望值范围的亮度值本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.07.05 US 61/361,516;2010.07.06 US 61/361,525;1.一种捕捉图像的设备的非暂态机器可读介质，所述介质存储在由至少一个处理单元执行时捕捉高动态范围(HDR)场景的图像的程序，所述程序包括用于以下的指令集 以第一曝光水平捕捉并存储多张图像； 当接收到捕捉所述HDR场景的命令时，就以第二曝光水平捕捉第一图像并以第三曝光水平捕捉第二图像； 从所捕捉的多张图像中选取第三图像；以及 合成第一、第二和第三图像以产生捕捉所述HDR场景的合成图像。2.如权利要求1所述的机器可读介质，其中从多张图像中选取第三图像的指令集包括从所述多张图像中选取在接收到捕捉所述HDR场景的命令之前刚被捕捉到的图像的指令集。3.如权利要求1所述的机器可读介质，其中从多张图像中选取第三图像的指令集包括从所述多张图像中选取如下图像的指令集(i)在接收到捕捉所述HDR场景的命令之前的一时间段内捕捉的图像；和(ii)当所述设备移动小于阈值时所捕捉的图像。4.如权利要求3所述的机器可读介质，其中所述设备具有在多个不同时刻产生与所述设备的运动相关的多个不同值的电路，其中所述阈值的量与由所述电路产生的所述值相关。5.如权利要求3所述的机器可读介质，其中所述设备具有在多个不同时刻产生与所述设备的运动相关的多个不同值的电路，其中选取所述图像的指令集包括用于以下的指令集 对于由所述电路产生的多个值中的每一个，计算表达所述设备在一时刻的运动的运动参数； 将在所述时间段内捕捉的所述图像中的每一张与一运动参数相关联； 基于在所述时间段内捕捉的每张图像的每个运动参数与所述阈值的量的比较，将在所述时间段内捕捉到的一张图像选取作为第三图像。6.如权利要求1所述的机器可读介质，其中从多张图像中选取第三图像的指令集包括选取所述多张图像中的最清晰图像的指令集。7.如权利要求6所述的机器可读介质，其中所述设备具有在多个不同时刻产生与所述设备的运动相关的多个不同值的电路，其中所述多张图像中的最清晰图像是在一时刻捕捉到的图像，所述电路在该时刻产生的值指示所述设备在该时刻移动最少。8.如权利要求6所述的机器可读介质，其中所述程序还包括对以第一曝光水平捕捉并存储的一组图像中的每一张执行数字信号处理的指令集，其中所述多张图像中的最清晰图像是具有最高频含量的图像。9.如权利要求1所述的机器可读介质，其中第一曝光水平是正常曝光水平，第二和第三曝光水平中的一个是曝光不足水平，并且第二和第三曝光水平中的另一个是曝光过度水平。10.如权利要求1所述的机器可读介质，其中第一曝光水平是曝光过度水平，第二和第三曝光水平中的一个是正常曝光水平，并且第二和第三曝光水平中的另一个是曝光不足水平。11.如权利要求1所述的机器可读介质，其中第一曝光水平是曝光不足水平，第二和第三曝光水平中的一个是正常曝光水平，并且第二和第三曝光水平中的另一个是曝光过度水平。12.如权利要求1所述的机器可读介质，其中所述程序还包括捕捉所述场景的光照条件的指令集，其中所述曝光水平基于所捕捉的光照条件。13.如权利要求12所述的机器可读介质，其中所述程序还包括根据所捕捉的光照条件计算第一曝光水平并根据第一曝光水平计算第二和第三曝光水平的指令集。14.如权利要求13所述的机器可读介质，其中第二图像曝光持续时间是第一图像曝光持续时间的第一倍数，而第三图像曝光持续时间是第一图像曝光持续时间的第二倍数。15.如权利要求14所述的机器可读介质，其中所述程序还包括基于所述多张图像中的至少一张的至少一个直方图计算第一倍数和第二倍数的指令集。16.如权利要求13所述的机器可读介质，其中捕捉光照条件的指令集包括分析所述多张图像中的至少一张以认定所述光照条件的指令集。17.如权利要求13所述的机器可读介质，其中捕捉光照条件的指令集包括分析由所述设备的电路产生的、量化所述光照条件的信号的指令集。18.如权利要求1所述的机器可读介质，其中捕捉所述多张图像的指令集包括用于以下的指令集 当进入HDR模式时，就捕捉所述多张图像并且在接收到所述HDR捕捉命令之前将所述多张图像中的每一张存储在设备的存储装置中；以及 当进入所述HDR模式时，计算第二和第三曝光水平并且在接收到所述HDR捕捉命令时就通知所述设备的控制器准备以所述第二和第三曝光水平捕捉第二和第三图像。19.一种捕捉图像的设备的非暂态机器可读介质，所述介质存储在由至少一个处理单元执行时捕捉高动态范围(HDR)场景的图像的程序，所述程序包括用于以下的指令集 当进入HDR模式时，就捕捉多张图像并且分析所述图像以确定第一、第二和第三曝光水平中的至少一个； 当接收到捕捉所述HDR场景的命令时，以所述第一曝光水平捕捉第一图像，以所述第二曝...

【专利技术属性】
技术研发人员：G·科泰，G·M·约翰逊，J·E·欧尔四世，
申请(专利权)人：苹果公司，
类型：
国别省市：