融合图像系统中的场景运动校正技术方案

本公开涉及融合图像系统中的场景运动校正。公开了通过稳定图像捕获装置捕获和融合场景的短曝光图像和长曝光图像的技术。更具体地，公开的技术不仅使用共同捕获的短曝光图像和长曝光图像之间的个体像素差异，而且使用长曝光图像中的遮挡区域(例如，长曝光图像中由于场景对象运动而导致表现出模糊的区域)的空间结构。用于体现长曝光图像的这个特征的新的手段是“空间差异图”。空间差异图可用于识别用于融合的短曝光图像和长曝光图像中的像素，在一个实施例中，可用于识别短曝光图像中的像素以过滤融合后的图像，从而减少输出图像中的视觉不连续。

【技术实现步骤摘要】

本公开设及融合图像系统中的场景运动校正。
技术介绍
设及减少与相机运动关联的图像模糊的运一大类技术可被称为"图像稳定"。实际 上，图像稳定的主要目标是减少因拍摄者在图像捕获期间不能消除他们的手部运动而造成 的相机抖动。图像稳定可用于双筒镜、静态照相机和摄像机、W及天文望远镜。在静态照相 机中，对于慢快口速度或者长焦距（摄远）镜头，相机抖动可能是尤其有问题的。对于摄像 机，相机抖动可能造成所记录的视频中可见的帖跳动。在天文装置中，随时间推移可能造成 对象的视位置改变的大气中的变化会加重镜头抖动问题。 例如可通过将相机安装到静止平台（例如，=脚架）或者通过专用图像捕获硬件 来提供图像稳定。采用后一种方式的装置通常被称为具有光学图像稳定（OIS)。理想上，图 像稳定会补偿所有相机运动，W便即使在长曝光时间下捕获时也产生场景的静态背景锐利 的图像。
技术实现思路
在一个实施例中，所公开的构思提供了一种使用图像稳定平台捕获场景的多个图 像的方法（至少一个图像具有短曝光时间并且至少一个图像具有长曝光时间）。可WW使 得在输出图像中静止和移动对象都被清楚地表示并且没有伪影的方式融合被捕获图像。一 种提供运种能力的设及捕获短-长-短（化巧突发图像序列的方法包括：基于第一短曝光 图像和第二短曝光图像确定第一空间差异图，W及根据该图确定指示场景内的对象的运动 量的运动值。如果运动值小于第一阔值（指示极少运动或没有运动）或大于第二阔值（指 示大量运动），则使用单个长曝光图像作为输出图像可W是恰当的。另一方面，如果运动值 介于两个指定阔值之间，则可融合两个短曝光图像（使用空间差异图）W产生减噪的短曝 光图像。接着，可将长曝光图像与减噪的短曝光图像融合（也使用空间差异图）W产生输 出图像。 另一种提供运种能力的设及捕获长-短-长化SL)突发图像序列的方法包括：通 过基于第一长曝光图像和短曝光图像之间的第一空间差异图融合第一长曝光图像和该短 曝光图像来产生第一中间图像，W及通过基于第二长曝光图像和该短曝光图像之间的第二 空间差异图融合第二长曝光图像和短曝光图像来产生第二中间图像。接着，可融合第一中 间图像和第二中间图像，W产生输出图像。如前，可W用第一中间图像和第二中间图像产生 空间差异图，并且在最终融合期间使用该空间差异图。 又一种提供运种能力的设及在融合期间强调图像中的某些区域（例如，赋予更多 权重）的方法包括：通过突发捕获获得多个图像，其中存在至少一个短曝光图像和至少一 个长曝光图像。一旦获得，使用所述图像中的至少一个（例如，短曝光图像）来识别对象。 示例对象包括人、人脸、宠物、马等。可通过加重短曝光图像中发现了被识别对象的那些区 域来指导融合过程。运样做的目的在于强调区域边缘，从而增加了区域特别锐利的机会。另一种方法通过在突发捕获序列期间捕获的任何数量的短图像和长图像的融合 期间使用空间差异图来综合化S和L化捕获序列二者。还公开了电子装置，W及存储有使得 电子装置中的一个或多个处理器或计算机执行描述的方法的指令的非暂态程序存储装置。【附图说明】[000引图1用流程图形式示出根据一个实施例的图像捕获操作。 图2用流程图形式示出根据一个实施例的空间差异图产生操作。 图3A和图3B示出根据一个实施例的差异图和空间差异图之间的差异。 W11] 图4A至图4C示出根据各种实施例的用于将短持续时间图像和长持续时间图像中 的像素组合的例示方法。 图5用流程图形式示出根据另一个实施例的空间差异图产生操作。 图6用流程图形式示出根据一个实施例的图像融合操作。 图7用流程图形式示出根据另一个实施例的图像融合操作。 图8用流程图形式示出根据一个实施例的短-长-短融合操作。 图9用流程图形式示出长-短-长融合操作。 图10用流程图形式示出融合操作受被检测对象（例如，人脸、马等）影响而产生 偏向的多图像图像捕获操作。 图11用流程图形式示出根据一个实施例的多功能电子装置。【具体实施方式】 本公开设及用于改进稳定图像捕获装置的图像捕获操作的系统、方法和计算机可 读介质。总体上，公开技术用于通过稳定图像捕获装置捕获并且融合场景的短曝光图像和 长曝光图像。更特别地，本文中公开的技术不仅使用了共同捕获的短曝光图像和长曝光图 像之间的个体像素差异（如现有技术的差异图），而且使用了短曝光图像和长曝光图像中 的遮挡（occluded)区域的空间结构。用于体现运个特征的新的手段是"空间差异图"。空 间差异图可用于识别用于融合的短曝光图像和长曝光图像中的像素，在一个实施例中，可 用于识别可被过滤W减少最终输出图像中的视觉不连续（模糊）的短曝光图像的像素。如 本文中使用的，术语"数字图像捕获装置"、"图像捕获装置"或更简单地"相机"意指能够捕 获数字图像（包括静态和视频序列）的任何仪器。 在下面的描述中，出于说明目的，阐述了众多具体细节，W提供对专利技术构思的彻底 理解。作为该描述的一部分，本公开的附图中的一些附图用框图或流程图的形式表现结构 和装置，W避免使本专利技术模糊。为了清晰，并没有描述实际实现方式的所有特征。此外，为了 可读性和指导目的，主要选择了本公开中使用的语言，并且可不选择运些语言来勾画或限 定专利技术主题、诉诸于确定此专利技术主题所需的权利要求。本公开中引用"一个实施例"或"实 施例"表示结合实施例描述的特定特征、结构或特性被包括在本专利技术的至少一个实施例中， 多处引用"一个实施例"或"实施例"不应该被理解为一定都是指同一实施例。 将理解，在任何实际实现方式的开发中（如在任何开发项目中），需要作出众多决 定来实现开发者的具体目标（例如，符合与系统和业务相关的限制），并且运些目标可随实 现方式而变化。还将理解，运种开发努力可能是复杂且耗时的，但却是普通技术人员在设计 具有本公开的益处的图像处理系统的实现方式时进行的常规工作。 参照图1，根据一个实施例的图像捕获操作100在图像捕获装置105捕获场景的多 个图像110 (框115)时开始。在一个实施例中，图像110包括序列为化或LS的一个短曝 光图像（被标明为"S")和一个稳定长曝光图像（被标明为"L")。例示性的短曝光时间 介于1/15秒和1/60秒之间，并且通常是基于场景的LUX等级进行选择的。在一个具体示 例中，可在曝光时间为30毫秒（ms)并且ISO为500的情况下捕获短曝光图像，而可在曝光 时间为250ms并且ISO为64的情况下捕获长曝光图像。在一些实施例中，在短曝光设置和 长曝光设置之间可存在f制光圈（f-stop)的限制（例如，2或3档光圈）。稳定长曝光图 像提供了场景的静态区域（即，没有出现场景对象运动的那些区域）的锐利表示。短曝光 图像捕获由移动对象造成的模糊显著减少（相比于长曝光图像）的场景的锐利但含噪的表 示。在另一个实施例中，图像110可包括序列为S-SL、LS…S、SLS或S-SLS…S的多个 短曝光图像W及稳定长曝光图像。在运些实施例中，可融合短曝光图像中的一些或全部，W 提供接着可根据本公开使用的单个减噪的短曝光图像。在又一个实施例中，图像110可包 括序列为诸如L…化…、S…化…S、レ??S'"L…的两个或更多个稳定长曝光图像和一个或多 个短曝光图像。在运种本文档来自技高网...

【技术保护点】
一种基于场景运动融合图像的方法，所述方法包括：获得场景的第一短曝光图像，之后紧接着获得所述场景的长曝光图像，之后紧接着获得所述场景的第二短曝光图像；基于所述第一短曝光图像和所述第二短曝光图像，确定第一空间差异图；基于所述第一空间差异图，确定指示所述场景中对象的运动量的运动值；当所述运动值小于第一阈值或大于第二阈值时，将所述长曝光图像指定为输出图像；当所述运动值大于或等于所述第一阈值且小于或等于所述第二阈值时，按照以下步骤来确定所述输出图像：基于所述第一短曝光图像和第二短曝光图像以及所述第一差异图，确定减噪的短曝光图像，以及基于所述减噪的短曝光图像和所述长曝光图像的组合，确定所述输出图像；以及将所述输出图像存储在存储器中。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：C·莫尔加德，M·蒂考，R·托伏特，P·M·胡渤，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US