本发明专利技术描述了一种用于改善图像稳定性操作的系统、方法和计算机可读介质。公开了一种用于将一组共同捕获的图像中的非参考图像与预先选择的参考帧融合的新颖方法。该融合方法可通过使用针对鬼影/非鬼影像素的加权平均值来使用软过渡，以避免邻域和几乎相似像素之间的突然过渡。此外，可基于一组相邻像素而不是独立地针对每个像素来进行鬼影/非鬼影决策。替代方法可能涉及使用时间融合、时空融合或它们的组合在每个层级处对所有所捕获的图像执行多分辨率分解，以及组合不同层级以生成输出图像。
【技术实现步骤摘要】
【国外来华专利技术】【专利说明】
技术介绍
本公开整体涉及数字摄影领域。更具体地，但并非加以限制，本公开涉及静止图像 稳定化技术。如本文所使用，图像稳定化是指在图像捕获操作期间用于减少运动诱发的模 糊的一系列技术。此类运动可能源自相机、场景中的对象或两者的运动。 在低环境光条件下拍摄高质量照片，或者拍摄动态场景（例如，体育比赛场景）是 有挑战性的，这是因为在图像捕获期间的相机运动和/或场景内的对象的运动。减少运动 模糊而不放大图像噪声的一种方式是捕获并融合场景的多个短曝光图像。此类操作常常被 称为"静止图像稳定化"。尽管缩短图像曝光时间可减少运动模糊伪影，但这样做的代价是 图像噪声更大和/或图像更暗。 图像稳定化的一般方法由如下方面构成：（1)从一组多个短曝光图像选择参考图 像，（2)相对于参考图像来全局地配准所有非参考图像，以及（3)通过将所有所捕获的图像 融合为参考图像来合成输出图像。通过这种方式，输出图像代表了捕获参考图像时的场景 的样子，其中使用非参考图像通过对所有图像间的每个参考像素的多次观察进行平均/合 并来减少参考图像中的噪声。 通过将所有所配准的非参考图像融合为参考图像来合成输出图像的一般方法是 对图像直接求平均值。直接求平均值将减少图像中的静态区域中的噪声，但也将引入鬼影 伪影。由于场景中的对象移动而在一些非参考图像中遮蔽参考图像中的一些像素时常常发 生鬼影伪影。在所捕获的图像之间存在运动时，在直接对图像求平均值时，在最终的输出中 可能存在明显的鬼影伪影。图1中示出此类鬼影伪影的效应的实例。图1示出了对全局配 准的图像直接求平均值的所得输出。从图1中可以看出，在对图像求直接平均值时，存在明 显的鬼影伪影。 避免鬼影伪影的一种方式是对遮蔽和噪声进行区分并拒绝融合所有被遮蔽区域 的融合流程。这可通过拒绝对与其对应参考像素相比具有非常不同的值的所有非参考像素 求平均值来实现。确定可接受差异的一种方式是基于特定像素中的预计噪声来对其进行计 算。一旦已确定接受阈值，便可从求平均值过程中排除与其对应参考像素差异超过这个阈 值的非参考像素。 然而，使用针对鬼影/非鬼影像素分类而设置的阈值自身可能导致图像伪影，尤 其是在存在严重噪声的情况下，这对于图像稳定化而言可能是一种典型情况。这是因为接 受阈值是可能具有一定失败比例的统计估计值。相邻像素可能容易落在阈值的一侧或另一 侦牝从而导致在鬼影像素/非鬼影（即，更大噪声/更清洁）像素之间产生突然的过渡。因 此，可改进当前使用的融合方法。
技术实现思路
在一个实施例中，提供了一种将所捕获的参考图像与所捕获的非参考图像融合的 方法。该方法包括获取在第一时间处所捕获的场景的第一图像，其中该图像具有多个像素， 并且在第二时间处获取场景的第二图像，其中第一图像中的多个像素中的每个像素在第二 图像中具有对应像素。该方法然后可涉及从第一图像选择第一像素，并且针对第二图像中 的第一像素的对应像素来确定非二元权重值。然后可使用非二元权重值来将第一像素及其 来自第二图像的对应像素组合以获取第一融合像素。可重复该过程以针对第一图像中的多 个其他像素中的每个像素进行选择、确定和组合以获取融合图像。 在另一个实施例中，提供了一种用于将所捕获的参考图像与所捕获的非参考图像 融合的替代方法。根据这种方法的一种方法包括获取在第一时间处所捕获的场景的第一图 像，其中第一图像具有多个像素，然后在第二时间处获取场景的第二图像，其中第一图像中 的多个像素中的每个像素在第二图像中具有对应像素。然后可确定第一像素在第二图像中 的对应像素的非二元权重值。在非二元权重值大于指定阈值时，该方法然后可将第一像素 以及其来自第二图像的对应像素组合，以获取第一融合像素。在非二元权重值小于或等于 指定阈值时，可不将第一像素及其来自第二图像的对应像素组合。然后可重复该过程以针 对第一图像中的多个其他像素中的每个像素进行选择、确定和组合，以获取融合图像。 在又一个实施例中，可通过替代方式将拍所捕获的参考图像与所捕获的非参考图 像融合，以获取融合图像。这种方法涉及获取在第一时间处所捕获的场景的第一图像，其中 第一图像具有多个像素，然后获取在第二时间处所捕获的场景的第二图像，其中第二图像 具有多个像素，并且第二图像中的每个像素在第一图像中具有对应像素。然后可生成第一 图像的多层级金字塔表示，其中多层级金字塔的顶部层级包括第一图像的低分辨率表示， 并且第一多层级金字塔的基本级包括第一图像的高分辨率表示，并且其中顶部层级和基本 级之间的每个层级包括与该层级的分辨率对应的第一图像的高空间频率表示。该方法然后 可生成第二图像的多层级金字塔表示，其中第二多层级金字塔的顶部层级包括第二图像的 低分辨率表示，并且第二多层级金字塔的基本级包括第二图像的高分辨率表示，并且其中 顶部层级和基本级之间的每个层级在第一图像的多层级金字塔表示中具有对应层级。该方 法然后可通过针对场景的第一多层级金字塔表示中的层级中的每一组像素来识别场景的 第二多层级金字塔表示中的对应的一组像素以及将来自场景的第一层级金字塔表示和第 二多层级金字塔表示的所识别的一组像素融合，针对场景的第一层级金字塔表示和第二多 层级金字塔表示中的每个层级来生成场景的输出多层级金字塔表示中的层级。最后，通过 组合场景的输出多层级金字塔表示可生成表示场景的输出图像并将其存储在存储器中。 在又一个实施例中，可通过另一种方式将所捕获的参考图像与所捕获的非参考图 像融合，以获取融合图像。这种方法涉及获取在第一时间处所捕获的场景的第一图像，其 中第一图像具有多个像素，然后对第一图像执行多分辨率分解，以生成第一图像的第一多 层级金字塔表示。然后可获取场景的第二图像，其中所述第二图像在与第一图像不同的时 间处被捕获，并且其中第一图像中的所述多个像素中的每个像素在第二图像中具有对应像 素。然后可对第二图像执行多分辨率分解，以生成第二图像的第二多层级金字塔表示。该方 法然后通过如下方式针对场景的第一层级金字塔表示和第二多层级金字塔表示中的每个 层级来生成场景的输出多层级金字塔表示中的层级：从第一图像选择一个或多个像素；针 对第二图像中的与第一图像中的一个或多个像素对应的一个或多个像素来确定非二元权 重值；以及在非二元权重值大于指定阈值时，将来自第一图像的一个或多个像素及其来自 第二图像的对应一个或多个像素组合，以获取第一融合像素；在非二元权重值小于或等于 指定阈值时，不将来自第一图像的一个或多个像素及其来自第二图像的对应像素组合。然 后重复该过程以针对第一图像的多分辨率分解中的每个层级来生成场景的输出多层级金 字塔表示中的层级。可组合场景的输出多层级金字塔表示中的不同层级以生成输出图像。【附图说明】 图1示出了根据现有技术的图像融合操作的实例。 图2以流程图形式示出了根据一个实施例的融合操作。 图3示出了根据一个实施例的示例性时间融合操作。 图4示出了根据一个实施例的使用块像素的示例性时间融合操作。 图5示出了根据一个实施例的示例性时空融合操作。 图6以流程图形式示出了根据一个实施例的多分辨率融合操作。 图7示出了根据替代实施例的所捕获的示例性图像序列。 图8A-8B示出了根据又一个替代实施例的通过融本文档来自技高网...
【技术保护点】
一种非暂态程序存储设备，所述非暂态程序存储设备可由可编程控制设备读取并且包括在其上存储的指令以使得所述可编程控制设备：获取在第一时间处所捕获的场景的第一图像，所述第一图像具有多个像素；对所述第一图像执行多分辨率分解，以生成所述第一图像的第一多层级金字塔表示；获取所述场景的第二图像，其中所述第二图像在与所述第一图像不同的时间处被捕获，并且其中所述第一图像中的所述多个像素中的每个像素在所述第二图像中具有对应像素；对所述第二图像执行多分辨率分解，以生成所述第二图像的第二多层级金字塔表示；根据指令针对所述场景的所述第一多层级金字塔表示和所述第二多层级金字塔表示中的每个层级来生成所述场景的输出多层级金字塔表示中的层级，所述指令使得所述可编程控制设备：针对所述场景的所述第一多层级金字塔表示的层级中的一组像素来在所述场景的所述第二多层级金字塔表示中识别对应的一组像素，以及将来自所述场景的所述第一多层级金字塔表示和所述第二多层级金字塔表示的所识别的一组像素融合；重复所述指令以使得所述可编程控制设备针对所述第一图像的所述多分辨率分解中的每个层级来生成所述场景的所述输出多层级金字塔表示中的层级；组合所述场景的所述输出多层级金字塔表示以生成表示所述场景的单输出图像；以及在存储器中存储所述输出图像。...
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：M·蒂考，周剑平，S·A·纳里亚尼，R·托伏特，P·休布尔，孙伟，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。