将低动态范围图像合并为单幅图像的方法及装置制造方法及图纸

本发明专利技术公开了一种结合不同曝光的低动态范围图像构建高动态范围图像的方法。该方法处理运动，以便最小化这种“不可恢复”遮挡的机会，并避免知道或找到低动态范围图像的响应函数的必要性。除此之外，该方法足够快，可以在移动相机设备中使用并产生良好的用户体验。动相机设备中使用并产生良好的用户体验。动相机设备中使用并产生良好的用户体验。

【技术实现步骤摘要】
【国外来华专利技术】将低动态范围图像合并为单幅图像的方法及装置


[0001]本专利技术涉及图像处理领域，更具体地，涉及一种软件库，该软件库将同一场景的几幅不同亮度拍摄的图像组合起来，以实现代表更高动态范围的场景亮度的单个图像。

技术介绍

[0002]现代图像传感器的动态范围不足。它们无法以合理的信噪比捕捉典型户外场景(例如阴影和天空)中的黑暗和明亮区域。通常，暗区的像素值太低，与噪声水平相当，和/或最亮的区域被剪裁到传感器饱和水平。为了克服这个障碍，可以捕获具有不同曝光时间和/或传感器灵敏度(增益)的图像很少。暗图像(短曝光时间)可以很好地捕捉天空等明亮区域，但在暗区域中不包含有用的信息。明亮的图像可以很好地捕捉暗区(阴影)，但亮区会过度曝光和饱和。然后，需要一种算法来组合(缝合、融合)暗图像和亮图像，从每个图像中获取有用信息并生成单个高动态范围图像(HDR)。
[0003]许多文章描述了HDR融合算法。融合可以通过不同的方法来实现，可以分为两种主要的方法：
[0004](1)在辐射域中的融合。
[0005]融合图像像素值与场景亮度成正比。这些方法实际上仅适用于来自图像传感器的未处理图像。现代相机对传感器图像进行复杂的处理，之后很难或不可能恢复相机的整体响应功能。
[0006]这种方法需要通过复杂的自适应局部和全局色调映射算法进行后处理，将融合后的HDR图像中的像素值范围缩小到可显示范围。
[0007](2)图像域中的融合。
[0008]该方法的一个里程碑是Mertens等人的文章“曝光融合”。来自不同曝光图像、具有不同相机响应曲线的不同区域被直接缝合。为了避免取自不同图像的区域之间的亮度过渡，使用拉普拉斯金字塔进行融合。这种方法结合了隐式局部和全局色调映射，因此融合图像具有与输入图像相似的像素动态范围，因此不需要复杂的后处理将其缩小到可显示的水平。
[0009]不管将使用什么方法进行融合，HDR融合中的主要问题是在捕捉多个图像时移动相机和移动物体。如果融合算法没有考虑到这一点，最终图像中就会出现类似鬼影的伪影。存在许多方法来检测潜在的重影区域。它们中的大多数依赖于场景的静态部分在不同曝光图像之间的辐射域中相似的假设。鬼影检测的结果可能是相似性和非相似性区域的强掩码，或显示每个像素包含静态场景的概率的每个图像每个像素的权重。
[0010]通过使用帧配准算法来对齐输入帧，大多消除了由于相机运动引起的非相似性。然而，在实际场景中仍然存在许多其他不相似之处——它们是由移动物体、运动模糊、帧对齐不完善、应用于不同曝光输入图像的不同图像处理参数引起的差异、相机的平移运动引起的，导致图像内的相互对象移动，无法通过全局帧对齐来表示和补偿。一旦检测到，将使用两种主要方法来避免重影：
[0011](1)从单个图像中取出运动区域
[0012]该方法依赖于场景在每个单个图像中自洽的事实。最简单的方法是从参考图像中提取所有非相似性。如果参考图像中曝光严重，这种方法会使许多运动区域曝光过度或太暗或嘈杂。更好的方法是从一个图像或一组图像中提取每个非相似区域，在该区域内相似。
[0013](2)全局优化调整每像素贡献权重
[0014]一些图像的融合可以表示为它们的像素的加权平均值，融合像素值或图像的变换(如拉普拉斯金字塔或梯度图)。每个图像中的每个像素都有自己的权重。理想情况下，在静态区域中，具有最佳曝光的像素应具有最大权重。在运动区域(非相似性)中，只有包含背景且曝光良好的图像中的像素才应具有高权重。最复杂的鬼影检测和去除方法试图定义一个全局目标函数，它结合了鬼影检测信息并取决于权重。通过最小化这个目标函数来确定权重。这是一个计算量非常大的过程，不适用于移动设备，计算能力有限，处理时间也受用户期望的限制。
[0015]Hasinoff完全采用了一种不同的方法用于HDR融合和重影处理。在“用于移动相机上的高动态范围和低光成像的连拍摄影”中。它们不是捕捉不同曝光的图像，而是捕捉多个暗图像以最小化过度曝光区域，并应用复杂的多帧降噪来降低暗区域的噪声，从而增加动态范围。去噪后，通过乘以像素值使暗区变亮，这再次增加了暗区的噪点。通过构建运动场来处理移动对象。需要大量的暗图像才能在暗区获得良好的信噪比
‑
他们将其限制为8，可能是出于性能原因。虽然他们取得了非常好的整体结果，但暗区看起来很嘈杂，而且他们的方法仅限于拜耳图像域，其中场景最暗部分的信息不受图像处理和量化的影响。这使得该算法不适用于后处理步骤。
[0016]一般而言，试图通过几个图像的每像素加权平均来产生融合图像的所有方法都假设存在许多输入图像并且每个像素在多于一个输入图像中被很好地曝光。在实践中，应尽可能少地捕捉不同曝光的图像，以最大限度地减少处理时间。此外，初始图像对齐从来都不是完美的。即使图像中物体边缘的亚像素错位也会导致平均后清晰度的明显恶化。由于使用双线性像素插值，对齐本身会在一定程度上降低清晰度，这是当代移动GPU中唯一的选择，由于它们的帧扭曲速度而使用。为了尽可能保持输入图像的清晰度并最小化所需的输入图像数量，融合图像中的每个像素都应该取自一个输入图像。
[0017]与重影相关的另一个问题是不可恢复区域。这些是场景中的区域，通常是由移动物体引起的遮挡，这些区域在所有图像中都曝光严重。例如，如果一个黑暗的物体在明亮的背景前面移动，它必须从一些明亮的图像中取出，在它那里的地方。明亮的背景应该取自暗图像，但是，它的一部分被暗物体遮挡，在暗图像中处于不同的位置。到目前为止，在文章中很少或没有讨论这个问题。

技术实现思路

[0018]为了解决现有技术中的上述技术问题，第一方面，本专利技术提供了一种将低动态范围图像合并为单幅图像的方法，该方法包括：
[0019]获取具有不同EV补偿值的低动态范围图像；
[0020]通过根据相互的二维直方图均衡图像亮度，检测图像的非相似区域；
[0021]在对图像进行拉普拉斯分解之前修改非相似区域中的图像；
[0022]对图像重新分配和调整不同的融合权重，以融合单个高动态范围图像。
[0023]根据本专利技术的一种实施方式，图像曝光和感光度设置是按照特定的顺序拍摄的：暗
‑
正常
‑
亮
‑
正常
‑
暗
‑
正常
‑
亮或亮
‑
正常
‑
暗
‑
正常
‑
亮
‑
正常
‑
黑暗。
[0024]根据本专利技术的一种实施方式，通过根据图像直方图和均衡图像内的跟踪特征计算的互伽马均衡不同的曝光亮度，将图像与其中之一对齐。
[0025]根据本专利技术的一种实施方式，通过由相互二维直方图导出的互伽马值对对齐后的图像进行亮度均衡后，找出图像中的非相似区域。
[0026]根据本专利技术的一种实施方式，每个非相似区域取自其参考图像，使用互伽马转换为本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种将低动态范围图像合并为单幅图像的方法，该方法包括：获取具有不同EV补偿值的低动态范围图像；通过根据相互的二维直方图均衡图像亮度，检测图像的非相似区域；在对图像进行拉普拉斯分解之前修改非相似区域中的图像；对图像重新分配和调整不同的融合权重，以融合单个高动态范围图像。2.根据权利要求1所述的合并方法，其中图像曝光和感光度设置是按照特定的顺序拍摄的：暗
‑
正常
‑
亮
‑
正常
‑
暗
‑
正常
‑
亮或亮
‑
正常
‑
暗
‑
正常
‑
亮
‑
正常
‑
黑暗。3.根据权利要求1所述的合并方法，其中通过根据图像直方图和均衡图像内的跟踪特征计算的互伽马均衡不同的曝光亮度，将图像与其中之一对齐。4.如权利要求3所述的合并方法，其特征在于，通过由相互二维直方图导出的互伽马值对对齐后的图像进行亮度均衡后，找出图像中的非相似区域。5.根据权利要求4所述的合并方法，其中每个非相似区域取自其参考图像，使用互伽马转换为其他两次曝光，并复制到相应曝光的部分或全部图像中。6.如权利要求1所述的合并方法，其特征在于，将非相似区域内的融合权重重新分配到每个区域的新局部参考图像和与其相似的不同曝光的相邻图像中的区域之间。7.根据权利要求6所述的合并方法，其中在高斯金字塔中分解后调整权重以调整全局色调映射和局部对比度增强。8.如权利要...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：中科创达软件股份有限公司，
类型：发明
国别省市：