SDR到HDR图像转换中的图像去噪制造技术

描述了用于在显示高动态范围图像时进行图像去噪的方法和系统。给定第一动态范围中的输入图像以及将码字从第一动态范围映射到第二动态范围的输入后向整形函数，生成基于输入图像和输入后向整形函数的统计数据，以估计通过向输入图像应用输入后向整形函数而生成的第二动态范围中的目标图像中的噪声伪像的风险，其中，第二动态范围等于或高于第一动态范围。使用对连续输入帧的直方图中的码字仓中的方差(表示为时间直方图方差)的度量，生成经修改的后向整形函数，当将该经修改的后向整形函数应用于输入图像以生成目标图像时消除或减少目标图像中的噪声伪像。

【技术实现步骤摘要】
【国外来华专利技术】SDR到HDR图像转换中的图像去噪相关申请的交叉引用本申请要求于2018年9月24日提交的美国临时专利申请号62/735,288和2018年9月24日提交的欧洲专利申请号18196232.5的优先权，所述专利申请中的每一个通过引用以其全文并入本文。
本专利技术总体涉及图像。更具体地，本专利技术的实施例涉及基于标准动态范围(SDR)图像中的时间直方图方差的度量经由使SDR适当适应于高动态范围(HDR)整形函数来减少重构的HDR图像中的噪声。
技术介绍
如本文所使用的，术语“动态范围(DR)”可以涉及人类视觉系统(HVS)感知图像中的从最暗的灰色(黑色)到最亮的白色(高光)的强度(例如，光亮度(luminance)、亮度(luma))范围的能力。从这个意义上说，DR与“参考场景的(scene-referred)”强度有关。DR还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，DR与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思，否则应推断为所述术语可以在任一意义上使用(例如，可互换地使用)。如本文所使用的，术语“高动态范围(HDR)”涉及跨越人类视觉系统(HVS)的14到15个数量级的DR阔度。实际上，相对于HDR，人类可以同时感知强度范围中的广泛阔度的DR可能会被稍微截短。如本文所使用的，术语“视觉动态范围(VDR)或增强动态范围(EDR)”可以单独地或可互换地与这种DR相关：所述DR可在场景或图像内由包括眼运动的人类视觉系统(HVS)感知，从而允许场景或图像上的一些光适应变化。如本文所使用的，VDR可以涉及跨越5到6个数量级的DR。因此，虽然VDR或EDR相对于真实场景参考的HDR可能稍微窄一些，但VDR或EDR代表宽DR阔度并且也可以被称为HDR。实际上，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中，每个颜色分量由每像素n位的精度表示(例如，n＝8)。在使用线性光亮度编码的情况下，n≤8的图像(例如，彩色24位JPEG图像)被视为标准动态范围的图像，而n＞8的图像可被视为增强动态范围的图像。HDR图像还可以使用高精度(例如，16位)浮点格式来存储和分布，如由工业光魔公司(IndustrialLightandMagic)开发的OpenEXR文档格式。大多数消费者桌面显示器目前支持200到300cd/m2或尼特的光亮度。大多数消费者HDTV的范围从300到500尼特，其中，新型号达到1000尼特(cd/m2)。因此，这样的传统显示器代表了相对于HDR的较低动态范围(LDR)，也被称为标准动态范围(SDR)。随着HDR内容的可用性由于捕获设备(例如，相机)和HDR显示器(例如，来自杜比实验室的PRM-4200专业参考监视器)二者的发展而增加，HDR内容可以被颜色分级并显示在支持更高动态范围(例如，从1000尼特到5000尼特或更高)的HDR显示器上。在传统的图像流水线中，使用非线性光电函数(OETF)来量化所捕获的图像，该非线性光电函数将线性场景光转换为非线性视频信号(例如，伽马编码的RGB或YCbCr)。然后，信号在被显示在显示器上之前在接收器上通过电光传递函数(EOTF)来处理，该电光传递函数将视频信号值转化成输出屏幕颜色值。这种非线性函数包括ITU-RRec.BT.709和BT.2020中记载的传统的“伽马”曲线、SMPTEST2084中描述的“PQ”(感知量化)曲线以及Rec.ITU-RBT.2100中描述的“混合对数伽马(HybridLog-gamma)”或“HLG”曲线。如本文所使用的，术语“前向整形(forwardreshaping)”表示数字图像从其原始位深度和原始码字分布或表示(例如，伽马或PQ或HLG等)到相同或不同位深度和不同码字分布或表示的图像的样本到样本映射或码字到码字映射的过程。整形允许在固定的位速率下改善可压缩性或改善图像质量。例如，非限制性地，可以将整形应用于10位或12位PQ编码的HDR视频，以提高10位视频编码架构中的编码效率。在接收器中，在对接收到的信号(可能会对其进行或可能不会对其进行整形)进行解压缩之后，接收器可以应用“逆向(或后向)整形函数”以将信号恢复为其原始码字分布和/或实现更高的动态范围。当将SDR内容转换成HDR内容时，预先存在于SDR内容中并且被认为是可接受的噪声在SDR到HDR转换期间可能被增强并且现在被认为是不可接受的。当噪声可见时，噪声可能在视觉上是烦人的，并且经常被认为是低质量编码或低质量显示的指示。如专利技术人在此所理解的，用于在显示视频内容(尤其是HDR内容)时进行图像去噪的改进技术是期望的。在本节中描述的方法是可以追寻的方法，但不一定是之前已经设想到或追寻的方法。因此，除非另有指明，否则不应仅凭其包括在本节中就假设本节中所描述的方法中的任何方法作为现有技术。类似地，除非另有指明，否则不应假设在本节的基础上已经在任何现有技术中意识到关于一种或多种方法所认定的问题。附图说明在附图中以举例而非限制的方式来图示本专利技术的实施例，并且其中类似的附图标记指代类似的元件，并且在附图中：图1A描绘了根据本专利技术的实施例的使用整形函数的用于HDR数据的示例单层编码器；图1B描绘了根据本专利技术的实施例的与图1A的编码器相对应的示例HDR解码器；图2描绘了根据本专利技术的实施例的用于噪声估计和去噪的示例过程；图3A描绘了根据本专利技术的实施例的时间直方图的归一化方差的示例曲线图；图3B描绘了根据本专利技术的实施例的时间直方图的经平滑的方差的示例曲线图；图3C描绘了后向整形函数的原始一阶导数的示例曲线图；图3D描绘了根据本专利技术的实施例的适用于图像去噪的后向整形函数的一阶导数的经修改版本的示例曲线图；图3E描绘了原始后向整形函数的示例曲线图；以及图3F描绘了根据本专利技术的实施例的适用于图像去噪的经修改的后向整形函数的示例曲线图。具体实施方式本文描述了通过适当地适配整形图像映射函数来减少HDR图像和视频内容中的噪声伪像。给定SDR图像和后向整形函数，导出更新的整形函数，使得通过向输入图像应用更新的整形函数而生成的输出HDR图像具有减少的噪声伪像。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对本专利技术的透彻理解。然而，将显而易见的是，可以在没有这些具体细节的情况下实践本专利技术。在其他情形中，为了避免不必要的遮蔽、模糊或混淆本专利技术，没有详尽地描述众所周知的结构和设备。概述本文描述的示例实施例涉及减少从SDR图片重构的HDR图片中的感知的噪声。在实施例中，具有处理器的系统接收第一动态范围中的图像序列以及将码字从第一动态范围映射到第二动态范围的输入后向整形函数，其中，第二动态范围等于或高于第一动态范围。对于输入图像序列中的输入图像，处理器基于输入图像序列和输入后向整形函数生成统计数据以估计第二本文档来自技高网...

【技术保护点】
1.一种用于减少噪声的方法，所述方法包括：/n接收第一动态范围中的输入图像的序列(202)；/n对于所述输入图像的序列中的输入图像：/n接收将码字从所述第一动态范围映射到第二动态范围的输入后向整形函数(204)(BLUT)，其中，所述第二动态范围等于或高于所述第一动态范围；/n基于所述输入图像的序列和所述输入后向整形函数生成(205)针对所述输入图像的统计数据以估计所述第二动态范围中的目标图像中的噪声伪像的风险，其中，所述目标图像通过向所述输入图像应用所述输入后向整形函数而生成，其中，所述统计数据包括针对所述序列中的两个或更多个输入图像计算在所述序列中的所述两个或更多个输入图像的对应时间处的码字仓的对应的两个或更多个时间直方图以及计算对所计算的时间直方图的方差的度量；/n基于所述统计数据计算(220)对所述输入图像中的噪声似然的度量；/n计算所述输入后向整形函数的一阶导数；/n如果对所述噪声似然的度量高于阈值，则调整所述输入后向整形函数的所述一阶导数以生成所述后向整形函数的经修改的一阶导数，以用于减少所述目标图像中的噪声；/n基于所述后向整形函数的所述经修改的一阶导数生成输出后向整形函数；以及/n用所述输出后向整形函数替换所述输入后向整形函数。/n...

【技术特征摘要】
【国外来华专利技术】20180924 EP 18196232.5;20180924 US 62/735,2881.一种用于减少噪声的方法，所述方法包括：
接收第一动态范围中的输入图像的序列(202)；
对于所述输入图像的序列中的输入图像：
接收将码字从所述第一动态范围映射到第二动态范围的输入后向整形函数(204)(BLUT)，其中，所述第二动态范围等于或高于所述第一动态范围；
基于所述输入图像的序列和所述输入后向整形函数生成(205)针对所述输入图像的统计数据以估计所述第二动态范围中的目标图像中的噪声伪像的风险，其中，所述目标图像通过向所述输入图像应用所述输入后向整形函数而生成，其中，所述统计数据包括针对所述序列中的两个或更多个输入图像计算在所述序列中的所述两个或更多个输入图像的对应时间处的码字仓的对应的两个或更多个时间直方图以及计算对所计算的时间直方图的方差的度量；
基于所述统计数据计算(220)对所述输入图像中的噪声似然的度量；
计算所述输入后向整形函数的一阶导数；
如果对所述噪声似然的度量高于阈值，则调整所述输入后向整形函数的所述一阶导数以生成所述后向整形函数的经修改的一阶导数，以用于减少所述目标图像中的噪声；
基于所述后向整形函数的所述经修改的一阶导数生成输出后向整形函数；以及
用所述输出后向整形函数替换所述输入后向整形函数。


2.如权利要求1所述的方法，进一步包括：
在编码器中，对所述输入图像的序列进行编码以生成经编码的比特流并向解码器传输所述输出后向整形函数和所述经编码的比特流。


3.如权利要求1或2所述的方法，其中，所述第一动态范围包括标准动态范围，并且所述第二动态范围包括高动态范围。


4.如任一前述权利要求所述的方法，其中，计算码字仓的所述时间直方图包括：
确定视频序列中的M个连续帧的滑动窗口，其中，所述连续帧包括所述输入图像；
将所述第一动态范围划分为N个仓，其中，每个仓(b)包括所述第一动态范围中的相同数量的码字；以及
针对所述输入图像中的所有仓，计算亮度像素值的直方图(Ht(b))。


5.如权利要求4所述的方法，其中，计算对所述时间直方图的方差的度量包括：
访问所述滑动窗口中的剩余帧中的亮度像素值的直方图；
计算所述滑动窗口中的所述直方图的时间导数，其中，针对时间t和t-1处的帧的两个直方图的时间导数被计算为
ΔHt(b)＝Ht(b)-Ht-1(b)，对于b＝1，2，....，N，
其中，Ht(b)表示时间t处的帧中具有第b...

【专利技术属性】
技术研发人员：文碧汉，N·J·加德吉尔，苏冠铭，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国;US