用于HDR视频的基于云的编码的递归段到场景分段制造技术

在用于对高动态范围(HDR)视频进行编码的基于云的系统中，每个节点接收视频段和保险帧。每个段被细分为主要场景和次要场景以得到基于场景的前向整形函数，基于场景的前向整形函数在对视频段进行编码时使整形相关元数据的量最小化，同时保持由多个节点处理的场景之间的时间连续性。还研究了用于生成基于场景的前向整形函数和后向整形函数以优化视频编码并提高整形相关元数据的编码效率的方法。并提高整形相关元数据的编码效率的方法。并提高整形相关元数据的编码效率的方法。

【技术实现步骤摘要】
【国外来华专利技术】用于HDR视频的基于云的编码的递归段到场景分段
[0001]相关申请的交叉引用
[0002]本申请要求于2020年9月18日提交的美国临时专利申请63/080,255以及于2020年9月18日提交的欧洲专利申请20196876.5的优先权权益，上述专利通过引用并入本文。


[0003]本公开总体上涉及图像。更具体地，本专利技术的实施例涉及用于在基于云的编码架构中处理HDR视频的递归视频段到场景分段。

技术介绍

[0004]如本文所使用的，术语“动态范围(DR)”可以涉及人类视觉系统(HVS)感知图像中的强度(例如，光亮度(luminance)、亮度(luma))范围的能力，强度范围例如是从最暗的灰色(黑色)到最亮的白色(高光)。从这个意义上说，DR与“参考场景的(scene
‑
referred)”强度有关。DR还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，DR与“参考显示的(display
‑
referred)”强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思，否则应该推断为该术语可以在任一意义上例如可互换地使用。
[0005]如本文所使用的，术语高动态范围(HDR)涉及跨越人类视觉系统(HVS)的14至15个数量级的DR阔度。实际上，相对于HDR，人类可以同时感知强度范围中的广泛阔度的DR可能会被稍微截短。如本文所使用的，术语视觉动态范围(VDR)或增强动态范围(EDR)可以单独地或可互换地与这种DR相关：所述DR可在场景或图像内由包括眼运动的人类视觉系统(HVS)感知，从而允许场景或图像上的一些光适性变化。如本文所使用的，VDR可以涉及跨越5至6个数量级的DR。因此，虽然相对于参考真实场景的HDR，可能稍微窄一些，但VDR或EDR可以代表宽DR阔度并且也可以被称为HDR。
[0006]实际上，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中，每个颜色分量由每像素n位的精度表示(例如，n＝8)。例如，使用伽马光亮度编码，其中，n≤8的图像(例如，彩色24位JPEG图像)被认为是标准动态范围的图像，而其中n≥10的图像可以被认为是增强动态范围的图像。HDR图像还可以使用高精度(例如，16位)浮点格式来存储和分布，如由工业光魔公司(Industrial Light and Magic)开发的OpenEXR文档格式。
[0007]大多数消费者桌面显示器目前支持200至300cd/m2或尼特的光亮度。大多数消费类HDTV的范围为300至500尼特，其中，新型号达到1,000尼特(cd/m2)。因此，这样的传统显示器代表了与HDR相关的较低动态范围(LDR)，也被称为标准动态范围(SDR)。随着HDR内容的可用性由于捕获设备(例如，相机)和HDR显示器(例如，杜比实验室的PRM
‑
4200专业参考监视器)二者的发展而增加，HDR内容可以被颜色分级并被显示在支持更高动态范围(例如，1,000尼特至5,000尼特或更高)的HDR显示器上。
[0008]如本文所使用的，术语“前向整形(forward reshaping)”表示数字图像从其原始位深度和原始码字分布或表示(例如，伽马、PQ、HLG等)到相同或不同位深度和不同码字分
布或表示的图像的样本到样本映射或码字到码字映射的过程。整形允许以固定的比特率改善可压缩性或改善图像质量。例如，非限制性地，可以将整形应用于10位或12位PQ编码的HDR视频，以提高10位视频编码架构中的编码效率。在接收器中，在对接收到的信号进行解压缩(可能会或可能不会进行整形)之后，接收器可以应用“逆向(或后向)整形函数”以将信号恢复为其原始码字分布和/或实现更高的动态范围。
[0009]在许多视频分布场景中，HDR视频可以在多处理器环境(通常称为“云计算服务器”)中编码。在这种环境中，计算的易用性、计算节点之间的工作负载平衡和视频质量之间的权衡可能会迫使整形相关元数据逐帧更新，这可能导致不可接受的开销，尤其是在以低比特率传输视频时。如专利技术人在此所理解的，期望用于使基于云的环境中整形相关元数据的开销最小化的改进的段到场景分段技术。
[0010]在本节中描述的方法是可以采用的方法，但不一定是先前已经设想到或采用过的方法。因此，除非另有指示，否则不应该认为本节中描述的任何方法仅凭其纳入本节就可被视为现有技术。类似地，除非另有指示，否则关于一种或多种方法所认定的问题不应该基于本节而认为在任何现有技术中被认定。
附图说明
[0011]在附图中以举例而非限制的方式来图示本专利技术的实施例，并且其中类似的附图标记指代类似的要素，并且在附图中：
[0012]图1A描绘了根据现有技术的使用整形函数的用于HDR数据的示例单层编码器；
[0013]图1B描绘了根据现有技术的与图1A的编码器相对应的示例HDR解码器；
[0014]图2描绘了根据实施例的用于HDR视频的基于云的编码的示例架构和处理流水线；
[0015]图3A描绘了将视频输入划分为段的示例以及要指派到三个节点的保险帧(bumper frame)；
[0016]图3B描绘了合并场景剪切以生成主要场景列表的示例；
[0017]图3C描绘了将主要场景分割成两个计算节点的示例；
[0018]图3D描绘了根据实施例的用于得到基于场景的前向整形函数的统计窗口的示例；
[0019]图4描绘了根据实施例的迭代的段到场景分段过程的示例；以及
[0020]图5描绘了根据本专利技术的实施例的用于使用整形进行基于场景的编码的示例编码器。
具体实施方式
[0021]本文描述了用于HDR视频的基于云的视频编码中的场景分段和基于节点的处理的方法。在以下说明中，出于解释的目的，阐述了许多具体细节以便提供对本专利技术的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践本专利技术。在其他情形中，为了避免不必要地遮蔽、模糊或混淆本专利技术，没有详尽地描述众所周知的结构和设备。

技术实现思路

[0022]本文所描述的示例实施例涉及用于HDR图像的基于云的整形和编码。在实施例中，在用于对HDR视频进行编码的基于云的系统中，当前节点接收包括高动态范围内的视频帧
的第一视频序列。然后，节点中的一个或多个处理器：
[0023]为第一视频序列中的每个视频帧生成基于帧的前向整形函数，其中，前向整形函数将帧像素从高动态范围映射到低于高动态范围的第二动态范围；
[0024]为第一视频序列生成一组主要场景；
[0025]基于该组主要场景、从一个或多个主要场景得到的次要场景以及基于帧的前向整形函数生成第一视频序列的第二组场景；
[0026]基于第二组场景生成基于场景的前向整形函数；
[0027]将基于场景的前向整形函数应用于第一视频序列，以生成第二动态范围内的输出视频序列；以及
[0028]本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于使用用于对高动态范围视频进行编码的基于云的系统将视频段分段成场景的方法，所述方法包括：在所述基于云的系统的当前计算节点中接收第一视频序列，所述第一视频序列包括高动态范围内的视频帧；为所述第一视频序列中的每个视频帧生成基于帧的前向整形函数，所述基于帧的前向整形函数将所述视频帧从所述高动态范围映射到低于所述高动态范围的第二动态范围；使用所述第一视频序列的一组场景剪切生成所述第一视频序列的一组主要场景；基于该组主要场景生成所述第一视频序列的第二组场景，其中，属于具有要跨所述基于云的系统的当前计算节点和相邻计算节点编码的视频帧的父场景的主要场景被划分为次要场景；为所述第二组场景中的每个场景生成基于场景的前向整形函数，所述基于场景的前向整形函数将所述场景中的所述视频帧从所述高动态范围映射到所述第二动态范围；将所述基于场景的前向整形函数应用于所述第一视频序列中的所述视频帧，以生成包括所述第二动态范围内的视频帧的输出视频序列；以及压缩所述输出视频序列以生成编码比特流。2.如权利要求1所述的方法，其中，给定主要场景，针对所述主要场景生成次要场景列表包括：基于该组主要场景初始化一组次要场景和一组违规场景；基于所述基于帧的前向整形函数生成一组或多组平滑度阈值；以及重复以下各项直到没有边界违规：将该组违规场景中的每个场景划分为两个新的子场景；用空集合生成更新的一组违规场景；通过将所述两个新的子场景添加到该组次要场景来生成更新的一组次要场景；使用所述一组或多组平滑度阈值在该组次要场景中执行一项或多项边界违规检查；以及如果该组次要场景中的两个子场景之间存在至少一项边界违规，则将所述两个子场景添加到该组违规场景，并且继续用所述更新的一组违规场景和所述更新的一组次要场景细分所述主要场景；否则，发信号通知不存在边界违规并输出所述次要场景列表。3.如权利要求1或2所述的方法，其中，使用所述第一视频序列的一组场景剪切生成一组主要场景包括：从文件中访问所述第一视频序列的第一组场景剪切；使用自动场景变化检测器生成所述第一视频序列的第二组场景剪切；基于所述第一组场景剪切和所述第二组场景剪切的交集生成最终一组场景剪切；以及使用所述最终一组场景剪切生成该组主要场景。4.如权利要求1至3中任一项所述的方法，其中，给定该组违规场景中的场景P
g
，所述场景在帧位置C
s
中被分割，其中：如果所述场景P
g
包括作为父场景的具有要在所述基于云的系统中位于所述当前计算节点之前的计算节点中处理的帧的一部分的主要场景，则
C
s
＝C0+B，其中，C0表示所述第一视频序列中的第一帧，并且B表示由所述基于云的系统的两个相邻计算节点共享的保险帧的数量；否则，如果所述场景P
g
包括作为父场景的具有要在所述基于云的系统中位于所述当前计算节点之后的计算节点中处理的帧的一部分的主要场景，则C
s
＝C
L
‑1‑
B，其中，C
L
‑1表示所述第一视频序列中的最后一帧；否则，如果所述场景P
g
包括次要...

【专利技术属性】
技术研发人员：H，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：