帧速率可伸缩视频编码制造技术

描述了用于帧速率可伸缩性的方法和系统。对于具有跨场景的可变帧速率和可变快门角度的输入和输出视频序列，或者对于具有固定的输入帧速率和输入快门角度、但允许解码器以不同于对应输入值的输出帧速率和快门角度生成视频输出的输入视频序列，提供支持。还呈现了允许解码器在计算上更高效地对所允许的那些帧速率和快门角度中的特定向后兼容目标帧速率和快门角度进行解码的技术。和快门角度进行解码的技术。和快门角度进行解码的技术。

【技术实现步骤摘要】
【国外来华专利技术】帧速率可伸缩视频编码
[0001]相关申请的交叉引用
[0002]本申请要求于2020年6月15日提交的美国专利申请16/901,911以及于2021年3月25日提交的美国专利申请号17/212,701的优先权权益，所述专利申请中的每一个都通过引用以其全文并入本文。


[0003]本文件总体上涉及图像。更具体地，本专利技术的实施例涉及帧速率可伸缩(frame
‑
rate scalable)视频编码。

技术介绍

[0004]如本文所使用的，术语“动态范围(DR)”可以涉及人类视觉系统(HVS)感知图像中的强度(例如，光亮度、亮度)的范围的能力，所述强度的范围例如是从最暗的灰色(黑色)到最亮的白色(高光)。从这个意义上说，DR与“参考场景的(scene
‑
referred)”强度有关。DR还可以涉及显示设备充分或近似渲染特定阔度的强度范围的能力。从这个意义上说，DR与“参考显示的(display
‑
referred)”强度有关。在本文的描述中除非在任何一点明确指定特定的意义具有特定的意思，否则应推断为所述术语可以在任一意义上例如可互换地被使用。
[0005]如本文所使用的，术语“高动态范围(HDR)”涉及跨越人类视觉系统(HVS)的14至15个数量级的DR阔度。在实践中，关于HDR，人类可以同时感知强度范围广泛阔度的DR可能会被稍微截短。
[0006]在实践中，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中，每个颜色分量由每像素n比特的精度表示(例如，n＝8)。使用线性光亮度编码，其中n≤8的图像(例如，彩色24比特JPEG图像)被视为标准动态范围(SDR)的图像，而其中n>8的图像可以被视为增强动态范围的图像。HDR图像还可以使用高精度(例如，16比特)浮点格式被存储和分发，诸如由工业光魔公司(Industrial Light and Magic)开发的OpenEXR文档格式。
[0007]目前，视频高动态范围内容(诸如杜比实验室的杜比视界或蓝光中的HDR10)的分发被许多回放设备的性能限制在4K分辨率(例如，4096
×
2160或3840
×
2160等)和60帧/秒(fps)。在未来版本中，预计高达8K分辨率(例如，7680
×
4320)和120fps的内容可用于分发和回放。期望未来的内容类型将与现有的回放设备兼容，以简化HDR回放内容生态系统，诸如杜比视界。理想地，内容生产者应能够采用和分发未来的HDR技术，而不必还获得和分发与现有HDR设备(诸如HDR10或杜比视界)兼容的内容的特殊版本。如专利技术人在此所理解的，期望用于视频内容(尤其是HDR内容)的可伸缩分发的改进技术。
[0008]在本节中描述的方法是可以追寻的方法，但不一定是之前已经设想到或追寻的方法。因此，除非另有指示，否则不应假设本节所描述的任何方法仅凭其纳入本节就可称为现有技术。类似地，除非另有指示，否则关于一种或多种方法所认定的问题不应基于本节而被认为在任何现有技术中已被认识到。
附图说明
[0009]在附图中以举例而非限制的方式来图示本专利技术的实施例，并且其中相似的附图标记指代相似的元素，并且在附图中：
[0010]图1描绘了视频传输流水线的示例过程；
[0011]图2描绘了根据本专利技术实施例的组合连续原始帧以便以目标快门角度渲染目标帧速率的示例过程；
[0012]图3描绘了根据本专利技术实施例的在具有固定帧速率的容器中具有可变输入帧速率和可变快门角度的输入序列的示例表示；以及
[0013]图4描绘了根据本专利技术实施例的具有向后兼容性的各种帧速率和快门角度下的时间可伸缩性的示例表示。
具体实施方式
[0014]本文描述了涉及用于视频编码的帧速率可伸缩性的示例实施例。在以下说明中，出于解释的目的，阐述了许多特定细节以便提供对本专利技术的各种实施例的透彻理解。然而，清楚的是，可以在没有这些具体细节的情况下实践本专利技术的各种实施例。在其他情况下，为了避免不必要地遮蔽、模糊或混淆本专利技术的实施例，没有详尽地描述众所周知的结构和设备。
[0015]概述
[0016]本文描述的示例实施例涉及视频编码中的帧速率可伸缩性。在实施例中，一种具有处理器的系统接收编码比特流，所述编码比特流包括编码视频帧，其中，一个或多个编码帧以第一帧速率和第一快门角度被编码。所述处理器接收第一标志，所述第一标志指示存在要以第二帧速率和第二快门角度被解码的一组编码帧，所述处理器从所述编码比特流访问用于所述一组编码帧的所述第二帧速率和所述第二快门角度的值，并且基于所述一组编码帧、所述第一帧速率、所述第一快门角度、所述第二帧速率和所述第二快门角度，生成所述第二帧速率和所述第二快门角度的解码帧。
[0017]在第二实施例中，一种具有处理器的解码器：
[0018]接收编码比特流，所述编码比特流包括多组编码视频帧，其中，所述编码比特流中的所有编码视频帧以第一帧速率被编码；
[0019]接收组合帧的数量N；
[0020]接收基线帧速率的值；
[0021]访问一组N个连续编码帧，其中，所述一组N个连续编码帧中的第i编码帧表示在编码器中基于第一快门角度和所述第一帧速率以所述基线帧速率和第i快门角度编码的最多i个输入视频帧的平均值，其中，i＝1、2、
…
N；
[0022]从所述编码比特流或从用户输入访问第二帧速率和第二快门角度的值，以用于以所述第二帧速率和所述第二快门角度对所述一组N个连续编码帧进行解码；以及
[0023]基于所述一组N个连续编码帧、所述第一帧速率、所述第一快门角度、所述第二帧速率和所述第二快门角度，生成所述第二帧速率和所述第二快门角度的解码帧。
[0024]在第三实施例中，一种编码视频流结构包括：
[0025]编码图片部分，所述编码图片部分包括对视频图片序列的编码；以及
[0026]信令部分，所述信令部分包括对以下的编码：
[0027]快门间隔时间标度参数，所述快门间隔时间标度参数指示一秒中经过的时间单位的数量；
[0028]快门间隔时钟周期参数，所述快门间隔时钟周期参数指示以所述快门间隔时间标度参数的频率操作的时钟的时间单位的数量，
[0029]其中，所述快门间隔时钟周期参数除以所述快门间隔时间标度参数指示曝光持续时间值；
[0030]快门间隔持续时间标志，所述快门间隔持续时间标志指示曝光持续时间信息是否对于所述编码图片部分中的所有时间子层都是固定的；以及
[0031]如果所述快门间隔持续时间标志指示所述曝光持续时间信息是固定的，则通过基于所述快门间隔时间标度参数和所述快门间隔时钟周期参数计算所述曝光持续时间值来针对所述编码图片部分中的所有所述时间子层对所述视频图片序列的解码版本进行解码，否则
[0032]所述信令部分包括一个或多本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于使用处理器来处理编码视频流的方法，所述方法包括：接收包括编码图片部分和信令部分的编码比特流，所述编码图片部分包括对视频图片序列的编码，所述信令部分包括快门间隔参数，其中，所述快门间隔参数包括：快门间隔时间标度参数，所述快门间隔时间标度参数指示一秒中经过的时间单位的数量；固定快门间隔持续时间标志，所述固定快门间隔持续时间标志指示快门间隔持续时间信息是否对于所述编码图片部分中的所有图片都是固定的；并且如果所述固定快门间隔持续时间标志指示所述快门间隔持续时间信息是固定的，则所述信令部分包括：快门间隔时钟周期参数，所述快门间隔时钟周期参数指示以所述快门间隔时间标度参数的频率操作的时钟的时间单位的数量，其中，所述快门间隔时钟周期参数除以所述快门间隔时间标度参数指示所述编码图片部分中所有视频图片的曝光持续时间值，否则，所述快门间隔参数包括一个或多个子层快门间隔时钟周期参数的阵列，所述一个或多个子层快门间隔时钟周期参数指示针对所述编码图片部分中的一个或多个子层的所述快门间隔时间标度参数的频率下的时钟的时间单位的数量，其中，对于所...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：