支持基于观看方向的比特流随机访问制造技术

接收非随机访问视频流。根据非随机访问处理顺序在第二图像块之后对第一图像块进行编码。接收观看方向数据以指示与由该第一图像块覆盖的位置一致的观看者的观看方向。以随机访问处理顺序在这些第二图像块之前将该第一图像块编码到该随机访问视频流中。将该随机访问视频流输送到由该观看者操作的接收方解码设备，以使该第一图像块根据该随机访问处理顺序在这些第二图像块之前被处理和呈现。在这些第二图像块之前被处理和呈现。在这些第二图像块之前被处理和呈现。

【技术实现步骤摘要】
【国外来华专利技术】支持基于观看方向的比特流随机访问
[0001]背景
[0002]相关申请的交叉引用
[0003]本申请要求于2020年8月3日提交的美国临时专利申请号63/060,272、2020年8月3日提交的欧洲专利申请号20189127.2和美国的优先权，这些申请均通过引用并入本文。


[0004]本公开的实施例总体上涉及图像编码和呈现，并且具体地涉及视频编解码器。

技术介绍

[0005]如移动图片专家组1(MPEG
‑
1)视频、MPEG
‑
2视频、MPEG
‑
4视觉、H.264/高级视频编码(H.264/AVC)、高效视频编码(HEVC)等视频编码标准已随着时间发展成以相对低的比特率压缩和流式传输相对高质量的视频。
[0006]然而，在增强现实(AR)、虚拟现实(VR)或沉浸式视频应用中，观看者可以在不同时间点从不同的观看位置和不同的观看取向观看所描绘的场景。想要在任何时候都支持无缝高质量AR、VR或沉浸式视频体验，所需要的视频数据量是巨大的，难以支持并且甚至当前无法支持。
[0007]当将高质量图像内容流式传输、处理和呈现给观看者时，可能出现显著的时间滞后，这与观看者在位置和取向上的改变一致。观看者可以容易地感知到时间滞后。需要支持少有或没有伪影的高质量视频体验的视频流式传输和/或编码技术。
[0008]在本节中描述的方法是可以采用的方法，但不必是先前已经设想到或采用过的方法。因此，除非另有指示，否则不应该认为本节中描述的任何方法仅凭其纳入本节就可被视为现有技术。类似地，除非另有指示，否则关于一种或多种方法所认定的问题不应该基于本节而认为在任何现有技术中被认定。
附图说明
[0009]在附图中以举例而非限制的方式图示了本公开的实施例，并且其中类似的附图标记指代类似的元素，并且在附图中：
[0010]图1A图示了示例图像；图1B图示了示例非随机访问图像数据处理顺序；图1C图示了示例随机访问图像数据处理顺序；
[0011]图2A至图2C图示了用于非随机访问图像数据处理的示例视频输送流水线和示例编解码器；
[0012]图3A至图3C图示了用于随机访问图像数据处理的示例视频输送流水线和示例编解码器；
[0013]图4A和图4B图示了示例过程流程；以及
[0014]图5图示了可以在其上实施如本文描述的计算机或计算设备的示例硬件平台。
具体实施方式
[0015]本文描述了涉及用于比特流随机访问的编解码器保存状态的示例实施例。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对本公开的实施例的透彻理解。然而，将显而易见的是，可以在没有这些具体细节的情况下实践本公开的实施例。在其他情况下，没有详尽地描述众所周知的结构和设备以便避免不必要地遮蔽、模糊或混淆本公开的实施例。
[0016]本文根据以下概要描述了示例实施例：
[0017]1.总体概述
[0018]2.图像数据处理顺序
[0019]3.与观看方向无关的处理顺序
[0020]4.与观看方向相关的处理顺序
[0021]5.示例过程流程
[0022]6.实施机制——硬件概述
[0023]7.等效物、扩展、替代品和其他
[0024]1.总体概述
[0025]此概述介绍了本公开的示例实施例的一些方面的基本描述。应当注意的是，此概述不是对示例实施例的各方面的广泛或详尽总结。此外，应注意的是，此概述不旨在被理解为标识示例实施例的任何特别显著的方面或要素，也不旨在被理解为特别地描绘示例实施例的任何范围，也不是概括地描绘本公开的实施例。此概述仅以压缩和简化的格式介绍与示例实施例相关的一些概念，并且应被理解为仅仅是以下示例实施例的更详细说明的概念性前奏。注意，尽管本文讨论了单独的实施例，但是本文讨论的实施例和/或部分实施例的任何组合都可以组合以形成进一步实施例。
[0026]根据不实施如本文描述的技术的其他方法，具体编码的视频(例如，由如HEVC等具体标准编码的视频等)的编码器、解码器、视频数据打包器(例如，打包视频数据以进行流式传输或传输的设备或系统等)、流传输器(例如，流式传输或传输(多个)已编码视频的设备或系统等)等将遵循相同的具体布局的路径。编解码器通常不能偏离具体布局的路径并且不沿着具体布局的路径跳到任何具体块(例如，子宏块、宏块、编码单元、切片等)。
[0027]相比之下，如本文描述的技术可以用于提供或实施对压缩图像的区(例如，子宏块、宏块、编码单元、切片等)的直接随机访问，以实现高效的AR/VR/沉浸式视频编码。该区可以位于识别出的关注区域内，这可以基于主动用户反馈(例如，眼动追踪等)或创作意图。如本文描述的压缩比特流当被传输以呈现给观看者时可以被动态地打包以包括附加信息，如状态变量、相邻块指标和要用于解码随机访问的块的相似信息。这个附加信息可以作为包括但不一定仅限于SEI(补充增强信息)消息或辅助信息、PPS(图片参数集)、SPS(序列参数集)、切片标头等的图像元数据来发送。附加地、可选地或替代性地，附加信息可以与跟关注区域相关联的SEI消息传送或辅助信息、PPS(图片参数集)、SPS(序列参数集)、切片标头等一起被打包。
[0028]本文描述的示例实施例涉及提供视频流数据。访问用要以非随机访问处理顺序处理的图像块进行编码的非随机访问视频流。图像块中的第一图像块要根据非随机访问处理顺序在一个或多个第二图像块之后被处理。接收当观看者正在观看随机访问视频流的视频
内容时实时收集的观看者的观看方向数据。从非随机访问视频流生成随机访问视频流。观看方向数据指示当观看者正在观看随机访问视频流的视频内容时与由第一图像块覆盖的位置一致的观看者的观看方向。第一图像块以不同于非随机访问处理顺序的随机访问处理顺序在一个或多个第二图像块之前被编码到随机访问视频流中。随机访问处理顺序取决于当随机访问视频流的视频内容被呈现给观看者时观看者的观看方向。非随机访问处理顺序与观看者的观看方向无关。将随机访问视频流输送到由观看者操作的接收方解码设备，以使第一图像块根据随机访问处理顺序在一个或多个第二图像块之前从随机访问视频流中被处理和呈现。
[0029]本文描述的示例实施例涉及呈现视频流数据。从上游设备接收随机访问视频流。从非随机访问视频流生成随机访问视频流。将当观看者正在观看随机访问视频流的视频内容时实时收集的观看者的观看方向数据发送到上游设备。观看方向数据指示当观看者正在观看随机访问视频流的视频内容时与由图像块中的第一图像块覆盖的位置一致的观看者的观看方向。非随机访问视频流用要以非随机访问处理顺序处理的图像块进行编码。图像块中的第一图像块要根据非随机访问处理顺序在一个或多个第二图像块之后被处理。随机访问处理顺序取决于当随机访问视频流的视频内容被呈现给观看者时观看者的观看方向。非随机访问处理顺序与观看者的观看方向无关。通过随机访问视频流的方式在一个或多个本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于提供视频流数据的方法，所述方法包括：访问用要以非随机访问处理顺序处理的图像块进行编码的非随机访问视频流，其中，所述图像块中的第一图像块要根据所述非随机访问处理顺序在一个或多个第二图像块之后被处理；从接收方解码设备接收当观看者正在观看随机访问视频流的视频内容时实时收集的所述观看者的观看方向数据，其中，从所述非随机访问视频流生成所述随机访问视频流，其中，所述观看方向数据指示当所述观看者正在观看所述随机访问视频流的视频内容时与由所述第一图像块覆盖的位置一致的所述观看者的观看方向；以不同于所述非随机访问处理顺序的随机访问处理顺序在所述一个或多个第二图像块之前将所述第一图像块编码到所述随机访问视频流中，其中，所述随机访问处理顺序取决于当所述随机访问视频流的视频内容被呈现给所述观看者时所述观看者的观看方向；其中，所述非随机访问处理顺序与所述观看者的观看方向无关；将所述随机访问视频流输送到由所述观看者操作的所述接收方解码设备以使所述第一图像块根据所述随机访问处理顺序在所述一个或多个第二图像块之前从所述随机访问视频流中被处理和呈现。2.如权利要求1所述的方法，其中，所述非随机访问处理顺序表示以下各项中的一项：光栅顺序、之字形顺序或与观看方向无关的处理顺序。3.如权利要求1或2所述的方法，其中，所述第一图像块属于覆盖所述观看者的视口的两个或更多个图像块的组；其中，所述一个或多个第二图像块在所述观看者的视口之外；其中，包括所述第一图像块在内的两个或更多个图像块的所述组被加速以在所述一个或多个第二图像块之前输送到所述接收方解码设备。4.如权利要求1至3中任一项所述的方法，其中，所述第一图像块属于覆盖所述观看者的关注区域的两个或更多个图像块的组；其中，所述一个或多个第二图像块在所述观看者的关注区域之外；其中，包括所述第一图像块在内的两个或更多个图像块的所述组被加速以在所述一个或多个第二图像块之前输送到所述接收方解码设备。5.如权利要求1至4中任一项所述的方法，其中，所述非随机访问视频流包括要与所述第一图像块一起输送的第一图像元数据部分；其中，所述第一图像元数据部分用于将视频编解码器从先前编码状态转变到当前编码状态以解码所述第一图像块；其中，所述视频编解码器使用所述先前编码状态来解码要根据所述非随机访问处理顺序在所述第一图像块之前解码的先前图像块。6.如权利要求1至5中任一项所述的方法，其中，所述随机访问视频流包括与所述第一图像块一起输送到所述接收方解码设备的第一修改后的图像元数据部分；其中，所述第一修改后的图像元数据部分用于避免根据所述非随机访问处理顺序经历所述先前编码状态，并且用于将所述接收方解码设备转变到所述当前编码状态以解码所述第一图像块。7.如权利要求5和6所述的方法，其中，所述第一修改后的图像元数据部分不同于所述第一图像元数据部分。8.如权利要求7所述的方法，其中，所述第一修改后的图像元数据部分包含对可变长度编码操作的状态的更新；其中，所述第一图像元数据部分不包含所述更新。9.如权利要求7或8中任一项所述的方法，其中，所述第一修改后的图像元数据部分包
含对预测性编码操作的状态的更新；其中，所述第一图像元数据部分不包含所述更新。10.如权利要求1至9中任一项所述的方法，其中，所述随机访问视频流用于支持以下各项中的一项：增强现实应用、虚拟现实应用、电影院视频应用、基于家庭的视频应用、视频流式传输应用、基于云的视频应用、基于Wi
‑
Fi的视频应用、基于蜂窝数据...

【专利技术属性】
技术研发人员：C，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：