媒体数据处理方法及系统技术方案

本文描述了一种媒体数据处理方法及系统，用于生成和获得沉浸式媒体的视频数据。提供沈浸式媒体的视频数据由与客户端设备通信的方法由服务器实现，包括：在客户端第一次访问沉浸式内容的媒体数据流的时间点，从客户端设备接收访问与沈浸式内容相关联的媒体数据流的请求；确定传送到客户端设备的沉浸式内容的媒体数据的初始部分，初始部分从客户端请求访问的时间点开始；以及响应于访问媒体数据流的请求，传输媒体数据的初始部分。本文的媒体数据处理方法及系统可以节省带宽。处理方法及系统可以节省带宽。处理方法及系统可以节省带宽。

【技术实现步骤摘要】
媒体数据处理方法及系统
[0001]【交叉引用】
[0002]本申请要求2021年7月5日提交的标题为“SYSTEM AND METHOD OF SERVER
‑
SIDE DYNAMIC SPATIAL AND TEMPORAL ADAPTATIONS FOR MEDIA PROCESSING AND STREAMING”的美国临时申请63/218,432的优先权，其全部内容通过引用并入本文。


[0003]本文所描述的技术总体上涉及用于媒体处理和流式传输(streaming)的服务器端动态空间和时间适配，包括用于2D内容的流和用于实时沉浸式内容(live immersive content)。

技术介绍

[0004]存在各种类型的3D内容和多向内容。例如，全向视频是一种使用一组摄像机，而不是像传统单向视频那样仅使用单个摄像机捕获的视频。例如，可以将摄像机放置在特定的中心点周围，以便每个摄像机捕获场景的球形覆盖范围内的一部分视频，从而捕获360度视频。来自多个摄像机的视频可以被拼接、可能旋转和投影，以生成代表球形内容的投影二维图像。例如，可以使用等长矩形投影将球面图放入二维图像中。然后可以进一步使用例如二维编码和压缩技术处理。最终，使用期望的传送机制(例如，闪存(thumb drive)、数字视频磁盘(DVD)、文件下载、数字广播和/或在线流媒体)来存储和传送编码和压缩的内容。这种视频可用于虚拟现实(VR)和/或3D视频。
[0005]在客户端，当客户端处理内容时，视频解码器对编码和压缩的视频进行解码，并执行逆投影以将内容放回球体上。用户然后可以查看呈现的内容，例如使用头戴式查看设备。内容通常根据用户的视埠(viewport)呈现，视埠代表用户查看内容的角度。视埠还可以包括表示观看区域的组件，该组件可以描述观看者以特定角度观看的区域的大小和形状。
[0006]当视频处理不以视埠相关的方式进行时，使得视频编码器和/或解码器不知道用户将实际观看什么，那么整个编码、传送和解码过程将处理整个球面内容。例如，这可以允许用户在任何特定视埠和/或区域查看内容，因为所有球形内容都被编码、传递和解码。但是，处理所有球形内容可能是计算密集型的，并且会消耗大量带宽。
[0007]在线流(Online streaming)技术，例如基于HTTP的动态自适应流(dynamic adaptive streaming over HTTP，简写为DASH)、HTTP实时流(HTTP Live Streaming，简写为HLS)等，可以提供自适应比特率媒体流技术(包括多向内容和/或其他媒体内容)。例如，DASH可以允许客户端请求可用的多个内容版本之一，以便客户端选择所请求的内容以满足客户端的当前需求和/或处理能力。然而，这样的流技术需要客户端执行的适配会给客户端设备带来沉重的负担和/或可能无法通过低成本设备实现。

技术实现思路

[0008]根据所公开的主题，提供了装置、系统和方法，例如用于实现用于媒体处理和流式
传输的动态空间和时间适配，包括用于2D内容的流式传输和用于实时沉浸式内容。
[0009]根据一个实施例，提供沈浸式媒体的视频数据由与客户端设备通信的方法由服务器实现，包括：在客户端第一次访问沉浸式内容的媒体数据流的时间点，从客户端设备接收访问与沈浸式内容相关联的媒体数据流的请求；确定传送到客户端设备的沉浸式内容的媒体数据的初始部分，初始部分从客户端请求访问的时间点开始；以及响应于访问媒体数据流的请求，传输媒体数据的初始部分。
[0010]根据一个实施例，媒体数据处理方法，用于获取沈浸式媒体的视频数据，由与服务器设备通信的客户端实现，方法包括：在客户端设备首先访问沉浸式内容的媒体数据流的时间点访问沉浸式内容的媒体数据流，包括向服务器发送在时间点访问沉浸式内容的请求；以及响应于访问媒体数据流的请求，从客户端请求访问的时间点开始接收沉浸式内容的媒体数据的初始部分。
[0011]根据一个实施例，媒体数据处理系统，包括至少一个处理器，被配置为执行用于提供沈浸式媒体的视频数据的方法，方法由与客户端设备通信的服务器实现，方法包括：在客户端第一次访问沉浸式内容的媒体数据流的时间点，从客户端设备接收访问与沈浸式内容相关联的媒体数据流的请求；确定传送到客户端设备的沉浸式内容的媒体数据的初始部分，初始部分从客户端请求访问的时间点开始；以及响应于访问媒体数据流的请求，传输媒体数据的初始部分。
[0012]本文的媒体数据处理方法及系统可以节省带宽。
[0013]因此，已经相当广泛地概述了所公开主题的特征，以便可以更好地理解下面的详细描述，并且可以更好地理解对本领域的当前贡献。当然，所公开的主题的附加特征将在下文中描述并且将形成所附权利要求的主题。应当理解，这里使用的措辞和术语是为了描述的目的而不应被视为限制性的。
【附图说明】
[0014]在附图中，各个图中所示的每个相同或几乎相同的部件由相同的附图标记表示。为清楚起见，并非每个组件都可以在每张图中标记。附图不一定按比例绘制，而是重点放在说明本文描述的技术和设备的各个方面。
[0015]图1示出了根据一些实施例的示例性视频编码配置。
[0016]图2示出了根据一些示例的用于VR内容的视埠相关(viewport dependent)内容流程。
[0017]图3示出了根据一些实施例的示例性轨道分层结构。
[0018]图4示出了根据一些示例的轨道导出操作的示例。
[0019]图5示出了根据一些实施例的自适应流系统的示例性配置。
[0020]图6示出了根据一些示例的包括媒体呈现描述(MPD)的示例性清单。
[0021]图7示出了客户端动态自适应流系统的示例性配置。
[0022]图8示出了根据一些实施例的端到端流媒体处理的示例。
[0023]图9示出了根据一些实施例的服务器端自适应流系统的示例性配置。
[0024]图10示出了根据一些实施例的使用服务器端自适应流的端到端流媒体处理的示例。
[0025]图11示出了根据一些实施例的混合侧自适应流(mixed side adaptive streaming)系统的示例性配置。
[0026]图12示出了根据一些实施例的用于轨道选择或切换的示例性参数列表。
[0027]图13示出了根据一些实施例的示例性视埠/视点相关数据结构属性。
[0028]图14示出了根据一些实施例的用于球形、长方体和平面区域的视埠、视点和空间对象相关数据结构属性的示例性列表。
[0029]图15示出了根据一些实施例的可以由客户端设备使用的时间适配相关属性的示例性列表，例如用于向服务器指示媒体请求是用于切换到实时事件(live event)还是快速加入到流中。
[0030]图16示出了根据一些实施例的在用于常规客户端自适应流传输的适配集中具有多个表示的示例。
[0031本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种媒体数据处理方法，用于提供沈浸式媒体的视频数据，由与客户端设备通信的服务器实现，该方法包括：在客户端第一次访问沉浸式内容的媒体数据流的时间点，从该客户端设备接收访问与该沈浸式内容相关联的该媒体数据流的请求；确定传送到该客户端设备的该沉浸式内容的媒体数据的初始部分，该初始部分从该客户端请求访问的该时间点开始；以及响应于访问该媒体数据流的该请求，传输该媒体数据的该初始部分。2.根据权利要求1所述的媒体数据处理方法，其中：访问该媒体数据流的该请求是HTTP请求，并且在该服务器向该客户端设备发送该沉浸式内容的任何清单数据之前从客户端设备接收该请求；以及在向该客户端设备发送该沉浸式内容的第一清单数据之前发送该媒体数据的该初始部分，或一起发送该沉浸式内容的该第一清单数据和该媒体数据的初始部分。3.根据权利要求1所述的媒体数据处理方法，其中，该媒体数据的该初始部分包括一个或多个低质量媒体数据段。4.根据权利要求3所述的媒体数据处理方法，其中，该媒体数据的该初始部分还包括初始化段。5.根据权利要求1所述的媒体数据处理方法，其中，确定该沉浸式内容的该媒体数据的该初始部分包括：访问包括多个媒体轨道的媒体数据，每个媒体轨道包括对应于该沉浸式内容的不同空间部分的不同媒体数据；基于该请求，从该多个媒体轨道中确定与该客户端设备的视埠相对应的一组媒体轨道；以及生成适合于包括该媒体数据的该初始部分的单个轨道，并将包括该媒体数据的部分的适配轨道传输到该客户端设备。6.根据权利要求5所述的媒体数据处理方法，其中，该媒体数据的该初始部分包括来自该多个媒体轨道的多个拼接块，每个块对应于该沉浸式内容的不同部分中的一个。7.根据权利要求1所述的媒体数据处理方法，其中，该沉浸式内容是实时沉浸式内容，并且该时间点是该服务器拥有的该沉浸式内容的最新的时间。8.根据权利要求7所述的媒体数据处理方法，其中，访问该媒体数据流的该请求包括该实时沉浸式内容、该客户端设备或其某种组合的一个或多个参数。9.根据权利要求8所述的媒体数据处理方法，其中，该实时沉浸式内容的该一个或多个参数包括该实时沉浸式内容的三维尺寸。10.根据权利要求7所述的媒体数据处理方法，还包括：确定该实时沉浸式内容不可用；以及向该客户端设备发送在访问该媒体数据流的该时间点的内容不可用的指示。11.一种媒体数据处理方法，用于获取沈浸式媒体的视频数据，由与服务器设备通信的客户端实现，该方法包括：在该客户端...

【专利技术属性】
技术研发人员：王新，陈鲁林，
申请(专利权)人：联发科技新加坡私人有限公司，
类型：发明
国别省市：