用于媒体场景描述的方法和设备技术

一种用于管理媒体存储和传送的系统、方法和装置，包括：获得关于三维(3D)场景的信息；从信息中获得指示启用视口适配的参数；渲染3D场景，其中，3D场景包括要在3D场景内再现的至少一个二维(2D)视频；获得用户的当前视口；确定至少一个2D视频是否在当前视口的范围内；以及基于该确定的结果调整至少一个2D视频的比特率。率。率。

【技术实现步骤摘要】
【国外来华专利技术】用于媒体场景描述的方法和设备
[0001]相关申请的交叉引用
[0002]本申请要求2021年1月6日提交的美国临时申请第63/134,568号和2021年9月29日提交的美国申请第17/489,103号的优先权，上述美国申请的公开内容通过引用整体并入本文。


[0003]本公开内容的实施方式涉及支持使用三维(3D)建模语法的媒体对象的系统设计，实现支持各种媒体编解码器、容器和格式的媒体语法，通过预定义的编程接口管理媒体存储和传送方法，以及提供媒体缓冲控制和渲染功能。

技术介绍

[0004]ISO/IEC 23009
‑
1基于超文本传输协议的动态自适应流传输(DASH)标准是自适应比特率流传输技术，该自适应比特率流传输技术能够使用HTTP作为传输层协议来实现高质量。
[0005]图形语言传输格式(glTF)是API中立的运行时资产3D建模传送格式。与传统的3D建模工具相比，glTF为3D内容的传输和加载提供了更有效、可扩展、可互操作的格式。glTF2.0是由Khronos 3D小组编写的glTF规范的最新版本。该格式支持通常能够支持场景中的静态(非定时)对象的简单的场景图形格式，包括“png”和“jpeg”图像格式。glTF2.0支持简单的动画，包括对使用glTF图元描述的基本形状(即几何对象)的平移、旋转和缩放的支持。glTF2.0不支持定时媒体，并且因此既不支持视频也不支持音频。
[0006]“Information technology—Coding of audiovisual objects—Part 12:ISO base media file format”，ISO/IEC 14496
‑
12(2015年12月)，“Draft of FDIS of ISO/IEC 23000
‑
19Common Media Application Format for Segmented Media”，ISO/IEC JTC1/SC29/WG11 MPEG117/16819(2017年4月)和“Text of ISO/IEC FDIS 23009
‑
1 4th edition”，ISO/IEC JTC 1/SC 29/WG 11 N18609(2019年8月)以及glTF2.0规范通过引用整体并入本文。

技术实现思路

[0007]根据实施方式，管理媒体存储和传送的方法包括：获得关于三维(3D)场景的信息；从信息中获得指示启用视口适配的参数；渲染3D场景，其中，3D场景包括要在该3D场景内再现的至少一个二维(2D)视频；获得用户的当前视口；确定至少一个2D视频是否在当前视口的范围内；以及基于该确定的结果来调整至少一个2D视频的比特率。
[0008]根据实施方式，一种用于管理媒体存储和传送的装置，该装置包括：被配置成存储程序代码的至少一个存储器；以及至少一个处理器，其被配置成读取程序代码并按照程序代码所指示的进行操作，该程序代码包括：第一获得代码，该第一获得代码被配置成使至少一个处理器获得关于三维(3D)场景的信息；第二获得代码，该第二获得代码被配置成使至
少一个处理器从信息中获得指示启用视口适配的参数；渲染代码，该渲染代码被配置成使至少一个处理器渲染3D场景，其中，3D场景包括要在该3D场景内再现的至少一个二维(2D)视频；第三获得代码，该第三获得代码被配置成使至少一个处理器获得用户的当前视口；第二确定代码，该第二确定代码被配置成使至少一个处理器确定至少一个2D视频是否在当前视口的范围内；以及调整代码，该调整代码被配置成使至少一个处理器基于该确定的结果来调整至少一个2D视频的比特率。
[0009]根据实施方式，非暂态计算机可读介质存储指令，所述指令包括一个或更多个指令，所述一个或更多个指令在由用于管理媒体存储和传送的装置的至少一个处理器执行时使该至少一个处理器执行以下操作：获得关于三维(3D)场景的信息；从信息中获得指示启用视口适配的参数；渲染3D场景，其中，3D场景包括要在该3D场景内再现的至少一个二维(2D)视频；获得用户的当前视口；确定至少一个2D视频是否在当前视口的范围内；以及基于该确定的结果来调整至少一个2D视频的比特率。
附图说明
[0010]根据以下详细描述和附图，所公开的主题的另外的特征、性质和各种优点将更明显，在附图中：
[0011]图1是根据实施方式的可以实现本文所述的方法、装置和系统的环境的图。
[0012]图2是根据实施方式的图1的一个或更多个装置的示例部件的框图。
[0013]图3是根据实施方式的glTF场景描述对象的示意性说明。
[0014]图4是根据实施方式的媒体场景描述系统参考架构的示意性说明。
[0015]图5是根据实施方式的glTF JavaScript对象符号(JSON)格式表示的示例。
[0016]图6A是根据实施方式的MPEG glTF扩展的示例。
[0017]图6B是根据实施方式的定时媒体JSON表示的示例。
[0018]图7是根据实施方式的沉浸式场景情景中的两次或更多次媒体回放的示意性说明。
[0019]图8是根据实施方式的DASH视口适配顶级语法的示意性说明。
[0020]图9是根据实施方式的MPEG_dash_viewport_adaptation使用的示例的示意性说明。
[0021]图10A至图10B是根据实施方式的用于管理媒体存储和传送的示例过程的图。
具体实施方式
[0022]图1是根据实施方式的可以实现本文中描述的方法、设备和系统的环境100的图。如图1所示，环境100可以包括用户装置110、平台120和网络130。环境100的各装置可以经由有线连接、无线连接或者有线连接和无线连接的组合进行互连。
[0023]用户装置110包括能够接收、生成、存储、处理和/或提供与平台120相关联的信息的一个或更多个装置。例如，用户装置110可以包括计算装置(例如，台式计算机、膝上型计算机、平板计算机、手持计算机、智能扬声器、服务器等)、移动电话(例如，智能电话、无线电话等)、可穿戴装置(例如，一副智能眼镜或智能手表)或类似装置。在一些实现方式中，用户装置110可以从平台120接收信息以及/或者向平台120发送信息。
[0024]平台120包括如本文中其他地方描述的一个或更多个装置。在一些实现方式中，平台120可以包括云服务器或一组云服务器。在一些实现方式中，平台120可以被设计成模块化的，使得软件组件可以根据特定需要被换入或换出。如此，可以针对不同用途容易地和/或快速地重新配置平台120。
[0025]在一些实现方式中，如图所示，平台120可以被托管在云计算环境122中。值得注意的是，尽管本文中描述的实现方式将平台120描述为托管在云计算环境122中，但在一些实现方式中，平台120可以不是基于云的(即，可以在云计算环境之外实现)本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种管理媒体存储和传送的方法，包括：获得关于三维(3D)场景的信息；从所述信息中获得指示启用视口适配的参数；渲染所述3D场景，其中，所述3D场景包括要在所述3D场景内再现的至少一个二维(2D)视频；获得用户的当前视口；确定所述至少一个2D视频是否在所述当前视口的范围内；以及基于所述确定的结果调整所述至少一个2D视频的比特率。2.根据权利要求1所述的方法，其中，所述调整包括：基于确定所述至少一个2D视频在所述当前视口的范围内，增加所述比特率；以及基于确定所述至少一个2D视频在所述当前视口的范围之外，降低所述比特率。3.根据权利要求1所述的方法，其中，所述至少一个2D视频包括具有第一比特率的第一2D视频和具有第二比特率的第二2D视频，以及其中，所述调整包括：基于确定所述第一2D视频在所述当前视口的范围内并且所述第二2D视频在所述当前视口的范围之外，将所述第二比特率调整为低于所述第一比特率。4.根据权利要求1所述的方法，其中，所述信息包括图形语言传输格式(glTF)资产。5.根据权利要求4所述的方法，其中，所述glTF资产包括JavaScript对象符号(JSON)对象。6.根据权利要求4所述的方法，其中，所述参数被包括在所述glTF资产的摄像机节点中。7.根据权利要求4所述的方法，其中，所述参数被包括在由所述glTF资产指定的运动图像专家组(MPEG)媒体扩展中。8.根据权利要求7所述的方法，其中，所述参数涉及使用基于超文本传输协议的MPEG
‑
动态自适应流传输(MPEG
‑
DASH)来对所述至少一个2D视频进行流传输。9.一种用于管理媒体存储和传送的装置，所述装置包括：被配置成存储程序代码的至少一个存储器；以及至少一个处理器，所述至少一个处理器被配置成读取所述程序代码并按照所述程序代码所指示的进行操作，所述程序代码包括：第一获得代码，所述第一获得代码被配置成使所述至少一个处理器获得关于三维(3D)场景的信息；第二获得代码，所述第二获得代码被配置成使所述至少一个处理器从所述信息中获得指示启用视口适配的参数；渲染代码，所述渲染代码被配置成使所述至少一个处理器对所述3D场景进行渲染，其中，所述3D场景包括要在所述3D场景内再现的至少一个二维(2D)视频；第三获得代码，所述第三获得代码被配置成使所述至少一个处理器获得用户的当前视口；第二确定代码，所述第二确定代码被配置成使所述至少一个处理器确定所述至少一个2D视频是否在所述当前视口的范围内；以及调整代码，所述调整代码被配置成使所述至少一个处理器基于所述确定的结果来调整
所述至少一个2D视频的比特率。10.根据权利要求9所述的装置，其中，所述调整代码包括：增加代...

【专利技术属性】
技术研发人员：赵帅，史蒂芬文格尔，伊拉吉索达加，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：