信息处理装置、信息处理方法、再现处理装置和再现处理方法制造方法及图纸

提供了一种信息处理装置、再现处理装置、信息处理方法和再现处理方法，通过这些装置和方法，客户端设备能够高效地选择内容配置。预处理单元针对具有表示虚拟空间的内容配置的一个或更多个内容生成用于确定内容的再现处理是否可能的内容配置选择信息，该内容配置由一个或更多个三维对象及其空间布置信息配置。文件生成单元生成包含虚拟空间的数据和内容配置选择信息的文件。配置选择信息的文件。配置选择信息的文件。

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置、信息处理方法、再现处理装置和再现处理方法


[0001]本专利技术涉及信息处理装置、信息处理方法、再现处理装置和再现处理方法。

技术介绍

[0002]在当前视频分发中，主要分发用于分发电影等的二维视频。在下文中，二维视频可以被称为二维(2D)内容。此外，在网络上的视频发布站点上也发布能够在所有方向上观看的360度视频。在所有方向上能够观看指示可以自由选择视线方向。360度视频被称为3自由度(3DoF)视频或3DoF内容。在2D内容和3DoF内容两者中，基本从分发服务器分发二维编码的视频并且将其显示给客户端。
[0003]还存在被称为3DoF+内容的内容。3DoF+内容是可以与3DoF内容类似地在所有方向上观看的内容，并且还允许视点位置的稍微偏移。假设在3DoF+内容中的视点位置的偏移在用户可以在就座状态下移动头部的范围内被允许。在3DoF+内容中，通过使用一个或多个二维编码的视频来实现视点位置的偏移。
[0004]此外，已经提出了分发被称为6DoF内容的6DoF视频作为具有更高自由度的视频。6DoF视频是可以在三维空间中的所有方向上观看并且可以通过在所显示的三维空间中四处走动来观看的视频。在三维空间中四处走动意味着可以自由选择视点位置。在下文中，三维空间可以被称为3D空间。
[0005]6DoF内容是三维内容，其中三维空间由一个或多个三维模型数据表示。三维模型数据可以被称为3D模型数据，并且三维内容也可以被称为3D内容。
[0006]作为分发6DoF内容的方法的示例，通过利用多个三维模型数据配置三维空间，将6DoF内容作为多个对象流发送。此时，可以使用被称为场景描述的关于三维空间的配置信息。其示例是运动图像专家组(MPEG)
‑
4场景描述。作为表示方法的场景描述是这样的方法，其中场景由被称为场景图的具有树分层结构的图来表示，而场景图以二进制格式表示。
[0007]6DoF内容是表示用每个时间的三维模型数据表示三维空间的视频材料。用于表示6DoF内容的方案的示例包括以下三种方案。
[0008]一种方案是在本专利技术中被称为基于对象的表示方案的表示方案。在基于对象的表示方案中，6DoF内容具有这样的内容配置，其中在三维空间中布置诸如人或物的每个三维对象的三维模型数据以表示整个三维空间，该三维对象是要在视频中显示的个体目标对象。基于对象的表示方案的特征在于，执行6DoF内容的再现的客户端同时处理三种方案之间的最大数目的三维模型数据。另一方面，在基于对象的表示方案中，在显示诸如个体人或物的每个三维对象时可以改变定义。因此，可以说基于对象的表示方案是这样的配置方法，其中在这三种方法中，客户端在再现处理中具有高自由度。
[0009]另一方案是在本专利技术中被称为基于空间的表示方案。在基于空间的表示方案中，6DoF内容具有这样的内容配置，其中整个目标三维空间被表示为一个三维模型数据，而不将诸如人或物的每个三维对象分开为三维模型数据。基于空间的表示方案的特征在于，在这三个方案中，客户端在再现时处理一个三维模型数据，需要最低的处理能力。另一方面，
由于整个6DoF内容的定义是固定的，因此可以说客户端在再现处理中具有极低的自由度。
[0010]又一方案是基于空间的表示方案与基于对象的表示方案的组合。在下文中，该表示方案将被称为混合型表示方案。在混合型表示方案中，6DoF内容具有这样的内容配置，其中特定三维对象由独立的三维模型数据表示，并且除了特定三维对象之外的三维空间由一个三维模型数据表示。在混合型表示方案中，客户端在再现处理中使用多个三维模型数据，但是三维模型数据的数目小于在基于对象的表示方案中使用的三维模型数据的数目。即，在混合型表示方案中，要求客户端具有与基于空间的表示方案中的处理能力相比更高的处理能力，但是可以具有与基于对象的表示方案中的处理能力相比更低的处理能力。另外，类似地可以说客户端在再现处理中具有与基于空间的表示方案中的自由度相比更高的自由度，并且在再现处理中具有与基于对象的表示方案中的自由度相比更低的自由度。
[0011]如上所述，在表示方案中的每一个中，6DoF内容具有不同的内容配置。此时，在创建场景描述以在不同的表示方案中包括若干6DoF内容的情况下，优选的是，客户端选择自由度尽可能高的表示方案的内容配置，使得可以进一步扩展用户的观看体验。
[0012]引用列表
[0013]非专利文献
[0014]非专利文献1：“ISO/IEC 14496
‑
11:2015”，信息技术.视听对象的编码.第11部分：Sene description and application engine，2015
‑
11

技术实现思路

[0015]技术问题
[0016]然而，在从场景描述中选择适当的内容配置的情况下，客户端在执行各种分析之后选择内容配置。分析的示例包括整个场景描述的分析、媒体呈现描述(MPD)中的AdaptationSet的分析等。这样的分析包括对实际不使用的部分的分析，并且因此可以说客户端设备在选择内容配置方面效率较低。
[0017]因此，本公开内容提供了使得客户端设备能够高效地选择内容配置的信息处理装置、信息处理方法、再现处理装置和再现处理方法。
[0018]问题的解决方案
[0019]根据本公开内容，预处理单元针对一个或多个内容生成用于确定内容中的每一个是否能够再现的内容配置选择信息，内容中的每一个具有内容配置，该内容配置包括一个或更多个三维对象及其空间布置信息以表示虚拟空间。文件生成单元生成包括关于虚拟空间的数据和内容配置选择信息的文件。
附图说明
[0020]图1是示出6DoF内容的配置的图。
[0021]图2是分发系统的示例的系统配置图。
[0022]图3是文件生成设备的框图。
[0023]图4是用于描述根据第一实施方式的存储内容配置选择信息的方法的图。
[0024]图5是示出第一实施方式中的扩展交换节点的语法的示例的图。
[0025]图6是客户端设备的框图。
[0026]图7是由根据第一实施方式的文件生成设备进行的文件生成处理的流程图。
[0027]图8是由根据第一实施方式的客户端设备执行的再现处理的流程图。
[0028]图9是示出第一实施方式的修改(1)中的场景描述的ISOBMFF文件的图。
[0029]图10是示出第一实施方式的修改(1)中的SampleEntry中存储的内容配置选择信息的语法的示例的图。
[0030]图11是示出一组内容配置选择信息的示例的图。
[0031]图12是示出Matroska媒体容器格式的图。
[0032]图13是用于描述根据第一实施方式的修改(4)的存储内容配置选择信息的方法的图。
[0033]图14是示出RequiedPerformance节点的语法的示例的图。
[0034]图15本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种信息处理装置，包括：预处理单元，其针对一个或多个内容生成用于确定所述内容中的每一个是否可再现的内容配置选择信息，所述内容中的每一个具有内容配置，所述内容配置包括一个或更多个三维对象及其空间布置信息以表示虚拟空间；以及文件生成单元，其生成包括关于所述虚拟空间的数据和所述内容配置选择信息的文件。2.根据权利要求1所述的信息处理装置，其中，所述预处理单元将所述内容配置选择信息设置为包括可用性标识信息，所述可用性标识信息用于确定在再现所述内容的再现处理装置中是否能够针对所述虚拟空间的整体执行解码和渲染。3.根据权利要求2所述的信息处理装置，其中，所述预处理单元将所述内容配置选择信息存储在场景描述中。4.根据权利要求3所述的信息处理装置，其中，所述预处理单元将所述内容配置选择信息存储在所述场景描述的交换节点中。5.根据权利要求3所述的信息处理装置，其中，所述预处理单元将所述每个内容配置的所述内容配置选择信息存储在所述场景描述中。6.根据权利要求2所述的信息处理装置，其中，所述预处理单元生成所述内容配置选择信息作为元数据，并且所述文件生成单元生成存储所述内容配置选择信息的内容文件。7.根据权利要求6所述的信息处理装置，其中，所述文件生成单元生成所述内容文件作为ISO基础媒体文件格式(ISOBMFF)文件，并且将所述内容配置选择信息存储在所述内容文件的SampleEntry的6DoFConentStructBox中。8.根据权利要求2所述的信息处理装置，其中，所述预处理单元具有其中预先确定了所述内容配置的每个组的所述内容配置选择信息，并且将所述内容中的每一个所属的所述组的所述内容配置选择信息设置为所述内容中的每一个的所述内容配置选择信息。9.根据权利要求2所述的信息处理装置，其中，所述预处理单元生成所述内容配置选择信息作为元数据，并且所述文件生成单元生成存储所述内容配置选择信息的元数据文件。10.根据权利要求9所述的信息处理装置，其中，所述文件生成单元生成所述元数据文件作为媒体呈现描述(MPD)文件，并且将所述内容配置选择信息存储在所述MPD文件的AdaptationSet中。11.根据权利要求2所述...

【专利技术属性】
技术研发人员：胜股充，高桥辽平，平林光浩，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：