信息处理装置、再现处理装置和信息处理方法制造方法及图纸

技术编号:33540405 阅读:13 留言:0更新日期:2022-05-21 09:46
提供了用于提高数据传输效率的信息处理装置、再现处理装置和信息处理方法。预处理单元(102)生成随时间变化的动态场景构成信息以及不随时间变化的作为与动态场景构成信息不同的场景构成信息的静态场景构成信息,作为表示三维空间中的三维对象所组成的6DoF内容的场景构成的场景构成信息。场景构成的场景构成信息。场景构成的场景构成信息。

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置、再现处理装置和信息处理方法


[0001]本专利技术涉及信息处理装置、再现处理装置和信息处理方法。

技术介绍

[0002]在当前视频分发中,用于分发电影等的称为二维视频的二维内容分发是主流。此外,在因特网上的各种网站上也提供了可以在全部方向上观看的360度视频的分发。360度视频也称为3DoF(自由度)视频。在二维视频和3DoF视频中,基本上二维编码的内容被分发并显示在客户端装置上。
[0003]同时,作为具有进一步自由度的视频,已经提出了被称为6DoF视频的6DoF视频内容的分发。可以在三维空间中的全部方向上观看6DoF视频内容,并且还可以选择空间中的自由位置。6DoF视频内容是表示三维空间的内容,并且可以自由设置再现时的视点方向和视点位置。类似地,对于音频,存在分发6DoF音频内容的6DoF音频,在6DoF音频内容中可以选择三维空间中的观看位置和观看方向。通过将6DoF视频内容和6DoF音频内容组合获得的内容称为6DoFAV内容。6DoF视频用一条或多条三维模型数据表示三维空间。在下文中,三维模型数据称为3D模型数据。6DoF音频通过多个音频对象表示存在于三维空间中的多个声源。
[0004]6DoFAV内容是如下内容,在该内容中,包括包含被称为场景的6DoF视频的3D模型数据以及包含6DoF音频的音频对象的3D空间针对每个时间连续。每个场景包括3D模型数据或音频对象的比特流以及场景描述。场景描述包括用于重构三维空间的3D模型数据的布置信息以及比特流的访问信息。
[0005]此处,3D模型数据的位置可能针对每个时间变化。当3D模型数据针对每个时间变化时,场景也针对每个时间变化。例如,在MPEG

4场景描述中,在场景针对每个时间变化时,可以发送变化节点的差异信息,以减少要传送的数据的量。利用这种机制,就不必一直保存整个场景的信息。
[0006]引用列表
[0007]非专利文献
[0008]非专利文献1:“ISO/IEC 14496

12”,第五版,2015年12月15日

技术实现思路

[0009]技术问题
[0010]然而,在6DoF内容中实现选择时间和再现的随机访问再现的情况下,当期望随机访问的时间的场景信息是差异信息时,难以再现整个场景。因此,为了实现随机访问的再现,提出了如下技术,在该技术中,周期性地设置用于获取整个场景的配置信息的随机访问点并且在该随机访问点处保存整个场景的信息。
[0011]然而,6DoFAV内容的场景描述包括不随时间变化的静态信息和随时间变化的动态信息。当场景描述包括静态信息和动态信息时,针对每个随机访问点获取静态信息和动态
信息两者。即,客户端甚至需要接收原本不需要多次接收的静态信息,这可能会导致传输效率降低和处理成本增加。
[0012]因此,本公开提出了一种提高数据传输效率的信息处理装置、再现处理装置和信息处理方法。
[0013]问题的解决方案
[0014]为了解决上述问题,根据本公开的实施例的信息处理装置包括预处理单元,该预处理单元生成随时间变化的动态场景配置信息和不随时间变化的静态场景配置信息作为指示6DoF内容的场景的配置的场景配置信息,其中,静态场景配置信息是不同于动态场景配置信息的场景配置信息。
附图说明
[0015]图1是分发系统的示例的系统配置图。
[0016]图2是示出场景图的示例的图。
[0017]图3是示出音频比特流的配置的图。
[0018]图4是示出存储在场景图的每个节点中的语法的示例的图。
[0019]图5是文件生成装置的框图。
[0020]图6是示出根据第一实施例生成的场景描述的图。
[0021]图7是示出第一实施例中的ISOBMFF文件中的每个场景描述的存储的图。
[0022]图8是客户端装置的框图。
[0023]图9是根据第一实施例的文件生成装置进行的文件生成处理的流程图。
[0024]图10是根据第一实施例的客户端装置执行的再现处理的流程图。
[0025]图11是示出根据第一实施例的修改(1)生成的场景描述的图。
[0026]图12是示出根据第一实施例的修改(2)生成的场景描述的图。
[0027]图13是示出当每个场景描述存储在一个ISOBMFF中的情况下的存储状态的示例的图。
[0028]图14是示出在存储静态场景描述的框中登记的语法的示例的图。
[0029]图15是示出当每个场景描述存储在一个ISOBMFF中的情况下的存储状态的另一示例的图。
[0030]图16是示出在存储静态场景描述的框中登记的语法的另一示例的图。
[0031]图17是示出当每个场景描述存储在不同的ISOBMFF中的情况下的存储状态的另一示例的图。
[0032]图18是示出Matroscka媒体容器(Matroscka Media Container)的格式的图。
[0033]图19是示出存储音频比特流的ISOBFMM的文件的图。
[0034]图20是示出在存储静态音频对象元数据的框中登记的语法的示例的图。
[0035]图21是示出ISOBMFF中的音频对象元数据的单独存储的示例的图。
[0036]图22是示出MPD中的对音频场景和视频场景的访问信息的存储的示例的图。
[0037]图23是示出坐标变换信息的描述符的示例的图。
[0038]图24是示出使用坐标变换信息的描述符的语法的描述示例的图。
[0039]图25是存储在ISOBMFF中的坐标变换信息的语法的示例的图。
[0040]图26是文件生成装置的硬件配置图。
具体实施方式
[0041]在下文中,将参照附图详细描述本申请中公开的信息处理装置、再现处理装置和信息处理方法的实施例。注意,本技术公开的范围不仅包括实施例中描述的内容,还包括提交时已知的以下非专利文献中描述的内容。
[0042]非专利文献1:(上述)
[0043]非专利文献2:“ISO/IEC 14496

11”,第二版,2015年11月01日非专利文献3:“ISO/IEC 23009

1”,第三版,2019年08月
[0044]非专利文献4:“ISO/IEC 23008

3”,第二版,2019年02月
[0045]即,上述非专利文献中描述的内容也用作确定支持要求的基础。例如,甚至在实施例中未直接描述非专利文献1中描述的文件结构(File Structure)、非专利文献2中描述的场景描述(Scene Description)中使用的结构/术语、非专利文献3中描述的MPEG

DASH标准中使用的术语以及非专利文献4中描述的3D音频标准中使用的结构/术语的情况下,上述内容也落在本技术的公开范围内并且满足权利本文档来自技高网
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种信息处理装置,包括:预处理单元,其生成随时间变化的动态场景配置信息和不随时间变化的静态场景配置信息作为指示由3D模型数据配置的6DoF内容的场景的配置的场景配置信息,所述静态场景配置信息是不同于所述动态场景配置信息的场景配置信息。2.根据权利要求1所述的信息处理装置,其中,所述6DoF内容还包括音频对象数据。3.根据权利要求1所述的信息处理装置,包括:编码单元,其分别基于所述静态场景配置信息生成静态场景描述以及基于所述动态场景配置信息生成动态场景描述。4.根据权利要求3所述的信息处理装置,包括:文件生成单元,其将所述静态场景描述和所述动态场景描述分别存储在具有针对每个时间指定配置信息的格式的不同文件中。5.根据权利要求3所述的信息处理装置,包括:文件生成单元,其将所述静态场景描述和所述动态场景描述分别存储在具有针对每个时间指定配置信息的格式的同一文件中,并且将所述静态场景配置信息包括在所述文件中的管理信息中。6.根据权利要求3所述的信息处理装置,包括:文件生成单元,在所述静态场景配置信息包括运动图像的场景配置信息的情况下,所述文件生成单元分别创建存储所述运动图像的场景配置信息的、具有针对每个时间指定配置信息的格式的第一文件以及存储除所述运动图像的场景配置信息以外的信息的、具有所述格式的第二文件。7.根据权利要求3所述的信息处理装置,包括:文件生成单元,在所述静态场景配置信息包括运动图像的场景配置信息的情况下,所述文件生成单元将所述动态场景配置信息和包括在所述静态场景配置信息中的所述运动图像的场景配置信息存储在具有针对每个时间指定配置信息的格式的同一文件中,并且将包括在所述静态场景配置信息中的所述运动图像的场景配置信息包括在所述文件中的管理信息中。8.根据权利要求3所述的信息处理装置,其中,所述预处理单元分别为了静态场景配置信息和动态场景配置信息生成语音的场景配置信息,并且所述信息处理装置包括:文件生成单元,其将所述语音的场景配置信息中的所述静态场景配置信息包括在具有针对...

【专利技术属性】
技术研发人员:胜股充平林光浩高桥辽平
申请(专利权)人:索尼集团公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1