多角度自由视角数据处理方法及装置、介质、终端、设备制造方法及图纸

本发明专利技术实施例公开了一种多角度自由视角数据处理方法及装置、介质、终端、设备，所述多角度自由视角数据处理方法包括：获取数据头文件；根据对所述数据头文件的解析结果确定数据文件的定义格式；基于所述定义格式，从数据文件中读取数据组合，所述数据组合中包括同步的多个图像的像素数据以及深度数据，所述同步的多个图像对待观看区域的视角不同，所述同步的多个图像中每个图像的像素数据与深度数据存在关联关系；根据读取到的数据组合，进行虚拟视点的图像或视频重建，所述虚拟视点选自多角度自由视角范围。本发明专利技术实施例中的技术方案可以支持用户对待观看区域进行虚拟视点的切换观看。

【技术实现步骤摘要】
多角度自由视角数据处理方法及装置、介质、终端、设备
本专利技术涉及数据处理领域，尤其涉及一种多角度自由视角数据处理方法及装置、介质、终端、设备。
技术介绍
在图像及视频处理领域，可以接收图像或视频数据，并在向用户展示图像或播放视频。这种展示和播放通常基于固定的视角，用户体验有待提升。
技术实现思路
本专利技术实施例解决的技术问题是提供一种多角度自由视角数据处理方法。为解决上述技术问题，本专利技术实施例提供一种多角度自由视角数据处理方法，包括：获取数据头文件；根据对数据头文件的解析结果确定数据文件的定义格式；基于所述定义格式，从数据文件中读取数据组合，所述数据组合中包括同步的多个图像的像素数据以及深度数据，所述同步的多个图像对待观看区域的视角不同，所述同步的多个图像中每个图像的像素数据与深度数据存在关联关系；根据读取到的数据组合，进行虚拟视点的图像或视频重建，所述虚拟视点选自多角度自由视角范围，所述多角度自由视角范围为支持对所述待观看区域进行虚拟视点的切换观看的范围。可选的，所述定义格式包括所述数据组合的存储格式。可选的，所述数据组合的存储格式为视频格式。可选的，所述数据组合的数量为多个，分别对应不同的帧时刻。可选的，所述数据组合的存储格式为图片格式。可选的，所述定义格式包括所述数据组合的内容存储规则，所述内容存储规则包括所述同步的多个图像的像素数据以及深度数据的存储规则。可选的，所述同步的多个图像的像素数据以及深度数据的存储规则包括：所述同步的多个图像的像素数据以及深度数据在拼接图像中的存储位置，所述拼接图像是根据所述定义格式中的图片格式或视频格式从所述数据文件中读出的图像或帧图像。可选的，所述同步的多个图像中各个图像的像素数据存储于图像区域，深度数据存储于深度图区域，所述同步的多个图像中每个图像的像素数据以及深度数据在拼接图像中的存储位置通过所述图像区域与所述深度图区域的分布指示。可选的，所述同步的多个图像中每个图像的像素数据存储于图像子区域，所述同步的多个图像中每个图像的深度数据存储于深度图子区域，所述同步的多个图像中每个图像的像素数据以及深度数据在拼接图像中的存储位置通过所述图像子区域和所述深度图子区域的分布指示。可选的，所述同步的多个图像的像素数据以及深度数据的存储规则还包括：所述图像子区域和所述深度图子区域中的全部或部分进行边缘保护。可选的，所述同步的多个图像的像素数据以及深度数据的存储规则还包括：所述图像的像素数据以及深度数据的分辨率相同。可选的，所述数据组合包括所述同步的多个图像中存储每个图像的像素数据的第一字段，以及与所述第一字段相关联的第二字段，存储有该图像的深度数据。可选的，所述定义格式包括所述第一字段与所述第二字段的关联关系。可选的，所述数据文件还包括所述同步的多个图像中每个图像的参数数据，所述参数数据包括图像的拍摄位置和拍摄角度数据。可选的，所述参数数据还包括内部参数数据，所述内部参数数据包括图像的拍摄设备的属性数据。可选的，所述定义格式还包括所述参数数据的存储地址。可选的，根据读取到的数据组合，进行虚拟视点的图像或视频重建包括：根据所述虚拟视点以及所述参数数据的关系，基于所述数据组合重建所述虚拟视点的图像或视频。可选的，所述定义格式还包括所述同步的多个图像的像素数据以及深度数据的存储地址。可选的，所述数据文件的定义格式包括所述同步的多个图像的数量。本专利技术实施例中还提供一种多角度自由视角数据处理装置，包括：数据头文件获取单元，适于获取数据头文件；数据头文件解析单元，适于根据对数据头文件的解析结果确定数据文件的定义格式；数据组合读取单元，适于基于所述定义格式，从数据文件中读取数据组合，所述数据组合中包括同步的多个图像的像素数据以及深度数据，所述同步的多个图像对待观看区域的视角不同，所述同步的多个图像中每个图像的像素数据与深度数据存在关联关系；重建单元，适于根据读取到的数据组合，进行虚拟视点的图像或视频重建，所述虚拟视点选自多角度自由视角范围，所述多角度自由视角范围为支持对所述待观看区域进行虚拟视点的切换观看的范围。本专利技术实施例中还提供一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述多角度自由视角数据处理方法的步骤。本专利技术实施例中还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述多角度自由视角数据处理方法的步骤。本专利技术实施例还提供一种移动设备，包括通信组件、处理器，以及显示组件：所述通信组件，用于接收多角度自由视角数据，所述多角度自由视角数数据包括数据头文件以及所述数据文件；所述处理器，用于基于所述多角度自由视角数据进行渲染，得到显示内容，所述显示内容的虚拟视点选自所述多角度自由视角范围；所述显示组件，用于显示所述显示内容。与现有技术相比，本专利技术实施例的技术方案具有以下有益效果：在本专利技术实施例中，通过解析数据头文件，根据解析结果确定数据文件的定义格式，基于定义格式从数据文件中获取数据组合，所述数据组合中包括同步的多个图像的像素数据以及深度数据，所述同步的多个图像对待观看区域的视角不同，基于读取到的数据组合可以进行虚拟视点的图像或视频重建，从而可以为支持用户对待观看区域进行虚拟视点的切换观看。附图说明图1是本专利技术实施例中一种待观看区域的示意图；图2是本专利技术实施例中一种采集设备设置方式的示意图；图3是本专利技术实施例中一种多角度自由视角展示系统的示意图；图4是本专利技术实施例中一种设备显示的示意图；图5是本专利技术实施例中一种对设备进行操控的示意图；图6是本专利技术实施例中另一种对设备进行操控的示意图；图7是本专利技术实施例中另一种采集设备设置方式的示意图；图8是本专利技术实施例中另一种对设备的操控的示意图；图9是本专利技术实施例中另一种设备显示的示意图；图10是本专利技术实施例一种采集设备设置方法的流程图；图11是本专利技术实施例中一种多角度自由视角范围的示意图；图12是本专利技术实施例中另一种多角度自由视角范围的示意图；图13是本专利技术实施例中另一种多角度自由视角范围的示意图；图14是本专利技术实施例中另一种多角度自由视角范围的示意图；图15是本专利技术实施例中另一种多角度自由视角范围的示意图；图16是本专利技术实施例中另一种采集设备设置方式的示意图；图17是本专利技术实施例中另一种采集设备设置方式的示意图；图18是本专利技术实施例中另一种采集设备设置方式的示意图；图19是本专利技术实施例中一种多角度自由视角数据生成方法的流程图；图20是本专利技术实施例中一种单个图像的像素数据与深度数据的分布位置的示意图；图21是本专利技术实施例中另一种单个图像的像素数据与深度数据的分布位置的示意图；图22是本专利技术实施例中本文档来自技高网...

【技术保护点】
1.一种多角度自由视角数据处理方法，其特征在于，包括：/n获取数据头文件；/n根据对所述数据头文件的解析结果确定数据文件的定义格式；/n基于所述定义格式，从数据文件中读取数据组合，所述数据组合中包括同步的多个图像的像素数据以及深度数据，所述同步的多个图像对待观看区域的视角不同，所述同步的多个图像中每个图像的像素数据与深度数据存在关联关系；/n根据读取到的数据组合，进行虚拟视点的图像或视频重建，所述虚拟视点选自多角度自由视角范围，所述多角度自由视角范围为支持对所述待观看区域进行虚拟视点的切换观看的范围。/n

【技术特征摘要】
1.一种多角度自由视角数据处理方法，其特征在于，包括：
获取数据头文件；
根据对所述数据头文件的解析结果确定数据文件的定义格式；
基于所述定义格式，从数据文件中读取数据组合，所述数据组合中包括同步的多个图像的像素数据以及深度数据，所述同步的多个图像对待观看区域的视角不同，所述同步的多个图像中每个图像的像素数据与深度数据存在关联关系；
根据读取到的数据组合，进行虚拟视点的图像或视频重建，所述虚拟视点选自多角度自由视角范围，所述多角度自由视角范围为支持对所述待观看区域进行虚拟视点的切换观看的范围。


2.根据权利要求1所述的多角度自由视角数据处理方法，其特征在于，所述定义格式包括所述数据组合的存储格式。


3.根据权利要求2所述的多角度自由视角数据处理方法，其特征在于，所述数据组合的存储格式为视频格式。


4.根据权利要求3所述的多角度自由视角数据处理方法，其特征在于，所述数据组合的数量为多个，分别对应不同的帧时刻。


5.根据权利要求2所述的多角度自由视角数据处理方法，其特征在于，所述数据组合的存储格式为图片格式。


6.根据权利要求4或5所述的多角度自由视角数据处理方法，其特征在于，所述定义格式包括所述数据组合的内容存储规则，所述内容存储规则包括所述同步的多个图像的像素数据以及深度数据的存储规则。


7.根据权利要求6所述的多角度自由视角数据处理方法，其特征在于，所述同步的多个图像的像素数据以及深度数据的存储规则包括：所述同步的多个图像的像素数据以及深度数据在拼接图像中的存储位置，所述拼接图像是根据所述定义格式中的图片格式或视频格式从所述数据文件中读出的图像或帧图像。


8.根据权利要求7所述的多角度自由视角数据处理方法，其特征在于，所述同步的多个图像中各个图像的像素数据存储于图像区域，深度数据存储于深度图区域，所述同步的多个图像中每个图像的像素数据以及深度数据在拼接图像中的存储位置通过所述图像区域与所述深度图区域的分布指示。


9.根据权利要求7所述的多角度自由视角数据处理方法，其特征在于，所述同步的多个图像中每个图像的像素数据存储于图像子区域，所述同步的多个图像中每个图像的深度数据存储于深度图子区域，所述同步的多个图像中每个图像的像素数据以及深度数据在拼接图像中的存储位置通过所述图像子区域和所述深度图子区域的分布指示。


10.根据权利要求9所述的多角度自由视角数据处理方法，其特征在于，所述同步的多个图像的像素数据以及深度数据的存储规则还包括：所述图像子区域和所述深度图子区域中的全部或部分进行边缘保护。


11.根据权利要求6所述的多角度自由视角数据处理方法，其特征在于，所述同步的多个图像的像素数据以及深度数据的存储规则还包括：所述图像的像素数据以及深度数据的分辨率相同。


12.根据权利要求1所述的多角度自由视角数据处理方法，其特征在于，所述数据组合包括所述同步的多个图像中存储每个图像的像素数据的第一字段，以及与所述第一...

【专利技术属性】
技术研发人员：盛骁杰，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY