一种场景重建方法及装置、设备、存储介质制造方法及图纸

本申请公开了一种场景重建方法及装置、设备、存储介质，其中，确定至少两组场景数据，至少两组场景数据中包括基于不同的图形接口确定的场景数据，所述场景数据中包括一组特征点中各特征点的坐标数据，所述坐标数据包括第一标准设备坐标系NDC坐标和第一纹理坐标，不同的所述场景数据中的第一NDC坐标采用相同的目标NDC，且不同的场景数据中的第二纹理坐标采用相同的目标屏幕坐标系；对于所述至少两组场景数据中的每组场景数据，将所述场景数据中的第一NDC坐标转换为世界坐标，得到待渲染数据；将至少两组所述待渲染数据进行拼接，得到目标场景数据；对所述目标场景数据进行渲染，得到目标虚拟场景。目标虚拟场景。目标虚拟场景。

【技术实现步骤摘要】
一种场景重建方法及装置、设备、存储介质


[0001]本申请涉及移动通信技术，尤其涉及一种场景重建方法及装置、设备、存储介质。

技术介绍

[0002]随着智立体显示等技术的发展和普及，虚拟现实/增强现实技术取得了飞速发展。而场景重建技术是虚拟现实/增强现实技术关键的一步。三维重建是基于多视角的图像数据来进行的，这就要求从不同视角采集图像数据的数据采集终端的世界坐标系相同，即X/Y/Z轴统一朝向。而图形渲染采用的图形应用程序接口(Application Program Interface，API)也是多种多样，包括：OpenGL、Vulkan、Metal、WebGL、WebGPU等等，而它们各自使用的坐标系也是千差万别，且不同平台的数据采集终端采用的图形接口不同，因此，通过不同平台的数据采集终端来采集图像数据会存在世界坐标系不一致的问题，使得场景重建技术的实施限制在采用同一平台的多个不同的数据采集终端。

技术实现思路

[0003]本申请实施例提供一种场景重建方法及装置、设备、存储介质，能够实现跨平台的场景重建。
[0004]本申请实施例的技术方案是这样实现的：
[0005]本申请实施例提供一种场景重建方法，包括：
[0006]确定至少两组场景数据，至少两组场景数据中包括基于不同的图形接口确定的场景数据，所述场景数据中包括一组特征点中各特征点的坐标数据，所述坐标数据包括第一标准设备坐标系NDC坐标和第一纹理坐标，不同的所述场景数据中的第一NDC坐标采用相同的目标NDC，且不同的场景数据中的第二纹理坐标采用相同的目标屏幕坐标系；
[0007]对于所述至少两组场景数据中的每组场景数据，将所述场景数据中的第一NDC坐标转换为世界坐标，得到待渲染数据；
[0008]将至少两组所述待渲染数据进行拼接，得到目标场景数据；
[0009]对所述目标场景数据进行渲染，得到目标虚拟场景。
[0010]本申请实施例提供一种场景重建装置，包括：
[0011]第一确定模块，被配置成确定至少两组场景数据，至少两组场景数据中包括基于不同的图形接口确定的场景数据，所述场景数据中包括一组特征点中各特征点的坐标数据，所述坐标数据包括第一标准设备坐标系NDC坐标和第一纹理坐标，不同的所述场景数据中的第一NDC坐标采用相同的目标NDC，且不同的场景数据中的第二纹理坐标采用相同的目标屏幕坐标系；
[0012]转换模块，被配置成对于所述至少两组场景数据中的每组场景数据，将所述场景数据中的第一NDC坐标转换为世界坐标，得到待渲染数据；
[0013]拼接模块，被配置成将至少两组所述待渲染数据进行拼接，得到目标场景数据；
[0014]渲染模块，被配置成对所述目标场景数据进行渲染，得到目标虚拟场景。
[0015]本申请实施例提供一种场景重建设备，包括处理器，所述处理器被配置成：
[0016]确定至少两组场景数据，至少两组场景数据中包括基于不同的图形接口确定的场景数据，所述场景数据中包括一组特征点中各特征点的坐标数据，所述坐标数据包括第一标准设备坐标系NDC坐标和第一纹理坐标，不同的所述场景数据中的第一NDC坐标采用相同的目标NDC，且不同的场景数据中的第二纹理坐标采用相同的目标屏幕坐标系；
[0017]对于所述至少两组场景数据中的每组场景数据，将所述场景数据中的第一NDC坐标转换为世界坐标，得到待渲染数据；
[0018]将至少两组所述待渲染数据进行拼接，得到目标场景数据；
[0019]对所述目标场景数据进行渲染，得到目标虚拟场景。
[0020]本申请实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述场景重建方法中的步骤。
[0021]本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述场景重建方法。
[0022]本申请实施例提供的芯片，用于实现上述的场景重建方法，所述芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有该芯片的设备执行上述的场景重建方法。
[0023]本申请实施例提供的场景重建方法及装置、设备、存储介质，确定至少两组场景数据，至少两组场景数据中包括基于不同的图形接口确定的场景数据，所述场景数据中包括一组特征点中各特征点的坐标数据，所述坐标数据包括第一标准设备坐标系NDC坐标和第一纹理坐标，不同的所述场景数据中的第一NDC坐标采用相同的目标NDC，且不同的场景数据中的第二纹理坐标采用相同的目标屏幕坐标系；对于所述至少两组场景数据中的每组场景数据，将所述场景数据中的第一NDC坐标转换为世界坐标，得到待渲染数据；将至少两组所述待渲染数据进行拼接，得到目标场景数据；对所述目标场景数据进行渲染，得到目标虚拟场景；由此，不同的采集图像数据的数据采集终端采集场景数据的图形接口可不同，从而使得不同数据采集终端可采用不同的图形接口，即允许数据采集终端使用不同的平台，使得场景重建技术可实施在多个采用不同平台的数据采集终端，实现跨平台的场景重建。
附图说明
[0024]图1是本申请实施例提供的场景重建系统的一个可选的架构示意图；
[0025]图2A是本申请实施例提供的场景重建系统的一个可选的架构示意图；
[0026]图2B是本申请实施例提供的场景重建系统的一个可选的架构示意图；
[0027]图3是本申请实施例提供的场景重建方法的一个可选的流程示意图
[0028]图4是本申请实施例提供的目标虚拟场景的一个可选的示意图；
[0029]图5是本申请实施例提供的坐标系对齐的一个可选的示意图；
[0030]图6是本申请实施例提供的场景重建方法的一个可选的流程示意图；
[0031]图7是本申请实施例提供的平台与图形接口之间的一个可选的关系示意图；
[0032]图8是本申请实施例提供的空间变换过程的一个可选地示意图；
[0033]图9是本申请实施例提供的裁剪空间、NDC空间和屏幕空间的一个可选地示意图；
[0034]图10是本申请实施例的不同图形接口的屏幕坐标系的示意性图；
[0035]图11是本申请实施例的不同图形接口的世界坐标系、NDC、屏幕坐标系的示意性图；
[0036]图12是本申请实施例的屏幕坐标系的转换效果示意性图；
[0037]图13是本申请实施例提供的不同数据采集设备的特征点的空间关系示意图；
[0038]图14是本申请实施例提供的3D
‑
2D匹配点关系示意图；
[0039]图15是本申请实施例提供目标虚拟场景的重建效果示意图；
[0040]图16是本申请实施例提供目标虚拟场景的重建效果示意图；
[0041]图17是本申请实施例提供的场景重建装置的可选地示意性结构图；
[0042]图18是本申请实施例提供的电子设备示意性结构图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种场景重建方法，其特征在于，所述方法包括：确定至少两组场景数据，至少两组场景数据中包括基于不同的图形接口确定的场景数据，所述场景数据中包括一组特征点中各特征点的坐标数据，所述坐标数据包括第一标准设备坐标系NDC坐标和第一纹理坐标，不同的所述场景数据中的第一NDC坐标采用相同的目标NDC，且不同的场景数据中的第二纹理坐标采用相同的目标屏幕坐标系；对于所述至少两组场景数据中的每组场景数据，将所述场景数据中的第一NDC坐标转换为世界坐标，得到待渲染数据；将至少两组所述待渲染数据进行拼接，得到目标场景数据；对所述目标场景数据进行渲染，得到目标虚拟场景。2.根据权利要求1所述的方法，其特征在于，所述将至少两组所述待渲染数据进行拼接，得到目标场景数据，包括：基于各特征点的世界坐标和所述第一纹理坐标确定所述至少两组待渲染数据对应的至少两个数据采集终端中，不同的数据采集终端之间的相对位姿；基于不同的数据采集终端之间的相对位姿，对对应的待渲染数据进行拼接，得到所述目标场景数据。3.根据权利要求2所述的方法，其特征在于，所述基于各特征点的世界坐标和所述第一纹理坐标确定所述至少两组待渲染数据对应的至少两个数据采集终端中，不同的数据采集终端之间的相对位姿，包括：将所述至少两组待渲染数据中的每一待渲染数据分别作为第一待渲染数据，对所述第一待渲染数据执行以下处理：确定所述至少两组待渲染数据中与所述待渲染数据存在共同特征点的第二待渲染数据；根据所述共同特征点的第一NDC坐标和第一纹理坐标，确定所述第一待渲染数据对应的第一数据采集终端和所述第二代渲染数据对应的第二数据采集终端之间的相对位姿。4.根据权利要求1所述的方法，其特征在于，所述确定至少两组场景数据，包括：确定至少两个数据采集终端中各数据采集终端的原始场景数据，所述原始场景数据包括所述数据采集端采集的图像数据经过空间转换得到的所述特征点的第二NDC坐标和第二纹理坐标；针对所述至少两个数据采集终端中各数据采集终端的原始场景数据，在所述原始场景数据采用的坐标系不是目标坐标系的情况下，对所述原始场景数据进行坐标系对齐，得到所述原始场景数据对应的场景数据。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：针对所述至少两个数据采集终端中的各数据采集终端，分别执行以下处理：确定所述数据采集终端所使用的图形接口；基于所述数据采集终端所使用的图形接口确定所述数据采集终端的原始场景数据采用的坐标系。6.根据权利要求5所述的方法，其特征在于，所述对所述原始场景数据进行坐标系对齐，得到所述原始场景数据对应的场景数据，包括：在所述第二NDC坐标采用第一NDC，且所述第一NDC不是所述目标NDC的情况下，根据所
述第一NDC和所述目标NDC，将所述第一NDC坐标转换至目标NDC对应的NDC空间中，得到所述第一NDC坐标。7.根据权利要求6所述的方法，其特征在于，所述根...

【专利技术属性】
技术研发人员：梅新岩，谢启宇，杨辰，
申请(专利权)人：南京欧珀软件科技有限公司，
类型：发明
国别省市：