一种虚拟场景的记录回放方法、装置、电子设备及介质制造方法及图纸

本发明专利技术公开了一种虚拟场景的记录回放方法、装置、电子设备及介质，应用于虚拟现实技术领域。该方法包括：预先将虚拟三维场景划分为基础场景和动态对象；针对基础场景和动态对象分别进行数据记录，得到采用三维场景隐式表示的记录数据；本发明专利技术中采用三维形式对数据进行记录得到记录数据，利于在后续回放过程中实现三维图像的回放，以便实现与三维场景实时运行时一样的沉浸感，利于提升用户使用体验。利于提升用户使用体验。利于提升用户使用体验。

【技术实现步骤摘要】
一种虚拟场景的记录回放方法、装置、电子设备及介质


[0001]本专利技术涉及虚拟现实
，特别是涉及一种虚拟场景的记录回放方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]随着数字孪生、元宇宙等技术的发展，3D数字空间引起人们极大的探索兴趣，3D数字空间本身及与物理空间的融合交互将对人们未来的工作、生活等各方面产生极大影响，是具有变革性的技术。3D数字空间的应用是近来人们积极探索的领域之一，如VR会议、VR远程协作、3D游戏等，但是如何对动态3D场景进行记录目前仍是一个难题。
[0003]常用的方法是选择固定视角把动态3D场景转化为二维视频形式，这种记录方式在回放过程中无法变换视点，不能实现和3D场景实时运行时一样的沉浸感，影响用户使用体验。
[0004]鉴于此，如何提供一种解决上述技术问题的虚拟场景记录回放方法、装置、电子设备及计算机可读存储介质成为本领域技术人员需要解决的问题。

技术实现思路

[0005]本专利技术实施例的目的是提供一种虚拟场景记录回放方法、装置、电子设备及计算机可读存储介质，实现三维数据的记录，利于实现三维图像的回放，以便实现与三维场景实时运行时一样的沉浸感，利于提升用户使用体验。
[0006]为解决上述技术问题，本专利技术实施例提供了一种虚拟场景的记录回放方法，包括：预先将虚拟三维场景划分为基础场景和动态对象；针对所述基础场景和所述动态对象分别进行数据记录，得到采用三维场景隐式表示的记录数据。
[0007]可选择，还包括：采用回放渲染管线基于所述记录数据和预设图像参数对当前输入参数进行处理，得到对应的回放图像。
[0008]可选的，所述针对所述基础场景和所述动态对象分别进行数据记录，得到采用三维场景隐式表示的记录数据，包括：针对所述基础场景，采用预先设置的多个第一虚拟相机对所述基础场景进行图像采集，得到基础场景数据；针对所述动态对象，采用预先设置的多个第二虚拟相机实时对位于所述基础场景中的各对象进行图像采集，得到动态对象数据；基于各所述基础场景数据对神经网络进行训练，得到采用三维场景隐式表示的场景三维模型；基于各所述动态对象数据对神经网络进行训练，得到采用三维场景隐式表示的对象三维模型；
结合所述场景三维模型和所述对象三维模型，得到记录数据。
[0009]可选的，所述基于各所述基础场景数据对神经网络进行训练，得到采用三维场景隐式表示的场景三维模型，包括：针对每帧基础场景数据，基于所述基础场景数据获取场景输入参数，将所述场景输入参数输入至神经网络得到输出结果，并基于所述输出结果对所述神经网络的网络参数进行更新，直至满足对应的预设要求时，得到训练好的场景三维模型；其中，所述场景输入参数包括观察位置和观察方向；则，相应的所述基于各所述动态对象数据对神经网络进行训练，得到采用三维场景隐式表示的对象三维模型，包括：针对每帧动态对象数据，基于所述动态对象数据获取对象输入参数，将所述对象输入参数输入至神经网络得到输出结果，并基于所述输出结果对所述神经网络的网络参数进行更新，直至满足对应的预设要求时，得到训练好的对象三维模型；其中，所述对象输入参数包括观察位置、观察方向和时间戳；所述输出结果包括颜色、透明度和深度。
[0010]可选的，所述对象三维模型为每个所述对象共同形成的一个三维模型。
[0011]可选的，所述对象三维模型为多个分别与每个对象各自对应的三维模型。
[0012]可选的，在所述针对所述基础场景，采用预先设置的多个第一虚拟相机对所述基础场景进行图像采集，得到基础场景数据之前，还包括：针对所述基础场景，预先确定多个基础观察点；在每个所述基础观察点分别设置第一虚拟相机，以使各所述第一虚拟相机的视角覆盖整个所述基础场景。
[0013]可选的，每个所述基础观察点均匀分布，且连线为圆形。
[0014]可选的，每个所述基础观察点处设有两个第一虚拟相机。
[0015]可选的，所述基础观察点处的每个所述第一虚拟相机在水平面内的视角均指向所述圆形的圆心，在竖直方向上的视角均偏离水平方向第一预设角度。
[0016]可选的，在所述针对所述动态对象，采用预先设置的多个第二虚拟相机实时对位于所述基础场景中的各对象进行图像采集之前，还包括：针对所述动态对象，预先确定多个对象观察点；在每个所述对象观察点分别设置第二虚拟相机，以使各所述第二虚拟相机的视角覆盖位于所述基础场景中的各对象。
[0017]可选的，每个所述对象观察点分布于所述基础场景的边界线上。
[0018]可选的，每个所述第二虚拟相机在水平面内的视角均指向所述边界线围绕区域的中心，每个所述第二虚拟相机在竖直方向上的视角均向下倾斜第二预设角度。
[0019]可选的，所述基础场景数据包括多帧基础场景图像，所述基础场景图像包括场景图像数据、视点信息和方向信息；所述动态对象数据包括多帧动态对象图像，所述动态对象图像包括时间戳、对象图像数据、视点信息和方向信息。
[0020]可选的，所述采用回放渲染管线基于所述记录数据和预设图像参数对当前输入参数进行处理，得到对应的回放图像，包括：
基于预设图像分辨率及当前输入参数确定出输出图像的各像素对应的像素位置；针对每个所述像素，基于所述像素的像素位置及当前输入参数，生成对应的渲染光线；基于所述场景三维模型和所述对象三维模型对所述渲染光线进行着色计算，得到所述渲染光线与各模型之间作用的结果；基于各所述结果，确定出与所述渲染光线对应像素的像素颜色；基于与每个所述像素各自对应的像素颜色，得到回放图像。
[0021]可选的，所述当前输入参数包括当前视点位置、当前观察方向和当前时间戳。
[0022]可选的，所述当前输入参数为基于上一时间戳的输入参数及当前时间戳用户输入的参数变量得到的。
[0023]可选的，所述基于所述场景三维模型和所述对象三维模型对所述渲染光线进行着色计算，得到所述渲染光线与各模型之间作用的结果，包括：基于所述渲染光线的光线参数以及所述场景三维模型的模型参数和所述对象三维模型的模型参数，确定出与所述渲染光线存在相交关系的目标三维模型；采用所述目标三维模型基于所述光线参数进行计算，得到所述渲染光线与所述目标三维模型之间作用的结果，所述结果包括所述渲染光线与所述目标三维模型之间的交点到所述渲染光线起点的距离、颜色。
[0024]可选的，所述基于各所述结果，确定出与所述渲染光线对应像素的像素颜色，包括：从各所述距离中确定出最小距离；将与所述最小距离对应的颜色作为与所述渲染光线对应像素的像素颜色。
[0025]本专利技术实施例还提供了一种虚拟场景的记录回放装置，包括：划分模块，用于预先将虚拟三维场景划分为基础场景和动态对象；记录模块，用于针对所述基础场景和所述动态对象分别进行数据记录，得到采用三维场景隐式表示的记录数据。
[0026]可选的，还包括：回放模块，用于采用回放渲染管线基于所述记录数据和预设图像参数对当前输入参数进行处理，得到对应的回放图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟场景的记录回放方法，其特征在于，包括：预先将虚拟三维场景划分为基础场景和动态对象；针对所述基础场景和所述动态对象分别进行数据记录，得到采用三维场景隐式表示的记录数据。2.根据权利要求1所述的虚拟场景的记录回放方法，其特征在于，还包括：采用回放渲染管线基于所述记录数据和预设图像参数对当前输入参数进行处理，得到对应的回放图像。3.根据权利要求2所述的虚拟场景的记录回放方法，其特征在于，所述针对所述基础场景和所述动态对象分别进行数据记录，得到采用三维场景隐式表示的记录数据，包括：针对所述基础场景，采用预先设置的多个第一虚拟相机对所述基础场景进行图像采集，得到基础场景数据；针对所述动态对象，采用预先设置的多个第二虚拟相机实时对位于所述基础场景中的各对象进行图像采集，得到动态对象数据；基于各所述基础场景数据对神经网络进行训练，得到采用三维场景隐式表示的场景三维模型；基于各所述动态对象数据对神经网络进行训练，得到采用三维场景隐式表示的对象三维模型；结合所述场景三维模型和所述对象三维模型，得到记录数据。4.根据权利要求3所述的虚拟场景的记录回放方法，其特征在于，所述基于各所述基础场景数据对神经网络进行训练，得到采用三维场景隐式表示的场景三维模型，包括：针对每帧基础场景数据，基于所述基础场景数据获取场景输入参数，将所述场景输入参数输入至神经网络得到输出结果，并基于所述输出结果对所述神经网络的网络参数进行更新，直至满足对应的预设要求时，得到训练好的场景三维模型；其中，所述场景输入参数包括观察位置和观察方向；则，相应的所述基于各所述动态对象数据对神经网络进行训练，得到采用三维场景隐式表示的对象三维模型，包括：针对每帧动态对象数据，基于所述动态对象数据获取对象输入参数，将所述对象输入参数输入至神经网络得到输出结果，并基于所述输出结果对所述神经网络的网络参数进行更新，直至满足对应的预设要求时，得到训练好的对象三维模型；其中，所述对象输入参数包括观察位置、观察方向和时间戳；所述输出结果包括颜色、透明度和深度。5.根据权利要求3所述的虚拟场景的记录回放方法，其特征在于，所述对象三维模型为每个所述对象共同形成的一个三维模型。6.根据权利要求3所述的虚拟场景的记录回放方法，其特征在于，所述对象三维模型为多个分别与每个对象各自对应的三维模型。7.根据权利要求3所述的虚拟场景的记录回放方法，其特征在于，在所述针对所述基础场景，采用预先设置的多个第一虚拟相机对所述基础场景进行图像采集，得到基础场景数据之前，还包括：针对所述基础场景，预先确定多个基础观察点；
在每个所述基础观察点分别设置第一虚拟相机，以使各所述第一虚拟相机的视角覆盖整个所述基础场景。8.根据权利要求7所述的虚拟场景的记录回放方法，其特征在于，每个所述基础观察点均匀分布，且连线为圆形。9.根据权利要求8所述的虚拟场景的记录回放方法，其特征在于，每个所述基础观察点处设有两个第一虚拟相机。10.根据权利要求9所述的虚拟场景的记录回放方法，其特征在于，所述基础观察点处的每个所述第一虚拟相机在水平面内的视角均指向所述圆形的圆心，在竖直方向上的视角均偏离水平方向第一预设角度。11.根据权利要求3所述的虚拟场景的记录回放方法，其特征在于，在所述针对所述动态对象，采用预先设置的多个第二虚拟相机实时对位于所述基础场景中的各对象进行图...

【专利技术属性】
技术研发人员：魏辉，赵雅倩，李茹杨，卢丽华，张晓辉，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：