【技术实现步骤摘要】
本申请涉及计算机视觉与光学成像领域，具体涉及一种采用图像渲染的数字沙盘系统和光场图像渲染方法。
技术介绍
1、现有沙盘系统主要实现方式是由沙土堆砌或者3d打印的实体沙盘模型。但该类沙盘系统存在着内容固定，数据无法实时更新等缺陷。比如在国防领域中，会导致战场信息数据时效性的降低，无法满足对瞬息万变的战场环境实时变化保障的需求。
2、目前的三维图像立体显示技术存在几种主流架构：一是以投影仪等光学仪器为媒介进行三维重建；二是基于虚拟现实技术使用可穿戴式的交互设备(如vr眼镜)进行可视化模拟。但硬件层面上，投影仪与穿戴式交互设备等存在使数字沙盘无法集成一个更加完整灵活的智能系统，对物理对象的依赖也较深，不能完全满足特定领域对电子沙盘系统的需求。在目前已普及的三维立体沙盘中，大部分都采用立体投影的方式，结合实物模型来共同实现立体沙盘模型装置。
3、综合来看，现有技术存在如下缺点：一是虚实结合的技术以实体模型为基础，导致沙盘模型一旦结构确定就不容易更改；二是现有沙盘可互动性差，无法随着用户需求而实时变动；三是立体投影式与体显示式沙盘占地面积大，不易拆装和运输移动等，四是光栅式立体显示只能从固定方向观看，且容易产生视疲劳，不满足沙盘实际使用条件。
技术实现思路
1、本申请解决的技术问题是：现有数字沙盘显示受到固定模型的影响，存在可互动性差、不好改变显示场景等问题。为解决上述问题，本申请提供一种采用图像渲染的数字沙盘系统和光场图像渲染方法。
2、根据本申请的第一
3、进一步的，所述图像渲染单元包括模型训练模块和光场图像生成模块；所述模型训练模块用于利用神经辐射场对所述三维场景进行重建，得到场景模型；所述光场图像生成模块用于利用所述场景模型对所述场景图像进行多视角的光场渲染，生成所述三维场景的光场图像并构建对应的光场模型。
4、进一步的，所述数据传输单元包括神经网络框架转移模块和分布式以太网网口模块；所述神经网络框架转移模块用于将所述光场模型从第一神经网络框架类型转换为第二神经网络框架类型，得到对应的转换模型；所述光场模型具有适应所述上位机的第一神经网络框架类型，所述转换模型具有适应于所述下位机的第二神经网络架构类型；所述分布式以太网网口模块用于将所述转换模型部署至下位机。
5、进一步的，所述定向渲染单元包括人眼跟踪模块、光场图像渲染模块和hdmi传输模块；所述人眼跟踪模块用于通过人眼跟踪确定所述观看者所处的位置与观看角度，形成为所述方位信息；所述光场图像渲染模块接收所述转换模型，用于利用所述方位信息作为输入参数，对所述转换模型进行定向的光线渲染，得到所述三维场景的定向渲染图像；所述hdmi传输模块用于将所述定向渲染图像以hdmi协议传输至所述图像显示单元。
6、进一步的，所述图像显示单元包括准直背光模块、屏幕显示模块和复合透镜阵列模块；所述准直背光模块用于为所述屏幕显示模块提供准直背光；所述屏幕显示模块用于接收所述hdmi模块传输的所述定向渲染图像，以及对所述定向渲染图像进行画面显示；所述复合透镜阵列模块用于聚焦所述屏幕显示模块的画面中各个像素的光线，投射产生的三维立体的投影形成为所述数字沙盘。
7、进一步的，所述准直背光模块具有消光结构，在将光线投到所述屏幕显示模块块时通过所述消光结构消除杂散光，能够降低画面显示的串扰并提高画面的对比度和清晰度。
8、进一步的，所述图像采集单元用于获取所述三维场景的视频，采用视频抽帧技术对所述三维场景的视频进行帧图像的抽取，获得多个视角下所述三维场景的图像并作为所述场景图像。
9、根据本申请的第二方面，提供一种图像渲染方法，包括：采集三维场景的图像，得到场景图像；利用所述场景图像进行所述三维场景的重建和光场渲染，得到光场模型；对所述光场模型进行神经网络框架类型的转换，得到转换模型，所述转换模型能够被部署至下位机；追踪获得观看者所处的方位信息，利用所述方位信息对所述转换模型进行定向的光线渲染，得到定向渲染图像，所述定向渲染图像被用于进行三维立体的投影。
10、进一步的，所述利用所述场景图像进行所述三维场景的重建和光场渲染，得到光场模型，包括：利用神经辐射场对所述三维场景进行重建，得到场景模型；所述光场图像生成模块用于利用所述场景模型对所述场景图像进行多视角的光场渲染，生成所述三维场景的光场图像并构建对应的光场模型；其中，在进行多视角的光场渲染时，所述场景模型能够通过所述场景图像学习所述三维场景的辐射率和光线的传播方向。
11、进一步的，所述追踪获得观看者所处的方位信息，利用所述方位信息对所述转换模型进行定向的光线渲染，得到定向渲染图像，包括：通过人眼跟踪确定所述观看者所处的位置与观看角度，形成为所述方位信息；利用所述方位信息作为输入参数，对所述转换模型进行定向的光线渲染，得到所述三维场景的定向渲染图像；其中，对所述转换模型进行定向的光线渲染时，所述转换模型的输入参数还包括焦距和分辨率。
12、本申请的有益效果是：
13、依上述实施例的采用图像渲染的数字沙盘系统和图像渲染方法，系统使用神经辐射场重建三维场景模型并对场景图像进行光场渲染，通过人眼跟踪定位观看者的方位并进行定向光线渲染，与全部角度进行图像渲染相比，处理效率会得到明显提升；系统中的图像采集单元、图像渲染单元和数据传输单元依靠上位机运行，而定向渲染单元和图像显示单元依靠下位机运行，可以实现建立光场模型和生成定向渲染图像的分离处理，从而大幅节省两个环节的时间，提高数据处理效率；通过光场显示技术将渲染出的定向渲染图像再现出来，立体影像可以跟随观看者进行改变，增强了互动效果。该数字沙盘系统可以通过更改三维场景的图像来改变立体影像的内容，且提供交互处理的操作，相比传统沙盘更具有立体影像内容随意改变、互动效果好的应用优势。
本文档来自技高网...【技术保护点】
1.一种采用图像渲染的数字沙盘系统，其特征在于，包括：
2.如权利要求1所述的数字沙盘系统，其特征在于，所述图像渲染单元包括模型训练模块和光场图像生成模块；
3.如权利要求2所述的数字沙盘系统，其特征在于，所述数据传输单元包括神经网络框架转移模块和分布式以太网网口模块；
4.如权利要求1所述的数字沙盘系统，其特征在于，所述定向渲染单元包括人眼跟踪模块、光场图像渲染模块和HDMI传输模块；
5.如权利要求4所述的数字沙盘系统，其特征在于，所述图像显示单元包括准直背光模块、屏幕显示模块和复合透镜阵列模块；
6.如权利要求5所述的数字沙盘系统，其特征在于，所述准直背光模块具有消光结构，在将光线投到所述屏幕显示模块块时通过所述消光结构消除杂散光，能够降低画面显示的串扰并提高画面的对比度和清晰度。
7.如权利要求1所述的数字沙盘系统，其特征在于，所述图像采集单元用于获取所述三维场景的视频，采用视频抽帧技术对所述三维场景的视频进行帧图像的抽取，获得多个视角下所述三维场景的图像并作为所述场景图像。
8.一种光场
9.如权利要求8所述的光场图像渲染方法，其特征在于，所述利用所述场景图像进行所述三维场景的重建和光场渲染，得到光场模型，包括：
10.如权利要求8所述的光场图像渲染方法，其特征在于，所述追踪获得观看者所处的方位信息，利用所述方位信息对所述转换模型进行定向的光线渲染，得到定向渲染图像，包括：
...【技术特征摘要】
1.一种采用图像渲染的数字沙盘系统，其特征在于，包括：
2.如权利要求1所述的数字沙盘系统，其特征在于，所述图像渲染单元包括模型训练模块和光场图像生成模块；
3.如权利要求2所述的数字沙盘系统，其特征在于，所述数据传输单元包括神经网络框架转移模块和分布式以太网网口模块；
4.如权利要求1所述的数字沙盘系统，其特征在于，所述定向渲染单元包括人眼跟踪模块、光场图像渲染模块和hdmi传输模块；
5.如权利要求4所述的数字沙盘系统，其特征在于，所述图像显示单元包括准直背光模块、屏幕显示模块和复合透镜阵列模块；
6.如权利要求5所述的数字沙盘系统，其特征在于，所述准直背光模块具有消光结构，在将光线投到所述屏幕显示模...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。