三维光场重建方法、装置及存储介质制造方法及图纸

本申请提供一种三维光场重建方法、装置及存储介质，所述方法包括：基于路径追踪，对光场图像进行渲染，获得第一元素图像阵列，对所述第一元素图像阵列进行高分辨率重建，获得第二元素图像阵列，基于所述第二元素图像阵列，获得重建的三维光场，其中，所述第二元素图像阵列的分辨率高于所述第一元素图像阵列，能够节省三维光场重建时间，提高重建效率，同时在实现实时三维光场显示的基础上，保证重建的高分辨率图像的质量。

【技术实现步骤摘要】
三维光场重建方法、装置及存储介质
本申请涉及成像
，尤其涉及一种三维光场重建方法、装置及存储介质。
技术介绍
三维光场显示技术是一种常见的实现裸眼三维显示的方法，这种技术具有全视差、能正确显示遮挡关系等优点。集成成像技术则是被广泛用于三维光场重建中的一种技术，这种技术通过将多个相机拍摄的子图像进行重组从而合成元素图像阵列(Elementimagearray，EIA)，将EIA放置于三维光场显示器中便可以完成三维光场重建。路径追踪技术为目前主流的集成成像技术，能够渲染出高质量的图像，然而其缺点在于采样时间长，对于高分辨率图像而言，使用路径追踪方法难以实现实时显示。
技术实现思路
针对现有技术存在的上述技术问题，本申请提供一种三维光场重建方法、装置及存储介质。第一方面，本申请提供一种三维光场重建方法，所述方法包括：基于路径追踪，对光场图像进行渲染，获得第一元素图像阵列；对所述第一元素图像阵列进行高分辨率重建，获得第二元素图像阵列；基于所述第二元素图像阵列，获得重建的三维光场；其中，所述第二元素图像阵列的分辨率高于所述第一元素图像阵列。可选地，根据本申请的三维光场重建方法，所述对所述第一元素图像阵列进行高分辨率重建，获得第二元素图像阵列，包括：基于所述第一元素图像阵列，获取目标元素图像；对所述目标元素图像进行高分辨率重建，获得第二元素图像阵列；其中，所述目标元素图像为前景区域对应的元素图像。可选地，根据本申请的三维光场重建方法，所述对所述目标元素图像进行高分辨率重建，获得第二元素图像阵列，包括：对所述目标元素图像进行分组，得到多个目标元素图像组；基于超分辨率网络，依次对各目标元素图像组进行高分辨率重建，获得第二元素图像阵列。可选地，根据本申请的三维光场重建方法，所述超分辨率网络包括生成网络和判别网络；所述生成网络用于依次对各目标元素图像组进行高分辨率重建，获得第二元素图像阵列；所述判别网络用于判断基于所述生成网络获得的第二元素图像阵列是否符合预设要求。可选地，根据本申请的三维光场重建方法，所述基于路径追踪，对光场图像进行渲染，包括：采用均匀采样的稀疏虚拟相机阵列，基于路径追踪的渲染方程以及蒙特卡洛积分，对所述光场图像进行渲染。第二方面，本申请还提供一种三维光场重建装置，所述装置包括：渲染模块，用于基于路径追踪，对光场图像进行渲染，获得第一元素图像阵列；高分辨率重建模块，用于对所述第一元素图像阵列进行高分辨率重建，获得第二元素图像阵列；三维光场获取模块，用于基于所述第二元素图像阵列，获得重建的三维光场；其中，所述第二元素图像阵列的分辨率高于所述第一元素图像阵列。可选地，根据本申请的三维光场重建装置，所述对所述第一元素图像阵列进行高分辨率重建，获得第二元素图像阵列，包括：基于所述第一元素图像阵列，获取目标元素图像；对所述目标元素图像进行高分辨率重建，获得第二元素图像阵列；其中，所述目标元素图像为前景区域对应的元素图像。可选地，根据本申请的三维光场重建装置，所述对所述目标元素图像进行高分辨率重建，获得第二元素图像阵列，包括：对所述目标元素图像进行分组，得到多个目标元素图像组；基于超分辨率网络，依次对各目标元素图像组进行高分辨率重建，获得第二元素图像阵列。第三方面，本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所提供的方法的步骤。第四方面，本申请还提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所提供的方法的步骤。本申请提供的三维光场重建方法、装置及存储介质，通过基于路径追踪，对光场图像进行渲染，获得第一元素图像阵列，对所述第一元素图像阵列进行高分辨率重建，获得第二元素图像阵列，其中，所述第二元素图像阵列的分辨率高于所述第一元素图像阵列，能够节省三维光场重建时间，提高重建效率，同时在实现实时三维光场显示的基础上，保证重建的高分辨率图像的质量。附图说明为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请提供的三维光场重建方法的流程示意图；图2是本申请提供的路径追踪的流程示意图；图3是本申请提供的超分辨率网络中生成网络的结构示意图；图4是本申请提供的超分辨率网络中判别网络的结构示意图；图5是本申请提供的采用路径追踪对高分辨率EIA进行渲染的示意图；图6是本申请提供的采用路径追踪对低分辨率EIA进行渲染的示意图；图7是本申请提供的三维光场重建方法与传统方法的渲染速度对比图；图8是本申请提供的三维光场重建装置的结构示意图；图9是本申请提供的电子设备的结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合图1-图9描述本申请的三维光场重建方法、装置及存储介质。图1为本申请提供的一种三维光场重建方法的流程示意图，如图1所示，该方法包括：步骤110，基于路径追踪，对光场图像进行渲染，获得第一元素图像阵列。具体来说，图2为本申请提供的路径追踪的流程示意图，如图2所示，路径追踪通过从虚拟相机中发射光线，并且追踪光线直到光源为止。这种技术基于双向反射分布函数(bidirectionalreflectancedistributionfunctions，BRDFs)，通过概率的方式渲染图像。步骤120，对所述第一元素图像阵列进行高分辨率重建，获得第二元素图像阵列。具体来说，三维光场重建装置在使用路径追踪生成低分辨率EIA(即第一元素图像阵列)之后，对所述低分辨率EIA进行高分辨率重建，获得高分辨率EIA(即第二元素图像阵列)。步骤130，基于所述第二元素图像阵列，获得重建的三维光场；其中，所述第二元素图像阵列的分辨率高于所述第一元素图像阵列。具体来说，获得所述第二元素图像阵列之后，将其放置于三维光场显示器中便可以完成三维光场重建。本申请提供的方法，通过基于路径追踪，对光场图像进行渲染，获得第一元素图像阵列，对所述第一元素图像阵列进行高分辨率重建，获得第二元素图像阵列，其中，所述第二元素图像阵列的分辨率高于所述第一元素本文档来自技高网...

【技术保护点】
1.一种三维光场重建方法，其特征在于，包括：/n基于路径追踪，对光场图像进行渲染，获得第一元素图像阵列；/n对所述第一元素图像阵列进行高分辨率重建，获得第二元素图像阵列；/n基于所述第二元素图像阵列，获得重建的三维光场；/n其中，所述第二元素图像阵列的分辨率高于所述第一元素图像阵列。/n

【技术特征摘要】
1.一种三维光场重建方法，其特征在于，包括：
基于路径追踪，对光场图像进行渲染，获得第一元素图像阵列；
对所述第一元素图像阵列进行高分辨率重建，获得第二元素图像阵列；
基于所述第二元素图像阵列，获得重建的三维光场；
其中，所述第二元素图像阵列的分辨率高于所述第一元素图像阵列。


2.根据权利要求1所述的三维光场重建方法，其特征在于，所述对所述第一元素图像阵列进行高分辨率重建，获得第二元素图像阵列，包括：
基于所述第一元素图像阵列，获取目标元素图像；
对所述目标元素图像进行高分辨率重建，获得第二元素图像阵列；
其中，所述目标元素图像为前景区域对应的元素图像。


3.根据权利要求2所述的三维光场重建方法，其特征在于，所述对所述目标元素图像进行高分辨率重建，获得第二元素图像阵列，包括：
对所述目标元素图像进行分组，得到多个目标元素图像组；
基于超分辨率网络，依次对各目标元素图像组进行高分辨率重建，获得第二元素图像阵列。


4.根据权利要求3所述的三维光场重建方法，其特征在于，所述超分辨率网络包括生成网络和判别网络；
所述生成网络用于依次对各目标元素图像组进行高分辨率重建，获得第二元素图像阵列；
所述判别网络用于判断基于所述生成网络获得的第二元素图像阵列是否符合预设要求。


5.根据权利要求1所述的三维光场重建方法，其特征在于，所述基于路径追踪，对光场图像进行渲染，包括：
采用均匀采样的稀疏虚拟相机阵列，基于路径追踪的渲染方程以及蒙特卡...

【专利技术属性】
技术研发人员：桑新柱，郭潇，陈铎，王鹏，刘雪，李远航，邢树军，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11