裸眼三维光场内容的生成方法及装置制造方法及图纸

本发明专利技术实施例提供一种裸眼三维光场内容的生成方法及装置，其中方法包括：获取虚拟相机阵列中每个虚拟相机与显示面板上各像素点的对应关系，通过虚拟相机向具有对应关系的像素点多次发射定向光线；对每次发射的定向光线照射至虚拟物体上后的反射光线进行路径跟踪，根据多次路径追踪的结果进行积分，获得所述像素点的像素值；根据获得的显示面板上所有像素点的像素值生成所述虚拟物体的三维光场内容。本发明专利技术实施例解决了超多密集视点在复杂光照下无法快速生成高质量的集成成像的生成问题。

Method and device for generating the content of three-dimensional light field in naked eye

【技术实现步骤摘要】
裸眼三维光场内容的生成方法及装置
本专利技术涉及三维成像
，更具体地，涉及裸眼三维光场内容的生成方法及装置。
技术介绍
采用计算机图形学中的渲染技术和光学中的三维显示技术可以生成三维图像。结合三维光场显示能够实现大视角、高分辨率、全视差的真实空间感的立体显示。对原始图像的高质量的采集和再现是三维显示关键。根据三维光场显示的光学成像过程，模拟每个像素发射光线的传播，在虚拟三维空间中模拟光线传播的逆过程进行像素编码和采集。由于三维光场显示依赖于超密集视点排布来提供全视差，因此，在空间中传统的视点数目使用传统的多视点方案无法达到实时计算，不能提供实时可交互的三维内容。
技术实现思路
本专利技术实施例提供一种克服上述问题或者至少部分地解决上述问题的裸眼三维光场内容的生成方法及装置。第一个方面，本专利技术实施例提供一种裸眼三维光场内容的生成方法，包括：获取虚拟相机阵列中每个虚拟相机与显示面板上各像素点的对应关系，通过虚拟相机向具有对应关系的像素点多次发射定向光线；对每次发射的定向光线照射至虚拟物体上后的反射光线进行路径跟踪，根据多次路径追踪的结果进行积分，获得所述像素点的像素值；根据获得的显示面板上所有像素点的像素值生成所述虚拟物体的三维光场内容。进一步地，所述根据获得的显示面板上所有像素点的像素值生成所述虚拟物体的三维光场内容，具体为：将多次路径追踪后积分得到的所有像素点的像素值以及场景信息输入至预先训练的神经网络模型中，输出三维光场内容；r>其中，所述场景信息通过路径追踪获得；所述神经网络模型以n次样本路径追踪后积分得到的所有像素点的像素值以及场景信息作为样本，以m次样本路径追踪后获得的三维光场内容为样本标签训练而成；其中，m和n均为正整数，且n小于m。进一步地，所述神经网络模型为递归卷积神经网络。进一步地，所述神经网络模型的输入的像素值为至少第四次进行路径追踪结果后进行积分获得的像素点的像素值。进一步地，所述获取虚拟相机阵列中每个虚拟相机与显示面板上各像素点的对应关系，具体为：确定显示面板上各像素点的坐标，将各像素点划分至矩形排布的基元图像子块；根据像素点的坐标以及像素点所划分的基元图像子块，确定像素点在基元图像子块中的位置；根据像素点在基元图像子块中的位置以及虚拟相机阵列的宽度和高度，确定像素点对应的虚拟相机。进一步地，所述根据多次路径追踪的结果进行积分，获得所述像素点的像素值，具体通过以下公式计算：其中，u(x)表示像素点x的像素值，nx表示定向光线的采样次数，表示随机采样的第j次通过像素点x的定向光线的采样的像素值。进一步地，所述路径跟踪的结果通过BRDF函数进行积分来实现。第二个方面，本专利技术实施例提供一种裸眼三维光场内容的生成装置，包括：光线发射模块，用于获取虚拟相机阵列中每个虚拟相机与显示面板上各像素点的对应关系，通过虚拟相机向具有对应关系的像素点多次发射定向光线；像素值获取模块，用于对每次发射的定向光线照射至虚拟物体上后的反射光线进行路径跟踪，根据多次路径追踪的结果进行积分，获得所述像素点的像素值；光场内容生成模块，用于根据获得的显示面板上所有像素点的像素值生成所述虚拟物体的三维光场内容。第三方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。本专利技术实施例提供的裸眼三维光场内容的生成方法及装置，利用像素点可以并行渲染的优势，将现有技术对视点的直接跟踪变更为对像素点的跟踪，可以大幅提升三维光场内容的生成效率，通过对由视点向像素点发射的定向光线照射至虚拟物体后的反射光线进行路线跟踪，利用蒙特卡洛积分的方法估算出像素点的像素值，将所有像素点的像素值进行显示，即获得虚拟物体的三维光场内容。本专利技术实施例为获取裸眼三维光场内容提供了新的方向，能够大幅提升三维光场内容的生成效率，解决了超多密集视点在复杂光照下无法快速生成高质量的集成成像的生成问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例的裸眼三维光场内容的生成方法的流程示意图；图2为本专利技术实施例提供的裸眼三维光场内容的生成装置的结构示意图；图3为本专利技术实施例提供的电子设备的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为了更好地理解本专利技术实施例的技术方案，首先对技术方案中出现的技术名词进行解释说明。物理渲染：利用物理光学来更真实的模拟现实世界的渲染技术。物理渲染的目的是利用更接近实际物理理论的光照计算生成更加真实的画面。三维光场显示：不用佩戴任何辅助设备，可以直接为观看者提供全视差的立体视觉。视点：视差图像在空间中形成的可正确观看的位置。基元图像阵列：用于存储多视图的光场信息的图像，借助于三维显示系统能够显示出三维像。路径追踪：依据真实世界中的表面特性，模拟光线在表面的作用，对所有可能的光线路径进行积分。蒙特卡洛积分：也称统计模拟方法，是一种以概率统计理论为指导的一类非常重要的数值计算方法。全局光照：是指既考虑场景中直接光照，又考虑经过场景中其他物体反射后的间接光照的一种渲染技术。使用全局光照能够有效地增强场景的真实感。卷积神经网络：是一类包含卷积计算且具有深度结构的前馈神经网络，它仿造生物的视知觉、机制构建，可以进行监督学习和非监督学习。图形去噪：根据渲染过程中已知的场景参数，如法线，光照度，面片位置，阴影等，构造匹配滤波器，输入有噪声的图像序列，输出去噪后的图像。本专利技术实施例的三维光场的光学层由显示面板(例如可以为液晶显示面板)、透镜阵列和扩散膜组成。透镜阵列具有空间分光能力，能够控制它所覆盖的显示面板的像素上的光线到空间中的指定位置，以生成视差图像。由显示面板发射的光线形成空间视点，分别进入左右眼，形成立体感。三维光场显示能够提供超多视点显示，比如对于83*83大小的虚拟相机阵列来说，就存在6889个视点。传统的栅格化的渲染方案的渲染的时间复杂度和视点数成正比，在超密集本文档来自技高网...

【技术保护点】
1.一种裸眼三维光场内容的生成方法，其特征在于，包括：/n获取虚拟相机阵列中每个虚拟相机与显示面板上各像素点的对应关系，通过虚拟相机向具有对应关系的像素点多次发射定向光线；/n对每次发射的定向光线照射至虚拟物体上后的反射光线进行路径跟踪，根据多次路径追踪的结果进行积分，获得所述像素点的像素值；/n根据获得的显示面板上所有像素点的像素值生成所述虚拟物体的三维光场内容。/n

【技术特征摘要】
1.一种裸眼三维光场内容的生成方法，其特征在于，包括：
获取虚拟相机阵列中每个虚拟相机与显示面板上各像素点的对应关系，通过虚拟相机向具有对应关系的像素点多次发射定向光线；
对每次发射的定向光线照射至虚拟物体上后的反射光线进行路径跟踪，根据多次路径追踪的结果进行积分，获得所述像素点的像素值；
根据获得的显示面板上所有像素点的像素值生成所述虚拟物体的三维光场内容。


2.根据权利要求1所述的裸眼三维光场内容的生成方法所述根据获得的显示面板上所有像素点的像素值生成所述虚拟物体的三维光场内容，具体为：
将多次路径追踪后积分得到的所有像素点的像素值以及场景信息输入至预先训练的神经网络模型中，输出三维光场内容；
其中，所述场景信息通过路径追踪获得；所述神经网络模型以n次样本路径追踪后积分得到的所有像素点的像素值以及场景信息作为样本，以m次样本路径追踪后获得的三维光场内容为样本标签训练而成；其中，m和n均为正整数，且n小于m。


3.根据权利要求2所述的裸眼三维光场内容的生成方法，其特征在于，所述神经网络模型为递归卷积神经网络。


4.根据权利要求2或3所述的裸眼三维光场内容的生成方法，其特征在于，所述神经网络模型的输入的像素值为至少第四次进行路径追踪结果后进行积分获得的像素点的像素值。


5.权利要求1所述的裸眼三维光场内容的生成方法，其特征在于，所述获取虚拟相机阵列中每个虚拟相机与显示面板上各像素点的对应关系，具体为：
确定显示面板上各像素点的坐标，将各像素点划分至矩形排布的基元图像子块；
根据像素点的坐标以及像素点所划分的基元图...

【专利技术属性】
技术研发人员：桑新柱，李远航，邢树军，管延鑫，颜玢玢，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11