一种集成成像光场显示的实时渲染方法及装置制造方法及图纸

本申请公开了一种集成成像光场显示的实时渲染方法及装置，包括：根据预设的目标重建空间和待渲染的目标图像，确定目标重建平面及其重建范围；针对各个目标重建平面，获取目标图像在目标重建平面的纹理图；根据各个目标重建平面的纹理图的体像素信息以及第一索引矩阵，获取包含各目标重建平面的纹理图中的每个体像素与显示面板上的二维像素的对应关系的第二索引矩阵；其中，第一索引矩阵为预先计算得到的；最后根据各个目标重建平面的纹理图的体像素信息以及第二索引矩阵，获取显示面板的单元图像阵列。整个计算过程简单、快捷，不需要依赖于强大的硬件算力，压缩了计算量并节约了渲染单个图片的时间，使得图像渲染的速度达到视频级的水平。视频级的水平。视频级的水平。

【技术实现步骤摘要】
一种集成成像光场显示的实时渲染方法及装置


[0001]本申请涉及三维显示技术与图像渲染
，更具体地说，是涉及一种集成成像光场显示的实时渲染方法及装置。

技术介绍

[0002]虚拟现实(Virtual Reality,VR)与增强现实(Augmented Reality)三维显示技术广泛应用于军事、医疗、娱乐、教育等领域。传统的实现方法利用双目视差的原理，通过双目辐辏作用产生三维效果。但由于屏幕发出的光线缺乏深度信息，眼睛的焦点与纵深感不匹配，引发辐辏调节冲突(Vergence
‑
Accommodation Conflict,VAC)，使观看者产生视觉疲劳，长期观看后导致眩晕、不适感。
[0003]为了实现没有VAC的真3D显示，人们专利技术了多种实现方法，按照成像原理可大致分为集成成像光场显示、全息显示、体3D显示、自适应变焦等方法。其中，集成成像光场显示由于具有硬件简单易实现、轻薄、深度连续可调等优势而成为下一代三维显示技术的焦点。
[0004]集成成像是一种自动立体(autostereoscopic)和多视角(multiscopic)的三维成像技术，通过使用小孔阵列或微透镜阵列(也称为蝇眼透镜)捕获并重现光场，通常无需借助较大的集成物镜或观察透镜。在捕获模式下，将胶片或检测器耦合到微透镜阵列，每个微透镜都允许获取从该透镜位置的角度观察到的被摄对象的图像。在再现模式下，每个微透镜允许每个观察眼睛只看到相关的微图像区域，该区域包含从该区域通过该空间可以看到的对象部分。
[0005]目前，请参阅图1，集成成像光场显示系统通常包括一块高分辨率的显示面板和一个微透镜阵列，在显示面板上显示的二维图像称为单元图像阵列(EIA，Elemental Image Array)，EIA的不同部分通过微透镜阵列在三维空间中被投射到不同方位上，形成三维图像。
[0006]为了生成EIA，一般基于追迹光线的视点进行映射，计算EIA上每个像素对应光线所携带的图像信息，即映射对应的亮度、色度信息。这种算法运算量大，响应速度慢，无法满足人机实时交互的需求。
[0007]现有技术从硬件、算法以及兼顾二者的角度提出了各类改进，例如：基于蒙特卡洛光线及中心凹办法，模拟一定数量光线的传播，以实现快速渲染；利用透镜做多次折反射，实现远距离连续深度三维图像的重构；或者，利用不同采样及光线追迹算法，如VVR(Viewpoint Vector Rendering)，提取多视角图，并依此进行三维光场的重建等。
[0008]然而，现有面向虚拟现实和增强现实的图像渲染技术，一方面，对硬件算力依赖过强，需结合高成本的计算技术，在可穿戴设备中难以实现；另一方面，渲染机器的单位渲染时间(渲染单个图片的时间)过长，难以实现实时渲染。

技术实现思路

[0009]有鉴于此，本申请提供了一种集成成像光场显示的实时渲染方法及装置，以实现。
[0010]为实现上述目的，本申请第一方面提供了一种集成成像光场显示的实时渲染方法，包括：
[0011]根据预设的目标重建空间和待渲染的目标图像，确定至少两个目标重建平面以及目标重建平面的重建范围；
[0012]针对每个目标重建平面，根据显示面板的参数和目标重建平面的重建范围，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，获取待渲染的目标图像在目标重建平面的纹理图；
[0013]根据各个目标重建平面的纹理图的体像素信息以及预设的第一索引矩阵，获取第二索引矩阵；其中，所述第一索引矩阵包含了各个可能的重建平面在其重建范围内的每一个体像素与显示面板上的二维像素的对应关系；所述第二索引矩阵包含各个目标重建平面的纹理图中的每一个体像素与显示面板上的二维像素的对应关系；
[0014]根据各个目标重建平面的纹理图的体像素信息以及所述第二索引矩阵，获取显示面板的单元图像阵列。
[0015]优选地，所述第一索引矩阵的计算方法，包括：
[0016]根据预设的目标重建空间，确定多个可能的重建平面以及所述重建平面的重建范围；
[0017]针对每个可能的重建平面，根据微透镜阵列的参数，结合显示面板、微透镜阵列以及所述重建平面三者之间的几何关系，计算所述重建平面在其重建范围内的每一个体像素对应于显示面板上的二维像素，得到第一索引矩阵。
[0018]优选地，所述根据微透镜阵列的参数，结合显示面板、微透镜阵列以及所述重建平面三者之间的几何关系，计算所述重建平面在其重建范围内的每一个体像素对应于显示面板上的二维像素的过程，包括：
[0019]针对微透镜阵列中的每个透镜，根据所述透镜的焦距，以及所述透镜与显示面板、重建平面三者之间的几何关系，通过高斯公式进行光线追迹，得到所述重建平面在其重建范围内的每一个体像素对应于显示面板上的二维像素。
[0020]优选地，所述根据显示面板的参数和目标重建平面的重建范围，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，获取待渲染的目标图像在目标重建平面的纹理图的过程，包括：
[0021]根据显示面板的参数和目标重建平面的重建范围，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，获取目标重建平面的采样频率；
[0022]根据目标重建平面的采样频率和重建范围，对待渲染的目标图像进行向下采样，得到目标重建平面的纹理图。
[0023]优选地，所述根据显示面板的参数和目标重建平面的重建范围，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，获取目标重建平面的采样频率的过程，包括：
[0024]根据显示面板的参数，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，确定目标重建平面的体像素的尺寸；
[0025]根据目标重建平面的重建范围，结合所述目标重建平面的体像素的尺寸，确定所述目标重建平面的采样频率。
[0026]优选地，所述根据显示面板的参数，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，确定目标重建平面的体像素的尺寸的过程，包括：
[0027]通过如下公式来确定目标重建平面的体像素的尺寸：
[0028][0029]其中，L
con_imgl_pix_i
为目标重建平面的体像素的尺寸，L
per_pixel
为显示面板上单个像素的尺寸，r为微透镜阵列到显示面板的距离，L
i
为目标重建平面到显示面板的距离。
[0030]优选地，所述根据目标重建平面的重建范围，结合所述目标重建平面的体像素的尺寸，确定所述目标重建平面的采样频率的过程，包括：
[0031]通过如下公式来确定所述目标重建平面的采样频率：
[0032][0033]其中，f
pixel_i
为目标重建平面的采样频率，L
con_imgl
为目标重建平面的重建范围的尺寸，L
con_imgl_pix_i
为目标重建平面的体像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于集成成像光场显示的实时渲染方法，其特征在于，包括：根据预设的目标重建空间和待渲染的目标图像，确定至少两个目标重建平面以及目标重建平面的重建范围；针对每个目标重建平面，根据显示面板的参数和目标重建平面的重建范围，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，获取待渲染的目标图像在目标重建平面的纹理图；根据各个目标重建平面的纹理图的体像素信息以及预设的第一索引矩阵，获取第二索引矩阵；其中，所述第一索引矩阵包含了各个可能的重建平面在其重建范围内的每一个体像素与显示面板上的二维像素的对应关系；所述第二索引矩阵包含各个目标重建平面的纹理图中的每一个体像素与显示面板上的二维像素的对应关系；根据各个目标重建平面的纹理图的体像素信息以及所述第二索引矩阵，获取显示面板的单元图像阵列。2.根据权利要求1所述的方法，其特征在于，所述第一索引矩阵的计算方法，包括：根据预设的目标重建空间，确定多个可能的重建平面以及所述重建平面的重建范围；针对每个可能的重建平面，根据微透镜阵列的参数，结合显示面板、微透镜阵列以及所述重建平面三者之间的几何关系，计算所述重建平面在其重建范围内的每一个体像素对应于显示面板上的二维像素，得到第一索引矩阵。3.根据权利要求2所述的方法，其特征在于，所述根据微透镜阵列的参数，结合显示面板、微透镜阵列以及所述重建平面三者之间的几何关系，计算所述重建平面在其重建范围内的每一个体像素对应于显示面板上的二维像素的过程，包括：针对微透镜阵列中的每个透镜，根据所述透镜的焦距，以及所述透镜与显示面板、重建平面三者之间的几何关系，通过高斯公式进行光线追迹，得到所述重建平面在其重建范围内的每一个体像素对应于显示面板上的二维像素。4.根据权利要求1所述的方法，其特征在于，所述根据显示面板的参数和目标重建平面的重建范围，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，获取待渲染的目标图像在目标重建平面的纹理图的过程，包括：根据显示面板的参数和目标重建平面的重建范围，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，获取目标重建平面的采样频率；根据目标重建平面的采样频率和重建范围，对待渲染的目标图像进行向下采样，得到目标重建平面的纹理图。5.根据权利要求4所述的方法，其特征在于，所述根据显示面板的参数和目标重建平面的重建范围，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，获取目标重建平面的采样频率的过程，包括：根据显示面板的参数，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，确定目标重建平面的体像素的尺寸；根据目标重建平面的重建范围，结合所述目标重建平面的体像素的尺寸，确定所述目标重建平面的采样频率。6.根据权利要求5所述的方法，其特征在于，所述根据显示面板的参数，以及显示面板、微透镜...

【专利技术属性】
技术研发人员：秦宗，万权震，邱钰清，戴睿佳，杨文超，杨柏儒，
申请(专利权)人：中山大学，
类型：发明
国别省市：