一种基于多视点重建的裸眼三维显示方法技术

本发明专利技术公开一种基于多视点重建的裸眼三维显示算法，获取多个密集视点图，显示端使用多层平行排列的屏幕，屏幕前方设有多个会聚视点，每个会聚视点与最后一层屏幕上的每个像素对应的位置都有一条光线，光线透过显示端时，每条光线都会与每层屏幕形成一个交叉点，每条光线所形成的多个交叉点在屏幕上所对应的亮度与色彩信息在该光线对应的方向上相互重叠，由此每条光线都能够重建出一个像素的亮度和色彩信息，在一个会聚视点上，这些光线能够重建出单个视点所对应二维图像的亮度和色彩信息，观看到图像的分辨率与多层屏幕的分辨率是一致的，由此使其在该会聚视点上重建出的亮度和色彩信息与该会聚视点位置对应的子图像信息相一致。息相一致。息相一致。

【技术实现步骤摘要】
一种基于多视点重建的裸眼三维显示方法


[0001]本专利技术涉及裸眼三维显示技术，特别是涉及一种基于多视点重建的裸眼三维显示方法。

技术介绍

[0002]传统的三维显示技术主要是通过运用双目视差特性和视觉暂留效应来使得人眼获得三维图像。然而，这些显示技术将物体显示在显示屏上，位置则为二维平面上单眼调节所感知到的物体的位置，而通过双目会聚聚焦的物体的位置则是在空间中的三维物体，也就是说，对于人眼而言，眼睛的屈光调节和视觉辐辏并不是自动地同时发生的，他们之间有一个直接的相关关系，给定任意的屈光调节度，就会对应一个视觉辐辏度，反之亦然。这样就会造成聚焦辐辏调节冲突。
[0003]多层光场显示是指利用多个显示平面来对所要显示的三维物体的空间光场进行重建。光场是指光在空间中通过任意一点的所有方向的光线集合。一般来说，会用两个平行平面表示光场,其中经过这两个平面内的两点来决定一条光线的传播方向。
[0004]现有的多层显示常常用非负矩阵分解的方法来解决。通过迭代算法来产生各个显示层的像素数据，这种方法的应用很广泛，但是普遍存在景深偏小，视场角小，分辨率低等问题。
[0005]现在也常用深度学习的方法来解决这类问题，通过深度学习方法训练出了神经网络的数据，之后可以利用其和原始的多视点图像来得到这多个显示平面的像素值数据。这种方法得到的立体图像往往具有不错的效果。观看者会明显感受到物体悬浮于显示板之外。但是，当前深度学习方法还存在着各种问题，制约着其进一步发展和应用。
[0006]主要有如下表现：r/>[0007]1、训练出的深度学习模型的收敛效果不够好。由于数据训练的方式和网络架构的局限性，在很多情况下模型的收敛效果难以达到预期。重建出的三维图像往往有条纹，且亮度不够。
[0008]2、针对特定的多视点图像训练出的深度学习模型的实时性不够强。受到计算机硬件和模型性能的影响，模型的计算速度不够，因此难以处理对实时性要求较高的视频流。
[0009]3、多层显示的视场角不够大，且景深范围比较小。在过往的光场显示中由于重建的方法只针对一个视点进行优化，能够提供的可做对比的原始正确视角信息很少，且传统的多层显示可承受负载有限，所以会导致视场角偏小，景深偏小，且串扰偏大。

技术实现思路

[0010]有鉴于此，本专利技术的目的在于提供一种基于多视点重建的裸眼三维显示方法，该方法用以解决多层裸眼三维显示时，存在的视角局限性问题，本专利技术能够重建精度更高的自然三维影像，最终能够实现实时重建大角度、准确的裸眼三维显示。
[0011]为了实现上述目的，本专利技术采用如下技术方案：
[0012]一种基于多视点重建的裸眼三维显示方法，包括如下步骤：
[0013]步骤S1、获取某一三维物体在不同角度下的密集视点图；
[0014]步骤S2、采用一显示装置，该显示装置包括多层平行排列的屏幕，在所述显示装置的前方设定多个会聚视点，所述会聚视点与所述显示装置的最后一层屏幕上每个像素对应的位置都有一条光线，并且所述的这些光线在透过所述显示装置时，与每层屏幕均有一个交叉点，每条光线所形成的多个交叉点在屏幕上所对应的亮度与色彩信息在该光线透射的方向上相互重叠。
[0015]进一步的，在所述步骤S1中，获取某一三维物体在不同角度下的密集视点图的方法，具体为通过采用光场相机直接拍摄的方法、采用计算机仿真软件仿真的方法或者采用2d+depth算法生成的方法。
[0016]进一步的，所述显示装置所采用的屏幕具体为液晶、OLED或者LED。
[0017]进一步的，在所述步骤S2中，重置的子图像为多层图像，其中，至少一层为彩色层，该彩色层采用RGB显示方法，各像素携带有RGB三色的像素值，其余各层为灰度层，该灰度层只显示灰度值，各像素只携带有灰度数据。
[0018]进一步的，所述显示装置最里一层为背光层，最外一层为彩色层，中间具有第一灰度层和第二灰度层，并且采用深度学习的方法在所述的每一个会聚视点同时重建子图像，具体包括：
[0019]步骤S201、以垂直于所述显示装置的方向为z轴，并且以屏幕的位置从左到右为x轴，建立坐标系；
[0020]步骤S202、在所述显示装置的前方设定K个会聚视点，以所述显示装置的这3层屏幕同时通过这K个会聚视点去创建各自的视场角图像，具体是：
[0021]设当重建第i个视点时，通过第二灰度层、第一灰度层和彩色层的光线与各层的交点的屏幕透过率依次表示为
[0022]则，第m条穿过第一灰度层和彩色层之后的光线的像素值的表达式为：
[0023][0024]公式(1)中，L
i,m
(x,z)表示重建第i个视点时第m条光线的像素值，其中，x表示重建图像的对应像素位置的横坐标，z表示重建图像的对应像素位置的纵坐标；表示重建第i个视点时第m条光线与第二灰度层的交点所对应的像素值，其中，x1表示与第二灰度层的交点的像素位置的横坐标，z1表示与第二灰度层的交点的像素位置的纵坐标；表示重建第i个视点时第m条光线与第一灰度层的交点所对应的像素值，其中，x2表示与第一灰度层的交点的像素位置的横坐标，z2表示与第一灰度层的交点的像素位置的纵坐标；表示重建第i个视点时第m条光线与彩色层的交点所对应的像素值，其中，x3表示与彩色层的交点的像素位置的横坐标，z3表示与彩色层的交点的像素位置的纵坐标；
[0025]则，该第i个视点的重建的子图像为L
i
，若该i个视点对应的原始图像为T
i
，则原始图像与重建的子图像的之间的关系表示为：
[0026]arg min∑
i
||L
i
‑
T
i
||2ꢀꢀꢀ
(2)
[0027]使用深度学习的方法，将公式2当做损失函数进行求解，直至深度学习模型收敛，得到第该第i个视点的重建的多层子图像；
[0028]使用插值算法将重建的多层子图像放大若干倍数，直至放大后的图像的尺寸与原始图像相同，则实现了裸眼三维显示。
[0029]进一步的，在所述深度学习的方法中，采用的架构为encode
‑
decode，并且采用至少50个epoch进行训练。
[0030]进一步的，所述显示装置的前方设置有K个会聚视点，通过如下方法来确定其中具体某个会聚视点的位置：
[0031]在显示装置的外侧的某一位置处，确定一个平面，该平面与屏幕平行，且所有视点都在该平面上；
[0032]在每块屏幕上随机选取一点，并且保证这些点是共线的，将这些点连成一条直线，与所述平面的交点就是该视点的位置。
[0033]进一步的，通过将经过深度学习方法计算得到的多层子图像全部加载到显示装置的多层屏幕上，用以实现裸眼三维显示效果，该为3D显示模式；当需要2D显示模式时，则将2D图像的信息加载在某一层屏幕上，其他层屏幕设置成透明，则实现2D显示模式。
[0034]进一步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多视点重建的裸眼三维显示方法，其特征在于，包括如下步骤：步骤S1、获取某一三维物体在不同角度下的密集视点图；步骤S2、采用一显示装置，该显示装置包括多层平行排列的屏幕，在所述显示装置的前方设定多个会聚视点，所述会聚视点与所述显示装置的最后一层屏幕上每个像素对应的位置都有一条光线，并且所述的这些光线在透过所述显示装置时，与每层屏幕均有一个交叉点，每条光线所形成的多个交叉点在屏幕上所对应的亮度与色彩信息在该光线透射的方向上相互重叠。2.根据权利要求1所述的一种基于多视点重建的裸眼三维显示方法，其特征在于，在所述步骤S1中，获取某一三维物体在不同角度下的密集视点图的方法，具体为通过采用光场相机直接拍摄的方法、采用计算机仿真软件仿真的方法或者采用2d+depth算法生成的方法。3.根据权利要求1所述的一种基于多视点重建的裸眼三维显示方法，其特征在于，所述显示装置所采用的屏幕具体为液晶、OLED或者LED。4.根据权利要求1所述的一种基于多视点重建的裸眼三维显示方法，其特征在于，在所述步骤S2中，重置的子图像为多层图像，其中，至少一层为彩色层，该彩色层采用RGB显示方法，各像素携带有RGB三色的像素值，其余各层为灰度层，该灰度层只显示灰度值，各像素只携带有灰度数据。5.根据权利要求1所述的一种基于多视点重建的裸眼三维显示方法，其特征在于，所述显示装置最里一层为背光层，最外一层为彩色层，中间具有第一灰度层和第二灰度层，并且采用深度学习的方法在所述的每一个会聚视点同时重建子图像，具体包括：步骤S201、以垂直于所述显示装置的方向为z轴，并且以屏幕的位置从左到右为x轴，建立坐标系；步骤S202、在所述显示装置的前方设定K个会聚视点，以所述显示装置的这3层屏幕同时通过这K个会聚视点去创建各自的视场角图像，具体是：设当重建第i个视点时，通过第二灰度层、第一灰度层和彩色层的光线与各层的交点的屏幕透过率依次表示为则，第m条穿过第一灰度层和彩色层之后的光线的像素值的表达式为：公式(1)中，L
i,m
(x,z)表示重建第i个视点时第m条光线的像素值，其中，x表示重建图像的对应像素位置的横坐标，z表示重建图像的对应像素位置的纵坐标；表示重建第i个视点时第m条光线与第二灰度层的交点所对应的像素值，其中，x1表示与第二灰度层的交点的像素位置的横...

【专利技术属性】
技术研发人员：戴天翊，夏军，
申请(专利权)人：东南大学，
类型：发明
国别省市：