【技术实现步骤摘要】
技术介绍
1、形成和使用多焦平面(mfp)是一种用于避免聚散度-调节冲突的方法，其使得观看者能够自然地沿着深度维度聚焦图像信息。该方法在近眼(眼镜)显示器中可能特别有用。
2、mfp显示器创建离散焦平面的堆叠，从而根据沿着观看者的视轴的层组成3d场景。通过以不同深度和空间角度投影用户可见的像素(或体素)来形成3d场景的视图。
3、每个焦平面显示3-d视图的表示对应于相应焦平面的深度范围的一部分。深度混合是一种用于在查看从离散焦平面编译的视图时平滑量化步长和轮廓描绘的方法，从而使得用户将不太可能感知到步长。深度混合在k.akeley等人“具有多个焦距的立体显示原型(a stereo display prototype with multiple focal distances)”,acm图形处理(tog),v.23n.3,2004年08月,pp.804-813和hu,x.,&hua,h.(2014)“深度融合的多焦平面显示原型的设计与评估(design and assessment of a depth-fused multi-focal-plane displayprototype)”ieee/osa显示技术杂志(journal of display technology),10(4),308-316中更详细地描述。
4、当使用深度混合时，已经发现渲染相对少量的焦平面(例如4-6个平面)对于可接受的质量是足够的。这个数量的焦平面在技术上也是可行的。
5、可以通过空间复用2
6、人类视觉系统(hvs)有利于将焦平面放置在屈光尺度上的规则距离处。另一方面，使用线性尺度通常最容易捕获深度信息。这两种选择都可以用于mfp显示器。mfp近眼显示器的例子在图2中示意性地示出。图2示出了由用户的左眼202和右眼204观看的显示器。为每只眼睛提供相应的目镜206、208。目镜聚焦由相应的图像堆栈210、212形成的图像。图像堆栈在距目镜的不同距离处形成不同的图像。对于用户的眼睛，图像看起来源于不同的虚像平面，例如图像平面214、216、218。
7、mfp显示器创建所显示的场景的光场的近似。因为近眼显示器随着用户的头部移动而移动，所以在每个时刻仅支持一个视点就足够了。相应地，由于不需要捕获大量视点的光场，因此光场的近似更容易。
技术实现思路
1、本公开描述了用于捕获和显示用于多焦平面(mfp)显示器的内容的方法和系统。在一些实施例中，从焦点堆栈(以变化的焦距捕获的图像)生成内容。一些实施例可以在针对大的合成视差或视点改变而移动mfp时产生减少数量的去遮挡和空洞。
2、在一些实施例中，聚焦图像是用大光圈捕获的，使得一些图像信息是从遮挡对象的后面获得的。
3、一些实施例还执行大光圈深度感测，这可以通过大光圈深度传感器、通过应用散焦图、或者通过对由其形成的聚焦堆叠和/或焦平面使用合适的滤波和重新分布方案来实现。在一些实施例中，在形成重新分布的焦平面之前，应用滤波以聚焦堆叠图像。在一些实施例中，在形成焦平面之后应用滤波。然后，滤波结果被用于形成重新分布的焦平面(或更一般地，高频和/或重新分布的焦平面)。
4、一个示例如下操作。获得场景的多个纹理图像pi，其中每一纹理图像具有不同的相应焦距di。纹理图像可以是例如rgb图像或灰度图像，以及其他选项。对于每个纹理图像pi，生成焦平面图像qi。为了生成焦平面图像qi，纹理图像pi中的每个像素(x,y)由权重wi(x,y)加权。将纹理图像pi的每个像素值pi(x,y)乘以各自的权重wi(x,y)以生成焦平面图像qi，使得qi(x,y)＝pi(x,y)·wi(x,y)。
5、权重wi(x,y)可以表示在纹理图像pi中像素(x,y)对焦的量。可以使用不同的技术来确定在纹理图像pi中像素(x,y)对焦的量。在一些此类技术中，测量或以其它方式确定像素(x,y)的深度zi(x,y)，并且权重wi(x,y)是深度的函数，使得wi(x,y)＝wi[zi(x,y)]。函数wi[z]可以是如在已知的多焦显示器中使用的混合函数。在一些实施例中，函数在wi[di]处具有最大值(例如，值1)，指示当像素的测量深度与焦距相同时，像素最对焦的可能性。wi[z]的值可以随着z从焦距di增大或减小而单调地减小，从而针对更远离焦距并且不太可能对焦的像素深度给出较低权重。具有与焦平面充分偏移的深度值的像素可被赋予零权重(即使可辨别某一级别的聚焦)。
6、在一些实施例中，在纹理图像pi中像素(x,y)对焦的量通过产生散焦图来确定，该散焦图为纹理图像pi中的每个像素分配聚焦级别(或散焦级别)。例如，可以给予最对焦的像素一的权重，并且可以给予更不对焦的像素低至零的权重。
7、n个焦平面图像qo…qi…qn-1的集合可以使用这里描述的技术来生成，并且可以显示在多焦平面显示器上。根据显示器的类型，可以使用时间复用同时或以快速循环的顺序显示焦平面图像。
8、在一些实施例中，可用纹理图像pi的集合可以大于多焦平面显示器中的可用(或期望)显示平面的数量。在这种情况下，一种方法可以包括为每个显示平面选择一个焦平面图像。对于每个显示平面，可以选择具有与显示平面的焦距相同或最接近的焦距的纹理图像。
9、在一些实施例中，通过相对于焦平面图像中的至少第二焦平面图像横向移位焦平面图像中的至少第一焦平面图像来生成虚拟视点。例如，焦平面图像可以被横向移动与相应的焦平面图像的显示焦距(即，焦平面图像的显示平面的焦距)成反比的量。虚拟视点可用作立体视点对中的一个或两个。还可以响应于观看者头部运动生成虚拟视点以模拟运动视差。
10、在一些实施例中，基本上同时捕获每个纹理图像pi和相应的对应深度图di。可以利用相同或相似的光学器件来捕获每个纹理图像和相应的对应深度图。可以利用具有相同光圈的光学器件来捕获每个纹理图像和相应的对应深度图。
本文档来自技高网...【技术保护点】
1.一种方法，包括：
2.根据权利要求1所述的方法，进一步包括在多焦平面显示器中在所述焦平面图像的所述相应焦距处的显示所述焦平面图像。
3.根据权利要求2所述的方法，其中所述焦平面图像被基本上同时显示。
4.根据权利要求2或3中任一项所述的方法，进一步包括：对于所述焦平面图像中的每一者，从所述多个纹理图像中选择相应纹理图像。
5.根据权利要求1所述的方法，其中获得多个纹理图像包括：在所述相应焦距处捕获所述多个纹理图像中的每一者。
6.根据权利要求1所述的方法，其中生成所述对应聚焦权重图中的每一者进一步基于所述相应纹理图像的聚焦级别。
7.根据权利要求1-6中任一项所述的方法，进一步包括通过将所述焦平面图像中的至少一者移位与所述相应焦平面图像的显示焦距成反比的量来生成虚拟视点。
8.根据权利要求7所述的方法，进一步包括将所生成的虚拟视点显示为立体视点对中的一者。
9.根据权利要求7所述的方法，进一步包括响应于观看者头部运动来显示所生成的虚拟视点以模拟运动视差。
10.一种包括
...【技术特征摘要】
1.一种方法，包括：
2.根据权利要求1所述的方法，进一步包括在多焦平面显示器中在所述焦平面图像的所述相应焦距处的显示所述焦平面图像。
3.根据权利要求2所述的方法，其中所述焦平面图像被基本上同时显示。
4.根据权利要求2或3中任一项所述的方法，进一步包括：对于所述焦平面图像中的每一者，从所述多个纹理图像中选择相应纹理图像。
5.根据权利要求1所述的方法，其中获得多个纹理图像包括：在所述相应焦距处捕获所述多个纹理图像中的每一者。
6.根据权利要求1所述的方法，其中生成所述对应聚焦权重图中的每一者进一...
【专利技术属性】
技术研发人员：塞波·T·瓦利，佩卡·K·西尔塔宁，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。