用于减少头戴式显示系统中的动显延迟的方法和系统技术方案

公开了用于减少头戴式显示系统中的动显延迟的方法和系统。头戴式显示系统包括：头戴式显示设备(102)，包括：显示驱动器(202)，用于在显示器(204)上驱动图像；跟踪系统(206)，用于获得位姿数据；通信接口(106)，用于在头戴式显示设备和远程渲染单元(104)之间形成通信；以及处理器(208)，配置成：在第一时刻采集第一位姿数据和在第二时刻采集第二位姿数据，并将所采集的位姿数据提供给远程渲染单元；在第三时刻采集第三位姿数据；从远程渲染单元接收第二初始图像；使用第三位姿数据，根据第二初始图像形成第二第一初始图像；以及从显示驱动器接收V同步信号，之后给显示驱动器提供第二初始图像。始图像。始图像。

【技术实现步骤摘要】
用于减少头戴式显示系统中的动显延迟的方法和系统


[0001]本公开涉及头戴式显示系统，更具体地，涉及用于减少多焦点戴式显示系统中的动显延迟(motion
‑
to
‑
photon)的系统和方法。

技术介绍

[0002]向观看者的眼睛呈现三维图像是一项具有挑战性的任务。解决方案之一是应用立体头戴式显示器。此外，这种显示器可实现为透视显示器且用于增强现实，从而改变人类的感知、促进认知和决策。然而，通常这种系统不适于近距离工作—主动涉及人类参与的人工任务，例如装配和修理、医疗程序、设计任务等。这是因为已知的立体显示系统使用单个显示平面来观察清晰图像—迫使人眼以这个距离进行调节，而双眼视觉辐辏提示提供三维(3D)深度感觉。这种情况导致自然耦合的视觉辐辏和调节机制的强力解耦，其表现为当近距离调节时视力模糊，以及眼睛过度疲劳和整个人类视觉系统疲惫。
[0003]克服这些限制的已知解决方案之一是应用多焦点显示架构，该架构可大幅减轻通常在单焦点平面系统中遇到的不利影响。然而，为了用户的便捷性，优选地，这种系统必须具有轻的重量且在使用期间不具有有线连接，以不限制移动的自由度。当多焦点3D图像数据集可变大时，在增强现实环境中进行无线数据传输和创建无缝用户体验变得具有挑战性。
[0004]现有的解决方案可分成两组。一组是解决视觉辐辏
‑
调节冲突的光学架构或显示架构的专利技术，而另一组是具有便捷性和性能的系统。在一组替代显示技术中，存在变焦显示器。例如，Magic Leap One
TM
是利用两个离散焦平面的变焦显示系统。在减轻视觉辐辏
‑
调节冲突的严重性时，所开发的系统依赖于眼动跟踪作为用于决定何时切换焦平面的信息源。一方面，眼动跟踪使得系统复杂化，且可能引入处理延迟。而另一方面，在两个离散图像平面之间的切换会在突然转变期间引起明显的图像伪影，从而降低图像质量。替代方法包括光场显示器，其已经证明能够传递单眼聚焦提示，从而克服由单个焦平面系统引起的视觉辐辏
‑
调节冲突所施加的限制。
[0005]另一组专利技术考虑了头戴式显示器和智能眼镜的便捷性和基于性能的设计。例如，上文提到的可用于自由移动并具有重量轻的头戴式显示部件的Magic Leap One
TM
系统已选择将显示器与计算包结合。因此，电池和计算资源与头戴式显示器分离，然而系统仍然可被认为是可移动的。其优点是减轻头部上的质量，且由于能够包含较大容量的电池，因此可能具有更长的运行时间。然而，计算包有线连接到头戴式显示系统且局部干扰用户的移动性。类似地，计算包放置在侧面或背面也可能干扰移动。
[0006]微软HoloLens产品给方便且可移动的头戴式显示平台提供一种替代解决方案。HoloLens产品是具有计算资源且电池直接包含在头戴式显示器内部的独立系统。虽然通过平衡的重量分布，使得穿戴的人体工程学不会受到影响，但是一体化解决方案更重且占用相对更大的空间。此外，可合理包含的计算资源有限，且温度管理变得非常复杂。另外，由于可合理地安装在这种系统中的电池容量有限，因此预期的有用操作时间可受到影响。
[0007]为了克服当前显示技术的限制，需要至少部分地解决上述问题的头戴式显示系统。所建议的路线之一是具有远程计算的多焦点显示架构。然而，这种设置引入明显的信号延迟。
[0008]因此，根据前述讨论，需要克服前述缺点并提供一种用于减少头戴式显示系统中的动显延迟的改进系统或改进方法。

技术实现思路

[0009]本公开寻求提供一种用于减少头戴式显示系统中的动显延迟的方法。本公开还寻求提供一种用于减少头戴式显示系统中的动显延迟的系统。此外，本公开还寻求提供另一种用于减少系统中的动显延迟的方法，该系统包括头戴式显示设备和远程渲染单元。本公开的目的是提供一种至少部分地克服在现有技术中遇到的问题的解决方案。
[0010]在一个方面，本公开的实施例提供一种用于减少头戴式显示系统中的动显延迟的方法，该头戴式显示系统具有用于显示图像的至少一个显示器以及用于跟踪头部运动的跟踪系统，该方法包括：
[0011](a)在第一时刻从跟踪系统中获得第一位姿数据；
[0012](b)形成针对于显示图像的预测时间的第一位姿预测(F1)，其中，预测时间是第一时刻之后的预定时间；
[0013](c)基于所形成的第一位姿预测(F1)，创建第一初始图像；
[0014](d)在第二时刻从跟踪系统中获得第二位姿数据，其中，第二时刻在第一时刻之后且在预测时间之前；
[0015](e)形成针对于显示图像的预测时间的第二位姿预测(F2)；
[0016](f)基于第一位姿差预测(DF1)，对第一初始图像执行第一快速图像转换，以获得第二初始图像，其中，第一位姿差预测(DF1)由第一位姿预测(F1)和第二位姿预测(F2)之间的差确定；
[0017](g)提供第二初始图像以用于进一步处理，进一步处理包括：
[0018](h)在第三时刻从跟踪系统中获得第三位姿数据，其中，第三时刻在第二时刻之后且在预测时间之前；和
[0019](i)形成针对于显示图像的预测时间的第三位姿预测(F3)；以及
[0020](j)通过基于第二位姿差预测(DF2)，对第二初始图像执行第二快速图像转换，来更新第二初始图像，其中，第二位姿差预测(DF2)由第二位姿预测(F2)和第三位姿预测(F3)之间的差确定。
[0021]在另一方面，本公开的实施例提供一种用于减少动显延迟的头戴式显示系统，该头戴式显示系统包括：
[0022]‑
头戴式显示设备，包括：
[0023]显示驱动器，用于在显示器上驱动图像；
[0024]跟踪系统，用于获得位姿数据；
[0025]通信接口，用于在头戴式显示设备和远程渲染单元之间形成通信；以及
[0026]处理器，配置成：
[0027]‑
在第一时刻采集第一位姿数据和在第二时刻采集第二位姿数据，并通过通信接
口将所采集的位姿数据提供给远程渲染单元；
[0028]‑
在第三时刻采集第三位姿数据；
[0029]‑
通过通信接口从远程渲染单元接收第二初始图像；
[0030]‑
使用第三位姿数据，通过第一快速图像转换，根据第二初始图像形成第二第一初始图像；以及
[0031]‑
从显示驱动器接收V同步信号，并在接收V同步信号之后给显示驱动器提供第二初始图像。
[0032]在又一方面，本公开提供一种用于减少系统中的动显延迟的方法，该系统包括头戴式显示设备和远程渲染单元，远程渲染单元在使用时与头戴式显示设备通信地耦合，该方法包括：
[0033]‑
通过远程渲染单元从用于跟踪头部运动的跟踪系统中获得第一组位姿数据；
[0034]‑
使用第一组位姿数据，形成待提供给头戴式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于减少头戴式显示系统(100，200，300)中的动显延迟的方法(600)，所述头戴式显示系统具有用于显示图像的至少一个显示器以及用于跟踪头部运动的跟踪系统(206)，所述方法包括：(a)在第一时刻从所述跟踪系统中获得第一位姿数据；(b)形成针对于显示图像的预测时间的第一位姿预测(F1)，其中，所述预测时间是所述第一时刻之后的预定时间；(c)基于所形成的第一位姿预测(F1)，创建第一初始图像；(d)在第二时刻从所述跟踪系统中获得第二位姿数据，其中，所述第二时刻在所述第一时刻之后且在所述预测时间之前；(e)形成针对于显示图像的所述预测时间的第二位姿预测(F2)；(f)基于第一位姿差预测(DF1)，对所述第一初始图像执行第一快速图像转换，以获得第二初始图像，其中，所述第一位姿差预测(DF1)由所述第一位姿预测(F1)和所述第二位姿预测(F2)之间的差确定；(g)提供所述第二初始图像以用于进一步处理，所述进一步处理包括：(h)在第三时刻从所述跟踪系统中获得第三位姿数据，其中，所述第三时刻在所述第二时刻之后且在所述预测时间之前；和(i)形成针对于显示图像的所述预测时间的第三位姿预测(F3)；以及(j)通过基于第二位姿差预测(DF2)，对所述第二初始图像执行第二快速图像转换，来更新所述第二初始图像，其中，所述第二位姿差预测(DF2)由所述第二位姿预测(F2)和所述第三位姿预测(F3)之间的差确定。2.根据权利要求1所述的方法(600)，其中，所述方法进一步包括：在所述第三时刻之后，等待下一个V同步脉冲；以及在所述下一个V同步脉冲可用时，给所述至少一个显示器提供第二初始图像数据。3.根据前述权利要求中任一项所述的方法(600)，其中，所述方法进一步包括：
‑
在第四时刻从所述跟踪系统(206)中获得第四位姿数据，其中，所述第四时刻在所述第三时刻之后且在所述预测时间之前；
‑
形成针对于显示所述第二初始图像的预测时间的第四位姿预测(F4)；以及
‑
在驱动所述至少一个显示器期间，对所述第四位姿预测和所述第三位姿预测进行比较，以及对所述第二初始图像进行逐行图像调节，以显示调节后的图像行。4.根据前述权利要求中任一项所述的方法(600)，其中，步骤(b)至步骤(f)在远程渲染单元中执行，步骤(i)至步骤(j)在所述头戴式显示系统(100，200，300)中执行。5.根据前述权利要求中任一项所述的方法(600)，其中，通过测量所述头戴式显示系统(100，200，300)与所述远程渲染单元(104)之间进行的通信之间的延迟，来定义所述第一时刻之后的预定时间。6.根据前述权利要求中任一项所述的方法(600)，其中，所述至少一个显示器(204)为多焦点显示设备的显示器。7....

【专利技术属性】
技术研发人员：伊尔马斯，
申请(专利权)人：莱特斯贝斯科技有限公司，
类型：发明
国别省市：