【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及近眼显示器(ned)。
技术介绍
1、立体近眼显示器(ned)对于在各种虚拟现实(vr)和增强现实(ar)应用中的应用特别有意义。由于一些用户体验到视觉不适，因此在确保经由使用可穿戴ned设备的观看体验舒适但自然或接近自然是一项挑战。
2、确保舒适观看体验的关键挑战之一涉及解决辐辏调节冲突(vac)，当ned设备被应用于显示对象而使得其辐辏距离与其调节距离不匹配时，可能会出现辐辏调节冲突。在使用常规的ned设备观看vr或ar内容时，这样的情形经常发生，这是由于在图像空间中具有其相应位置的三维(3d)图像的对象的显示距离(即，相应辐辏距离)与到ned设备的(虚拟)图像平面的位置的距离(即，调节距离)不同。
3、虽然设置有用于解决vac的技术(诸如变焦距、多焦点、光场、全息和麦克斯韦)的ned设备在本领域中是已知的，但是它们都受制于其自己的折衷，诸如有限的眼动范围、有限的图像质量(例如，低空间分辨率、散斑噪声)和/或复杂的装置要求(例如，笨重和/或快速的光学器件、精确的眼动仪)。因此，对如下这样的ned设备存在持续的需求：其能够以提供高用户舒适度而不有损图像质量和装置复杂性的方式减轻vac。
技术实现思路
1、本专利技术的目的是提供一种用于减少或消除由ned设备中的辐辏调节冲突(vac)引起的用户不适而不显著降低所产生的感知图像质量的技术。
2、根据示例性实施方式，提供了一种用于ned装置的立体近眼显示器(ned)组件，该ned装置包括
3、根据另一个示例性实施方式，提供了一种用于根据前述示例性实施方式的立体ned组件的用于导出预处理程序和相位延迟分布图的设备，该设备被布置成应用相应的学习模型以基于多个训练图像经由迭代学习程序来共同导出充当预处理程序的至少一个人工神经网络(ann)以及针对doe的多个位置定义相应相位延迟的相位延迟分布图，其中，该设备被布置成在多个迭代轮次处执行以下操作：通过学习模型处理多个训练图像中的每个训练图像，该学习模型被布置成执行以下操作：针对相应迭代轮次，选择一个或多个子孔径，并且确定相应训练图像的图像区域的相应的一个或多个子区域，该一个或多个子区域在空间上对应于所选择的一个或多个子孔径；考虑到相应训练图像的所确定的一个或多个子区域在图像区域内的相应位置，使用至少一个ann的当前权重，由至少一个ann处理该一个或多个子区域以确定预处理图像的在空间上对应的一个或多个子区域；根据当前相位延迟分布图并且考虑到针对相应迭代轮次所选择的调节深度，由显示器和眼睛模型将预处理图像的所述一个或多个子区域处理成模拟视网膜图像的在空间上对应的一个或多个子区域；并且通过预定义损失函数确定模拟视网膜图像的所述一个或多个子区域与对应参考视网膜图像的在空间上对应的一个或多个子区域之间的差异；并且基于针对多个训练图像所确定的相应差异，更新至少一个ann的权重以及相位延迟分布图的与一个或多个所选择的子孔径在空间上对应的一部分。
4、根据另一个示例性实施方式，提供了一种用于根据前述示例性实施方式的立体ned组件的用于导出预处理程序和相位延迟分布图的方法，其中，该方法包括经由相应学习模型的应用而基于多个训练图像来执行迭代学习程序以共同导出充当预处理程序的至少一个ann以及针对doe的多个位置定义相应相位延迟的相位延迟分布图，该方法包括针对多个迭代轮次：通过学习模型处理多个训练图像中的每个训练图像，该学习模型包括以下步骤：针对相应迭代轮次，选择一个或多个子孔径，并且确定相应训练图像的图像区域的相应的一个或多个子区域，该一个或多个子区域在空间上对应于所选择的一个或多个子孔径；考虑到相应训练图像的所确定的一个或多个子区域在图像区域内的相应位置，使用至少一个ann的当前权重，由至少一个ann处理该一个或多个子区域以确定预处理图像的在空间上对应的一个或多个子区域；根据当前相位延迟分布图并且考虑到针对相应迭代轮次所选择的调节深度，由显示器和眼睛模型将预处理图像的所述一个或多个子区域处理成模拟视网膜图像的在空间上对应的一个或多个子区域；并且通过预定义损失函数确定模拟视网膜图像的所述一个或多个子区域与对应参考视网膜图像的在空间上对应的一个或多个子区域之间的差异；并且基于针对多个训练图像所确定的相应差异，更新至少一个ann的权重以及相位延迟分布图的与一个或多个所选择的子孔径在空间上对应的一部分。
5、根据另一示例性实施方式，提供了一种计算机程序，该计算机程序包括计算机可读程序代码，该计算机可读程序代码被配置为在所述程序代码在一个或多个计算设备上执行时使得执行根据前述示例性实施方式的方法。
6、根据上述示例性实施方式的计算机程序可以体现在易失性或非易失性计算机可读记录介质上，例如作为包括具有存储在其上的程序代码的至少一个计算机可读非暂时性介质的计算机程序产品，该程序代码在被一个或多个计算设备执行时使计算设备至少执行根据前述示例性实施方式的方法。
7、在本专利申请中呈现的本专利技术的示例性实施方式不应当被解释为对所附权利要求的适用性构成限制。动词“包括”及其衍生词在本专利申请中用作不排除也存在未记载的特征的开放式限制。除非另外明确说明，否则下文描述的特征能相互自由组合。
8、在所附权利要求中阐述了本专利技术的一些特征。然而，当结合附图阅读时，从对一些示例性实施方式的以下描述，将最好地理解本专利技术的作为其构造和其操作方法的各方面、以及其额外的目的和优点。
本文档来自技高网...【技术保护点】
1.一种用于NED装置的立体近眼显示器NED组件(201)，所述NED装置包括一对NED组件(201)，所述NED组件(201)包括：
2.根据权利要求1所述的NED组件(201)，其中，所述预处理部分(212)包括至少一个人工神经网络ANN，被布置成实现所述预处理程序。
3.根据权利要求2所述的NED组件(201)，其中，至少一个ANN包括至少一个卷积神经网络CNN。
4.根据权利要求1至3中任一项所述的NED组件(201)，其中，至少一个ANN包括单个ANN，所述单个ANN被训练成根据所述预处理图像(Id)的所述图像区域的多个子区域中的每个子区域在所述图像区域内的位置来处理所述子区域。
5.根据权利要求1至3中任一项所述的NED组件(201)，其中，至少一个ANN包括多个ANN，每个ANN被训练成处理所述预处理图像(Id)的所述图像区域的多个子区域中的相应子区域。
6.根据权利要求1至5中任一项所述的NED组件(201)，其中，所述DOE(203b)包括光学元件，所述光学元件具有针对所述多个位置单独地定义的厚度以提供
7.一种用于根据权利要求1所述的立体近眼显示器NED组件(201)的用于导出预处理程序和相位延迟分布图的设备，所述设备被布置成应用相应的学习模型以基于多个训练图像(It)经由迭代学习程序来共同导出充当所述预处理程序的至少一个人工神经网络ANN(304)以及针对所述DOE(203b)的多个位置定义相应相位延迟的所述相位延迟分布图，其中，所述设备被布置成在多个迭代轮次处执行以下操作：
8.根据权利要求7所述的设备，被布置成经由梯度下降方法的使用来更新所述至少一个ANN的所述权重以及所述相位延迟分布图。
9.根据权利要求7或8所述的设备，被布置成经由应用眼睛模型(302)来导出所述对应参考视网膜图像(Ir)，所述眼睛模型表示眼睛相对于所述相应训练图像(It)的一个或多个光学限制。
10.根据权利要求7至9中任一项所述的设备，被布置成执行以下操作中的一者：
11.根据权利要求7至10中任一项所述的设备，被布置成针对所述相应迭代轮次选择多个预定义子孔径中的一个预定义子孔径，
12.根据权利要求7至10中任一项所述的设备，被布置成针对所述相应迭代轮次选择多个预定义子孔径中的两个或更多个预定义子孔径，
13.根据权利要求7至12中任一项所述的设备，其中，所述显示器和眼睛模型(306)被布置成考虑到针对相应迭代轮次所选择的所述调节深度(z)，经由相位延迟的应用，根据被定义用于针对所述相应迭代轮次所选择的所述一个或多个子孔径的所述当前相位延迟分布图以及针对所述相应迭代轮次所选择的所述一个或多个子孔径的模型光学特性，基于所述预处理图像(Id)的所述一个或多个子区域来导出预处理视网膜图像的在空间上对应的一个或多个子区域。
14.根据权利要求13所述的设备，其中，所述光学特性的应用包括应用点扩展函数PSF，所述点扩展函数是考虑到针对所述相应迭代轮次所选择的所述调节深度(z)、根据针对所述相应迭代轮次所选择的所述一个或多个子孔径的所述相应位置而选择的。
15.根据权利要求7至14中任一项所述的设备，其中，所述至少一个ANN包括至少一个卷积神经网络CNN。
16.根据权利要求7至15中任一项所述的设备，其中，所述至少一个ANN(304)包括单个ANN，所述单个ANN被训练成根据所述预处理图像(Id)的所述图像区域的多个子区域中的每个子区域在所述图像区域内的位置来处理所述子区域。
17.根据权利要求7至15中任一项所述的设备，其中，所述至少一个ANN(304)包括多个ANN，每个ANN被训练成处理所述预处理图像(Id)的所述图像区域的多个子区域中的相应子区域。
18.一种用于根据权利要求1所述的立体近眼显示器NED组件(201)的用于导出预处理程序和相位延迟分布图的方法，其中，所述方法包括经由相应学习模型的应用而基于多个训练图像(It)来执行迭代学习程序以共同导出充当所述预处理程序的至少一个人工神经网络ANN(304)以及针对所述DOE(203b)的多个位置定义相应相位延迟的所述相位延迟分布图，所述方法包括针对多个迭代轮次：
19.一种计算机程序(425)，包括计算机可读程序代码，所述计算机可读程序代码被配置为在所述程序代码在一个或多个计算设备(400)上执行时使得执行根据权利要求18所述的方法。
...【技术特征摘要】
【国外来华专利技术】
1.一种用于ned装置的立体近眼显示器ned组件(201)，所述ned装置包括一对ned组件(201)，所述ned组件(201)包括：
2.根据权利要求1所述的ned组件(201)，其中，所述预处理部分(212)包括至少一个人工神经网络ann，被布置成实现所述预处理程序。
3.根据权利要求2所述的ned组件(201)，其中，至少一个ann包括至少一个卷积神经网络cnn。
4.根据权利要求1至3中任一项所述的ned组件(201)，其中，至少一个ann包括单个ann，所述单个ann被训练成根据所述预处理图像(id)的所述图像区域的多个子区域中的每个子区域在所述图像区域内的位置来处理所述子区域。
5.根据权利要求1至3中任一项所述的ned组件(201)，其中，至少一个ann包括多个ann，每个ann被训练成处理所述预处理图像(id)的所述图像区域的多个子区域中的相应子区域。
6.根据权利要求1至5中任一项所述的ned组件(201)，其中，所述doe(203b)包括光学元件，所述光学元件具有针对所述多个位置单独地定义的厚度以提供通过所述光学元件的孔径的所述多个位置而不同的所述相位延迟。
7.一种用于根据权利要求1所述的立体近眼显示器ned组件(201)的用于导出预处理程序和相位延迟分布图的设备，所述设备被布置成应用相应的学习模型以基于多个训练图像(it)经由迭代学习程序来共同导出充当所述预处理程序的至少一个人工神经网络ann(304)以及针对所述doe(203b)的多个位置定义相应相位延迟的所述相位延迟分布图，其中，所述设备被布置成在多个迭代轮次处执行以下操作：
8.根据权利要求7所述的设备，被布置成经由梯度下降方法的使用来更新所述至少一个ann的所述权重以及所述相位延迟分布图。
9.根据权利要求7或8所述的设备，被布置成经由应用眼睛模型(302)来导出所述对应参考视网膜图像(ir)，所述眼睛模型表示眼睛相对于所述相应训练图像(it)的一个或多个光学限制。
10.根据权利要求7至9中任一项所述的设备，被布置成执行以下操作中的一者：
11.根据权利要求7至10中任一项所述的设备，被布置成针对所述相应迭代轮次选择多个预定义子...
【专利技术属性】
技术研发人员：埃德姆·沙欣，乌乌尔·阿克珀纳尔，阿塔纳斯·戈奇夫，拉杰什·梅农，
申请(专利权)人：坦佩雷大学成立，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。