波导校正图压缩制造技术

一种计算系统可以：对于当前帧，确定观看者相对于显示器的波导的当前眼睛位置；识别多个眼睛位置，该多个眼睛位置共同形成围绕当前眼睛位置的眼睛位置网格；从显示器上的内存获取多个经压缩的缩放因子阵列，所述多个经压缩的缩放因子阵列用于校正波导在所识别的多个眼睛位置处的非均匀性；基于多个经压缩的阵列执行插值，以生成用于当前眼睛位置的缩放因子阵列；基于定制阵列调整当前帧的像素值；并向显示器输出具有调整后的像素值的当前帧

【技术实现步骤摘要】
【国外来华专利技术】波导校正图压缩


[0001]本公开总体上涉及人工现实，例如虚拟现实和增强现实
。

技术介绍

[0002]人工现实是在呈现给用户之前已经以某种方式进行了调整的现实形式，该人工现实例如可以包括虚拟现实
(virtual reality
，
VR)、
增强现实
(augmented reality
，
AR)、
混合现实
(mixed reality
，
MR)、
混合现实
(hybrid reality)、
或它们的某种组合和
/
或衍生物
。
人工现实内容可以包括完全生成的内容
、
或与采集到的内容
(
例如，真实世界照片
)
相结合的生成的内容
。
人工现实内容可以包括视频
、
音频
、
触觉反馈
、
或它们的某种组合，并且以上中任何一种均可以在单个通道或多个通道中呈现
(
例如，为观看者带来三维效果的立体视频
)。
人工现实可以与应用
、
产品
、
附件
、
服务
、
或它们的某种组合相关联，这些应用
、
产品
、
附件
、
服务
、
或它们的某种组合例如用于在人工现实中创建内容，和
/r/>或在人工现实中使用
(
例如，在人工现实中执行活动
)。
提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的头戴式显示器
(head
‑
mounted display
，
HMD)、
独立的
HMD、
移动设备或计算系统
、
或能够向一位或多位观看者提供人工现实内容的任何其他硬件平台
。

技术实现思路

[0003]本文所描述的特定实施例涉及这样的系统和方法：所述系统和方法用于在内存资源有限的情况下
、
使用多个经压缩的校正图来补偿显示器中的波导非均匀性，以减少存储校正图所需的内存
。
对于特定眼睛位置，系统可以基于从该特定的眼睛位置观看时
、
所测量的波导的非均匀光传输特性，来生成校正图
。
对于从该特定眼睛位置观看的静态图像，该系统可以通过应用为该眼睛位置生成的校正图，来消除由波导非均匀性造成的负面视觉效果
。
对于从不同眼睛位置观看的一系列动态图像，该系统可以使用眼动追踪系统，来动态测量观看者的眼睛位置并基于所动态测量的眼睛位置来确定合适的校正图
。
[0004]根据本公开的第一方面，提供了一种方法，该方法包括：对于当前帧，确定观看者相对于显示器的波导的当前眼睛位置；识别在距该当前眼睛位置的阈值距离内的多个预定眼睛位置，该多个预定眼睛位置共同形成围绕该当前眼睛位置的眼睛位置网格；从显示器上的内存获取多个经压缩的缩放因子阵列，该多个经压缩的缩放因子阵列被配置为校正波导在多个预定眼睛位置处的非均匀性；基于该多个经压缩的缩放因子阵列执行插值，以生成用于当前眼睛位置的定制缩放因子阵列；至少基于该定制缩放因子阵列来调整当前帧的像素值；以及向显示器输出具有调整后的像素值的当前帧
。
[0005]在一些实施例中，该方法还包括：在调整当前帧的像素值之前，将双线性上采样操作应用于该定制缩放因子阵列，以提高该定制缩放因子阵列的分辨率
。
[0006]在一些实施例中，该波导包括用于将图像光传输到观看者的眼睛的光瞳复制波导；并且观看者的当前眼睛位置是使用眼动追踪系统来确定的
。
[0007]在一些实施例中，执行插值包括：将解压缩操作应用于多个经压缩的缩放因子阵列，以生成多个经解压缩的缩放因子阵列；以及对该多个经解压缩的缩放因子阵列执行插值
。
[0008]在一些实施例中，执行插值包括：对多个经压缩的缩放因子阵列执行插值；以及将解压缩操作应用于插值的结果，以生成用于当前眼睛位置的定制缩放因子阵列
。
[0009]在一些实施例中，多个经压缩的缩放因子阵列通过以下方式生成：将抖动操作应用于多个预定缩放因子阵列，以减小该多个预定缩放因子阵列中的位深度，该多个预定缩放因子阵列被配置为校正波导在多个预定眼睛位置处的非均匀性；以及向抖动操作中注入噪声
。
[0010]在一些实施例中，该方法还包括：在从显示器上的内存获取多个经压缩的缩放因子阵列之前：在显示器处接收来自计算单元的多个经压缩的缩放因子阵列，该计算单元不同于该显示器，并且该多个经压缩的缩放因子阵列先前存储在该计算单元上；以及将该多个经压缩的缩放因子阵列存储在该显示器上的内存中
。
[0011]在一些实施例中，多个经压缩的缩放因子阵列和定制缩放因子阵列与特定颜色通道相关联；并且调整当前帧的像素值包括调整该特定颜色通道的像素值
。
[0012]在一些实施例中，多个经压缩的缩放因子阵列通过以下方式生成：将与三色颜色空间中的像素值相关联的缩放因子转换为与替换颜色空间中的像素值相关联的缩放因子，该替换颜色空间包括一个亮度通道和两个色度通道；以及对与该两个色度通道相关联的值进行压缩
。
[0013]在一些实施例中，执行插值包括：对与该替换颜色空间中的两个色度通道相关联的值进行解压缩；将与该替换颜色空间中的像素值相关联的
、
包括经解压缩的值的缩放因子转换回与该三色颜色空间中的像素值相关联的缩放因子；以及对转换回与该三色颜色空间中的像素值相关联的缩放因子的缩放因子执行插值
。
[0014]在一些实施例中，执行插值包括：对与该替换颜色空间中的像素值相关联的缩放因子执行插值；对与该替换颜色空间中的两个色度通道相关联的经插值的值进行解压缩；以及将该替换颜色空间中的
、
包括经解压缩的值的经插值的值转换为与三色颜色空间中的像素值相关联的经插值的缩放因子
。
[0015]在一些实施例中，该方法还包括访问一个或多个补充缩放因子阵列，该一个或多个补充缩放因子阵列先前用于针对该当前帧之前的一个或多个帧校正该波导的非均匀性；并且调整该当前帧的像素值还基于该一个或多个补充缩放因子阵列
。
[0016]根据本公开的第二方面，提供了一种或多种计算机可读非暂态存储介质，该一种或多种计算机可读非暂态存储介质包含软件，该软件在执行时能够操作以：对于当前帧，确定观看者相对于显示器的波导的当前眼睛位置；识别在距该当前眼睛位置的阈值距离内的多个预定眼睛位置，该多个预定眼睛位置共同形成围绕该当前眼睛位置的眼睛位置网格；从显示器上的内存获取多个经压缩的缩放因子阵列，该多个经压本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种方法，包括：对于当前帧，确定观看者相对于显示器的波导的当前眼睛位置；识别在距所述当前眼睛位置的阈值距离内的多个预定眼睛位置，所述多个预定眼睛位置共同形成围绕所述当前眼睛位置的眼睛位置网格；从所述显示器上的内存获取多个经压缩的缩放因子阵列，所述多个经压缩的缩放因子阵列被配置为校正所述波导在所述多个预定眼睛位置处的非均匀性；基于所述多个经压缩的缩放因子阵列执行插值，以生成用于所述当前眼睛位置的定制缩放因子阵列；至少基于所述定制缩放因子阵列来调整所述当前帧的像素值；以及向所述显示器输出具有调整后的像素值的所述当前帧
。2.
根据权利要求1所述的方法，还包括：在调整所述当前帧的像素值之前，将双线性上采样操作应用于所述定制缩放因子阵列，以提高所述定制缩放因子阵列的分辨率
。3.
根据权利要求1或2所述的方法，其中：所述波导包括用于将图像光传输到所述观看者的眼睛的光瞳复制波导；并且所述观看者的当前眼睛位置是使用眼动追踪系统来确定的
。4.
根据前述权利要求中任一项所述的方法，其中，执行所述插值包括：将解压缩操作应用于所述多个经压缩的缩放因子阵列，以生成多个经解压缩的缩放因子阵列；以及对所述多个经解压缩的缩放因子阵列执行所述插值
。5.
根据前述权利要求中任一项所述的方法，其中，执行所述插值包括：对所述多个经压缩的缩放因子阵列执行所述插值；以及将解压缩操作应用于所述插值的结果，以生成用于所述当前眼睛位置的所述定制缩放因子阵列
。6.
根据前述权利要求中任一项所述的方法，其中，所述多个经压缩的缩放因子阵列通过以下方式生成：将抖动操作应用于多个预定缩放因子阵列，以减小所述多个预定缩放因子阵列中的位深度，所述多个预定缩放因子阵列被配置为校正所述波导在所述多个预定眼睛位置处的非均匀性；以及向所述抖动操作中注入噪声
。7.
根据前述权利要求中任一项所述的方法，还包括，在从所述显示器上的所述内存获取所述多个经压缩的缩放因子阵列之前：在所述显示器处接收来自计算单元的所述多个经压缩的缩放因子阵列，所述计算单元不同于所述显示器，并且所述多个经压缩的缩放因子阵列先前存储在所述计算单元上；以及将所述多个经压缩的缩放因子阵列存储在所述显示器上的所述内存中；和
/
或优选地，其中：所述多个经压缩的缩放因子阵列和所述定制缩放因子阵列与特定颜色通道相关联；并且调整所述当前帧的像素值包括调整所述特定颜色通道的像素值
。
8.
根据前述权利要求中任一项所述的方法，其中，所述多个经压缩的缩放因子阵列通过以下方式生成：将与三色颜色空间中的像素值相关联的缩放因子转换为与替换颜色空间中的像素值相关联的缩放因子，所述替换颜色空间包括一个亮度通道和两个色度通道；以及对与所述两个色度通道相关联的值进行压缩
。9.
根据权利要求8所述的方法，其中，执行所述插值包括：对与所述替换颜色空间中的所述两个色度通道相关联的值进行解压缩；将与所述替换颜色空间中的像素值相关联的
、
包括经解压缩的值的缩放因子转换回与所述三色颜色空间中的像素值相关联的缩放因子；以及对转换回与所述三色颜色空间中的像素值相关联的缩放因子的所述缩放因子执行插值；和
/
或优选地，其中，执行所述插值包括：对与所述替换颜色空间中的像素值相关联的所述缩放因子执行插值；对与所述替换颜色空间中的两个色度通道相关联的经插值的值进行解压缩；以及将所述替换颜色空间中的
、
包括经解压缩的值的经插值的值转换为与所述三色颜色空间中的像素值相关联的经插值的缩放因子
。10.
根据前述权利要求中任一项所述的方法，其中：所述方法还包括访问一个或多个补充缩放因子阵列，所述一个或多个补充缩放因子阵列先前用于针对所...

【专利技术属性】
技术研发人员：爱德华，
申请(专利权)人：元平台技术有限公司，
类型：发明
国别省市：