用于动态白点补偿以改进合成内容的感知颜色的装置及方法制造方法及图纸

本发明专利技术涉及用于根据场景中的真实内容的白点、光谱分布、颜色或其他光学参数来补偿增强现实场景中的虚拟内容的渲染的方法和装置。

Device and method for dynamic white point compensation to improve perceptual color of synthesized content

【技术实现步骤摘要】
【国外来华专利技术】用于动态白点补偿以改进合成内容的感知颜色的装置及方法
技术介绍
增强现实头戴式头戴式装置向佩戴者呈现对真实世界的大体上无阻挡的视图，且还具有经由头戴式显示器将合成的计算机产生的(即，虚拟的)内容覆盖到场景中的潜力。真实世界和合成图像两者都可以被实时地观看，并且该合成图像可以被动态地重新定位以考虑佩戴者的眼睛、头部和身体运动。前向相机可向处理器提供关于真实世界的信息，便如同其出现在佩戴者的视野中那样。场景标记(即，场景中的预先已知的真实视觉元素)可用作参考来精确地确定和调整插入到所述场景中的任何合成图像的位置。
技术实现思路
公开了用于根据增强现实场景中的真实世界内容的白点(或其他光学属性，诸如光谱功率分布或颜色等)来补偿该场景中的合成内容的渲染的方法和装置。根据一个示例性实施例，增强现实系统至少包括用于捕获图像(例如，真实世界场景)的相机、显示设备(例如，增强现实眼镜)、以及用于生成合成内容并将该合成内容插入到显示所述真实世界内容或图像的所述设备的显示中的处理器。该处理器还可以接收或以其他方式被提供有关于所述相机的某些特性和/或关于所述显示设备的光学传输属性的特性(例如，增强现实眼镜的光谱透射率)。在一个实施例中，所述相机捕获真实世界场景的图像并将其发送到所述处理器，该处理器除了其他任务之外还基于已知的相机特性和所述场景的图像来估计照射所述场景的光源的白点(或其他光学属性，例如，光谱功率分布或颜色)。然后，其可以基于所捕获的图像的估计白点以及可选的关于所述增强现实眼镜的光学透射特性来确定要用于渲染所述合成内容的适当虚拟发光体(illuminant)，并且然后将所述合成内容渲染到所述增强现实眼镜。在实施例中，所述处理器可将所述场景的所确定的白点与预测的发光体(例如，自然日光或白炽灯泡)相关，且接着选择所述虚拟发光体的颜色以紧密匹配所估计的真实世界发光体。在其他实施例中，所述相机可以适于捕获在已经通过所述眼镜之后的所述真实世界的图像，在这种情况下，所述眼镜的光学传输属性将固有地被考虑到所述相机的测量输出中，从而潜在地消除了单独针对所述眼镜的所述光学传输属性进行补偿的任何需要。在对所述实施例中的任一者的潜在增强中，还可采用时间平滑来响应于合成内容正与其组合的真实世界场景中的变化条件(例如，变化光照)而平滑所渲染合成内容随时间的转变。这可以涉及确定场景的真实世界内容的先前估计的白点与当前估计之间的差，并且将该差划分成多个步长，并且在时间间隔上通过这些步长来递增目标白点。这样的实施例对于这样的系统是有利的，即，在该系统中，真实世界场景发光体可比所述虚拟发光体可被更新的速度更快地进行可感知的改变(例如，以比所述系统更新所述虚拟发光体的速率显著更快的周期性而进行改变)。在对任何上述实施例的另一潜在增强中，仅当关于白点的两个估计之间的差超过阈值时，才可以实施所述时间平滑。附图说明从以下结合附图以示例方式给出的详细描述中可以获得更详细的理解。这些附图中的示图与详细描述一样，均是是示例。因此，附图和详细描述不应被认为是限制性的，并且其它等效的示例是可行的并且是可能的。此外，图中相同的附图标记表示相同的元素，其中：图1A是示出了包括真实内容和合成内容的增强现实场景的图片；图1B是示出了与图1A类似的增强现实场景的图片，但是具有关于图片的真实内容的不同光照；图1C是示出了与图1A和1B类似的增强现实场景的图片，但是具有关于所述合成内容的校正光照；图2是示出了示例性增强现实显示系统的组件的框图；图3A是示出了根据实施例的第一方面的处理的流程图；图3B是示出了根据实施例的第二方面的处理的流程图；以及图4是根据一实施例的信号流程图。具体实施方式当生成合成内容以插入到真实世界场景中来创建增强现实体验时，应当将其渲染到特定颜色空间中。特别地，不同的光照条件可能导致相同的场景具有不同的调色板(或者，从更技术上来说，光谱功率分布)。例如，由第一类型发光体(例如，自然日光)照射的场景将具有与由第二类型发光体(例如，白炽光)照射的完全相同的场景非常不同的外观。发光体是发光源，并且不同类型的发光源具有不同的光谱功率分布。定义特定发光体的光谱功率分布的数据的一部分(并且通常是最重要的一部分)是白点。该白点是一组三色激励值或色度坐标(例如RBG)，其定义了观察者所适应的颜色。所述白点通常是场景中存在的最白的白色。由于绝大多数人类视觉感知的周围环境均是由相当少量的标准类型的发光体之一照射的，所以通常通过相应发光体的名称(例如，自然日光、微光、云光、白炽光、荧光、LED光)来指代不同的常见光谱功率分布。而且，这些不同的标准发光体中的每一个具有特定的白点。通常，渲染过程隐式地或显式地作出关于眼镜的佩戴者的适应状态的假设。最佳地，由眼镜显示的任何合成内容应当被平衡到与该眼镜的用户的视野(即，所述场景)内的真实世界内容相同的白点，以便向用户呈现看起来自然的场景。如果所渲染的合成内容的白点(和/或光谱功率分布或颜色的其他方面)与所述场景的真实世界内容的白点(和/或其他参数)匹配得不好，则所述合成内容可能看起来不自然或者在所述场景中的不合适，从而渲染用户的增强现实体验不是最佳的。最终，用于渲染所述合成内容的显示坐标(例如RGB)根据所选择的特定白点而被设置和固定。该白点可以由佩戴者手动设置，或者通过检测所述场景的真实世界内容(并且优选地，包括对显示硬件的任何光学属性的补偿)而被自动设置。在有限的和静态的情况下，所述手动方法是可行的，但是优选所述自动方法以避免操作者干预，该操作者干预可能减少用户的体验。对于一些一般情况，可以手动选择典型的渲染模式。光源的白点可以被表示为色温。具体地，光源的色温是理想黑体辐射体的温度，该黑体辐射体辐射具有与所述光源的颜色相当的颜色的光。色温通常使用符号K以开尔文表示，K是绝对温度的测量单位。示例包括：对于家庭室内场景，使用大约3000K的白点，这对于由传统白炽光照亮的场景是典型的；对于室外场景，选择5500K的白点，这对于自然日光是常见的；对于零售/商业场景，选择典型用于荧光照射的场景的白点(通常为根据荧光灯的类型从2700K到5000K的任何色温)。如果虚拟内容的所选白点不匹配真实世界场景中存在的光照类型的白点，则该渲染的准确性会受损，并且所述场景的合成内容可能看起来不自然或对用户来说不合适。此外，如果例如由于佩戴者移动到具有不同光照的不同房间或者房间光照本身改变而导致真实世界白点改变，则所述合成内容可能对用户来说不再看起来自然。图1A、1B和1C示出了将合成内容插入到真实世界场景中且具有匹配和失配白点的效果。图1A中的桌子113上的对象111表示用于典型室内照射(例如，白炽光)的正确平衡的合成内容。在图1B中，场景115的真实世界内容的白点已改变为日光照射源(例如，日光，其在某种程度上更蓝)。然而，所述合成对象的渲染并未改变，如图1A中那样已经被渲染用于室内照射，并且因此在场景中看起来有些不自然，因此可能有损于用户的增强本文档来自技高网...

【技术保护点】
1.一种在增强现实显示设备上显示合成内容的方法，所述方法包括：/n捕获场景的图像；/n基于所捕获的图像来估计照射所述场景的光的光谱功率分布数据；/n计算用于在所述显示设备上与所捕获的图像相关联地渲染合成内容中使用的虚拟光谱功率分布值，所述虚拟光谱功率分布值基于所估计的光谱功率分布数据；/n基于所计算的虚拟光谱功率分布值来渲染所述合成内容；以及/n在所述显示设备上与所述所捕获图像相关联地显示所述所述被渲染的合成内容。/n

【技术特征摘要】
【国外来华专利技术】20170531 US 62/513,1191.一种在增强现实显示设备上显示合成内容的方法，所述方法包括：
捕获场景的图像；
基于所捕获的图像来估计照射所述场景的光的光谱功率分布数据；
计算用于在所述显示设备上与所捕获的图像相关联地渲染合成内容中使用的虚拟光谱功率分布值，所述虚拟光谱功率分布值基于所估计的光谱功率分布数据；
基于所计算的虚拟光谱功率分布值来渲染所述合成内容；以及
在所述显示设备上与所述所捕获图像相关联地显示所述所述被渲染的合成内容。


2.根据权利要求1所述的方法，其中所计算的虚拟光谱功率分布值选自与真实世界发光源相对应的有限组的光谱功率分布值。


3.根据权利要求1所述的方法，还包括：
获得用于捕获所述场景的所述图像的相机的至少一个光学特性；
其中所估计的光谱功率分布数据还基于所述相机的所述至少一个光学特性。


4.根据权利要求1所述的方法，其中所计算的虚拟光谱功率分布值包括白点。


5.根据权利要求1所述的方法，其中所估计的的光谱功率分布数据和所计算的虚拟光谱功率分布值是绝对光谱功率分布。


6.根据权利要求1所述的方法，其中所述增强现实显示设备是增强现实眼镜。


7.根据权利要求6所述的方法，还包括：
接收所述增强现实眼镜的光学属性；以及
其中所述合成内容的所述渲染进一步基于所述增强现实眼镜的所述光学属性。


8.根据权利要求7所述的方法，其中所述增强现实眼镜的所述光学属性包括所述增强现实眼镜的光学透射率。


9.根据权利要求1所述的方法，还包括：
确定所述合成内容的光谱反射率；
其中所述合成内容的所述渲染进一步基于所确定的光谱反射率。


10.根据权利要求1所述的方法，还包括：
确定所捕获图像的所述光谱功率分布数据与先前连同所述合成内容一起显示于所述显示设备上的先前所捕获图像的光谱功率分布数据之间的差；以及
其中所述渲染包括以多个时间上间隔开的增量将所述合成内容的所述渲染在基于所述先前渲染的图像的所述虚拟光谱功率分布数据的渲染与基于所捕获的图像的所述虚拟光谱功率分布的渲染之间转变。


11.根据权利要求10所述的方法，其中所述转变包括：
将所述先前渲染的图像的所述虚拟光谱功率分布数据与所捕获的图像的所述虚拟光谱功率分布数据之间的差划分成多个增量光谱功率分布数据，并且基于所述增量光谱功率分布数据来确定多个增量虚拟光谱功率分布值；以及
基于所述增量虚拟光谱功率分布值中的连续增量虚拟光谱功率分布值，连续地渲染所述合成内容达连续时间段，直到已经基于所有所述增量虚拟光谱功率分布值而渲染和显示所述虚拟内容为止。


12.根据权利要求1所述的方法，还包括：
确定所捕获的图像的所述光谱功率分布数据与先前连同所述合成内容一起显示在所述显示设备上的先前捕获的图像的光谱功率分布数据之间的差；
其中所述渲染包括：
如果所述差超过阈值，则以多个时间上间隔的增量将所述合成内容的所述渲染在基于所述先前渲染的图像的所述光谱功率分布数据的虚拟光谱功率分布值与基于所捕获的图像的所述光谱功率分布数据的虚拟光谱功率分布值之间转变；以及
如果所述差不超过所述阈值，则以一个增量将所述合成内容的所述渲染在基于所述先前渲染的图像的所述光谱功率分布数据的所述虚拟光谱功率分布值与基于所捕获图像的所述光谱功率分布的所述虚拟光谱功率分布数据之间转变。


13.一种用于在显示设备上显示与真实世界内容相关联的合成内容的增强现实显示系统，所述装置包括：
相机，用于捕获图像；
显示设备，用于与合成内容相关联地显示由所述相机捕获的所述图像；
处理器，其被配置为：
从所述相机接收图像；
基于所捕获的...

【专利技术属性】
技术研发人员：大卫·怀布尔，
申请(专利权)人：PCMS控股公司，
类型：发明
国别省市：美国;US