用于构建锚定在真实世界物体上的虚拟图像的方法和系统技术方案

一种用于生成和显示表现为锚定在现实世界物体上的虚拟图像的系统和方法。对通过一个或多个传感器获取的空间数据的数据帧进行分析并判断一个或多个可检测真实世界物体是否位于其中。如果是，则确定与真实世界物体相关联的真实世界参考点的坐标。根据数据帧确定真实世界视锥、真实世界视见体、真实世界视表面和真实世界物体参考点。生成虚拟3D空间并构建穿过虚拟物体参考点的基准面。将一个或多个内容要素设置在基准面上或平行于基准面。这些内容要素通过观察设备或显示设备显示并且形成表现为似乎平铺在从检测到的物体的真实世界参考点穿过的平面上的图像。

【技术实现步骤摘要】
【国外来华专利技术】专利
本专利技术涉及在显示装置上显示虚拟内容的方法。专利技术背景以下现有技术参考资料被认为与理解本专利技术的
技术介绍
相关。·https：//developer.vuforia.com/resources/dev-guide/vuforia-ar-architecture·https：//developer.vuforia.com/resources/dev-guide/distance-target·http：//docs.opencv.org/trunk/modules/tracking/doc/tracking.html·http：//docs.opencv.org/trunk/modules/imgproc/doc/feature_detection.html·http：//www2.imm.dtu.dk/～aam/·http：//ils.intel-research.net/everyday-obiect-recognition·https：//software.intel.com/en-us/node/504462·https：//software.intel.com/en-us/node/504442·http：//docs.opencv.org/modules/contrib/doc/facerec/facerec_tutorial.html·http：//www.ri.cmu.edu/research project detail.html？proiect id＝448&menu id＝261·http：//www2.imm.dtu.dk/～aam/faces/·http：//kishordgupta.wordpress.com/2011/07/04/recognize-face-orientation-using-a-new-approach-based-on-eye-position-and-size-by-c/·http：//www.codeproiect.com/Articles/26897/TrackEye-Real-Time-Tracking-Of-Human-Eyes-Using-a·http：//www.ncbi.nlm.nih.gov/pubmed/23239074·http：//gazeparser.sourceforge.net/·http：//thume.ca/proiects/2012/11/04/simple-accurate-eye-center-tracking-in-opencv/计算机屏幕等二维(2D)表面通常被用于显示2D虚拟内容，例如文本页、图表或Web网站页面。某些形式的虚拟内容包含两种以上的内容形式，例如由文本和图表构成的页面或含有与网站相关的信息和不相关的广告的
Web网站页面。通常，在屏幕上一次仅显示一页并且页面受到屏幕边界的限制。因此，页面的不同要素即便彼此相关也必须彼此竞争空间及观看者的注意力。所以，现有的Web网站页面通常混杂有过多的广告，这是Web广告目前被认为效率低的主要原因。改变显示页面(已知为浏览或导航)是一个不连续的过程，其中初始显示的页面被从屏幕上移除，然后显示第二页面。一次仅观看一个页面的能力使得观看者难以知晓其在网站中的位置并且也在网站中导航时产生不确定性。在具体步骤中已经实行的做法是改变页面的尺寸，每个步骤变化都需要回到浏览器。还已知的是，在虚拟三维(3D)空间中设置数个页面并且将三维空间的一部分投影到2D屏幕上。观看者可以连续地在页面之间导航。Shefi的US专利8,035,635教导了一种在虚拟3D空间中定位内容要素的系统。在3D空间中指定一2D基准面，将虚拟内容定位在3D空间中，其中至少一个页面平行于基准面。3D空间中的视点和视线选择为从该视点和视线观察3D空间时视线与基准面既不平行也不垂直。随后，将3D空间的至少一部分通过由视线决定的透视投影法则投影至2D表面上。该过程可根据需要重复，每一次可任选地选择新的视点和/或选择新的视线和/或改变一个或多个内容要素的特性。在观看表面上的投影可以显示在显示装置例如计算机监视器上。
技术实现思路
本专利技术提供一种用于生成虚拟图像和显示该虚拟图像的系统和方法，使得该图像表现为被锚定在现实世界的物体上。分析通过一个或多个传感器获取的空间数据的数据帧(data frame)以判断一个或多个待检测现实世界物体是否位于该数据帧内。如果一个现实世界物体的至少一部分处于该数据帧内，则根据数据帧中的数据确定与该现实世界物体相关联的现实世界参考点的坐标。根据数据帧确定现实世界视锥(viewing pyramid)、现实世界视见体(view frustum)、现实世界视表面(viewing surface)和现实世界物体参考点。数据帧用于生成虚拟3D空间，其中在所述3D空间中定位虚拟视锥、虚拟视见体、虚拟视表面和虚拟物体参考点。然后，构建一穿过所述虚拟物体
参考点的基准面。将一个或多个平面内容要素设置在基准面上或平行于基准面。然后，将定位在3D空间中的内容要素投影到虚拟视表面上以形成投影图像。接着，形成最终图像，使其包括所述投影图像和可能的数据帧的至少一部分。通过观察设备或显示设备显示最终图像。在最终图像中，内容要素表现为似乎位于从所检测到的物体的现实世界参考点穿过的平面上。因此，在一个方面中，本专利技术提供一种用于生成和显示虚拟内容的系统，包括：-传感器组，用于获得包括3D现实世界空间的空间数据的一个或多个数据帧，所述传感器组包括一个或多个传感器，所述传感器组中的至少一个传感器具有在3D现实世界空间中的关联感应场和传感器视线，所述传感器视线是在3D现实世界坐标系中从传感器延伸进入3D现实世界空间的向量，所述传感器组中的至少一个传感器具有相对于该传感器固定的关联指上向量(up-vector)，一个或多个传感器的指上向量限定数据帧的指上向量；-观察设备或显示设备；-计算机处理单元，包括处理器和存储器；其中：-所述存储器存储指示数据帧中一个或多个待检测物体的数据，并且对于每个待检测物体还存储相对于该物体固定的预定现实世界参考点；和-所述处理器用于：分析一个或多个数据帧并判断一个或多个待检测现实世界物体是否处于当前现实世界视见体中；如果检测到一个现实世界物体的至少一部分处于当前视见体中，则根据当前数据帧确定与检测到的现实世界物体相关联的现实世界参考点在与现实世界视见体相关联的现实世界坐标系中的现实世界坐标；确定从现实世界视见体中的预定点发出至检测到的现实世界物体的现实世界参考点的现实世界物体向量；确定与数据帧相关联的重力向量相对于现实世界视见体的位置；构建具有3D虚拟空间坐标系的3D虚拟空间，并且在所述3D虚拟空间中定位：具有关联虚拟世界视点的虚拟视锥、围绕从所述虚拟视点发出的虚拟视线对称定位的关联虚拟视见体、形成所述虚拟视见体的表面的关联虚拟视表面、以及关联虚拟指上向量，其中所述虚拟指上向量的虚拟坐标系的x本文档来自技高网...

【技术保护点】
一种用于生成和显示虚拟内容的系统，包括：‑传感器组，用于获取包括3D现实世界空间的空间数据的一个或多个数据帧，所述传感器组包括一个或多个传感器，所述传感器组中的至少一个传感器具有在3D现实世界空间中的关联感应场和传感器视线，所述传感器视线是在3D现实世界坐标系中从传感器延伸进入3D现实世界空间的向量，所述传感器组中的至少一个传感器具有相对于该传感器固定的关联指上向量，一个或多个传感器指上向量限定数据帧的指上向量；‑观察设备或显示设备；‑计算机处理单元，包括处理器和存储器；其中：所述存储器存储指示数据帧中一个或多个待检测物体的数据，并且对于每个待检测物体还存储相对于该物体固定的预定现实世界参考点；和所述处理器用于：a.分析一个或多个数据帧并判断一个或多个待检测现实世界物体是否处于当前现实世界视见体中；b.如果检测到一个现实世界物体的至少一部分处于当前视见体中，则根据当前数据帧确定与检测到的现实世界物体相关联的现实世界参考点在与现实世界视见体相关联的现实世界坐标系中的现实世界坐标；c.确定从现实世界视见体中的预定点发出至检测到的现实世界物体的现实世界参考点的现实世界物体向量；d.确定与数据帧相关联的重力向量相对于现实世界视见体的位置；e.构建具有3D虚拟空间坐标系的虚拟3D空间，并且在所述3D虚拟空间中定位：具有关联虚拟世界视点的虚拟视锥、围绕从所述虚拟视点发出的虚拟视线对称定位的关联虚拟视见体、形成所述虚拟视见体的表面的关联虚拟视表面、以及关联虚拟指上向量，其中所述虚拟指上向量的虚拟坐标系的x和y轴平行于所述虚拟视表面并且z轴平行于所述虚拟视线；f.在3D虚拟空间中构建穿过所述虚拟物体参考点的基准面，所述基准面具有关联2D坐标系(x’,z’)；g.将在所述基准面上的或平行于所述基准面的一个或多个平面内容要素设置在所述基准面上的任意一个或多个预定准许位置中；h.将定位在3D虚拟空间中的内容要素投影到所述虚拟视表面上以形成投影图像；i.形成最终图像，所述最终图像包括所述投影图像；和j.在观察设备或显示设备上显示所述最终图像。...

【技术特征摘要】
【国外来华专利技术】2013.11.26 US 61/908,9861.一种用于生成和显示虚拟内容的系统，包括：-传感器组，用于获取包括3D现实世界空间的空间数据的一个或多个数据帧，所述传感器组包括一个或多个传感器，所述传感器组中的至少一个传感器具有在3D现实世界空间中的关联感应场和传感器视线，所述传感器视线是在3D现实世界坐标系中从传感器延伸进入3D现实世界空间的向量，所述传感器组中的至少一个传感器具有相对于该传感器固定的关联指上向量，一个或多个传感器指上向量限定数据帧的指上向量；-观察设备或显示设备；-计算机处理单元，包括处理器和存储器；其中：所述存储器存储指示数据帧中一个或多个待检测物体的数据，并且对于每个待检测物体还存储相对于该物体固定的预定现实世界参考点；和所述处理器用于：a.分析一个或多个数据帧并判断一个或多个待检测现实世界物体是否处于当前现实世界视见体中；b.如果检测到一个现实世界物体的至少一部分处于当前视见体中，则根据当前数据帧确定与检测到的现实世界物体相关联的现实世界参考点在与现实世界视见体相关联的现实世界坐标系中的现实世界坐标；c.确定从现实世界视见体中的预定点发出至检测到的现实世界物体的现实世界参考点的现实世界物体向量；d.确定与数据帧相关联的重力向量相对于现实世界视见体的位置；e.构建具有3D虚拟空间坐标系的虚拟3D空间，并且在所述3D虚拟空间中定位：具有关联虚拟世界视点的虚拟视锥、围绕从所述虚拟视点发出的虚拟视线对称定位的关联虚拟视见体、形成所述虚拟视见体的表面的关联虚拟视表面、以及关联虚拟指上向量，其中所述虚拟指上向量的虚拟坐标系的x和y轴平行于所述虚拟视表面并且z轴平行于所述虚拟视线；f.在3D虚拟空间中构建穿过所述虚拟物体参考点的基准面，所述基准面具有关联2D坐标系(x’,z’)；g.将在所述基准面上的或平行于所述基准面的一个或多个平面内容要
\t素设置在所述基准面上的任意一个或多个预定准许位置中；h.将定位在3D虚拟空间中的内容要素投影到所述虚拟视表面上以形成投影图像；i.形成最终图像，所述最终图像包括所述投影图像；和j.在观察设备或显示设备上显示所述最终图像。2.根据权利要求1所述的系统，其中所述3D虚拟空间由预定的连续映射G构建，所述映射G将真实世界视锥映射到虚拟世界视锥中，将真实世界视点映射到虚拟世界视点上，将真实世界视线映射到虚拟世界视线上，将真实世界视见体映射到虚拟视见体中，将真实世界重力向量映射成虚拟重力向量，将真实世界指上向量映射到虚拟指上向量上，以及将真实世界视表面映射到虚拟视表面上。3.根据权利要求2所述的系统，其中所述映射G选择为使得真实世界物体向量与真实世界视线之间的夹角θ等于虚拟世界物体向量与虚拟视线之间的夹角，此外使得真实世界指上向量与真实世界重力向量之间的夹角ψ等于虚拟世界指上向量与虚拟世界重力向量之间的夹角。4.根据前述权利要求中任一项所述的系统，其中所述处理器还用于通过预定变换来变换真实世界物体向量，所述预定变换考虑在真实世界视线与用户视线之间的预定关系。5.根据前述权利要求中任一项所述的系统，其中所述基准面定位在所述3D虚拟空间中，使得(1)基准面的x’轴平行于虚拟空间的x轴，(2)基准面的x’轴与虚拟空间坐标系的y轴之间的夹角为预定角度或者等于预定角度和重力向量在xy平面上的投影与正向y轴之间的夹角之和，(3)根据虚拟视线与虚拟重力向量之间的夹角β’确定z’轴与z轴之间的夹角α。6.根据权利要求1-4中任一项所述的系统，其中所述基准面定位在所述3D虚拟空间中，使得(1)基准面的z’轴平行于y平面的y轴，(2)基准面的z’轴与虚拟空间坐标系的y轴之间的夹角为预定角度或者等于预定角度和重力向量在xy平面上的投影与正向y轴之间的夹角之和，(3)根据虚拟视线
\t与虚拟重力向量之间的夹角β’确定x’轴与z轴之间的夹角α。7.根据权利要求5或6所述的系统，其中当β’≤β时，β为一预定常数阈值，α为β’的连续严格单调递增函数；当β’≥β时，α为一常数，等于当β’从下方趋近于β时α的极限值。8.根据前述权利要求中任一项所述的系统，其中在基准面上的所述准许位置排列为平行的行和列的网格。9.根据前述权利要求中任一项所述的系统，其中所述处理器还用于将一个或多个3D内容要素定位在所述基准面上或其附近。10.根据前述权利要求中任一项所述的系统，其中所述内容要素在3D虚拟视表面上的投影是透视投影。11.根据前述权利要求中任一项所述的系统，其中所述最终图像包括当前数据帧的至少一部分。12.根据前述权利要求中任一项所...

【专利技术属性】
技术研发人员：约阿夫·谢斐，
申请(专利权)人：约阿夫·谢斐，
类型：发明
国别省市：以色列;IL