用于自动配准和投影映射的系统和方法技术方案

用于自动配准和投影映射的系统和方法。提供了用于自动配准和投影映射的系统和方法。安装具有在三维环境上与投影区域重叠的视场的一个投影仪和至少两个相机。一种计算装置：控制所述投影仪投影结构化光图案，所述结构化光图案唯一地照射所述环境的部分；从所述相机获取图案的图像；通过处理图像和关联图案，生成所述部分在投影仪与相机空间之间的二维映射；使用所述映射和相机位置，生成表示所述环境的点云；根据所述点云确定投影仪的位置、取向和透镜特性；相对于与所述环境对应的虚拟三维环境定位虚拟相机，所述虚拟相机的参数与所述投影仪的参数分别匹配；以及控制所述投影仪基于所述虚拟相机的虚拟位置、取向和特性进行投影。

【技术实现步骤摘要】

本说明书总体涉及投影仪，并且具体地，涉及用于自动配准和投影映射的系统和方法。
技术介绍
由于要求投影仪的仔细配准(alignment)以将大量二维(“2D”)投影图像配准到三维(“3D”)物理对象上，导致投影系统中的投影映射通常是非常复杂的处理。通常提前精心制作待投影内容，而不存取最终投影映射。此外，利用任何合理精确度，投影仪将投影的位置都是未知的。这自然导致需要卷绕(warping)以将所期望影像配准到最终投影表面。该卷绕处理将以下问题作为整体解决：a.2D内容想要被投影的位置与最终实际投影仪位置的不一致；b.用于设计内容的3D表面与最终实际投影表面之间的不一致；以及c.内容成像期间使用的理想投影系统与最终投影仪硬件(像素高宽比、透镜畸变等)之间的不一致。在不知晓投影仪的位置的情况下，例如，必须由设置投影系统的技术人员手动调节卷绕和/或必须手动配置投影仪的位置。事实上，通常存在在内容创建时不容易识别上述点的情况。对等(ad-hoc)投影映射可以简单地具有使用艺术家/内容创作者心理的一些想法精心制作的2D内容，然后当2D内容被投影时进行拟合。因此，通常在令人厌烦的手动设置过程之后执行这种对等投影映射，手动设置过程由技术人员操作投影系统以手动地卷绕投影图像中的所有像素以实现整体配准目标来实现。如果投影仪相对于图像被投影到的3D对象移动，则需要重复进行手动设置过程/手动卷绕，技术人员要再次拜访该现场以执行卷绕，这可能导致投影系统的停机时间。虽然存在对三维对象自动地执行卷绕的一些自动系统，但是通常这些系统仅针对不复杂的几何形状工作。另选地，可以通过技术人员将点手动地拖拽到对象上来手动地确定投影仪姿态，反演计算被使用以确定投影仪所在的位置，然而这种方法遭遇与手动卷绕相同的问题。
技术实现思路
通常，本公开在于用于投影映射的系统和方法，考虑投影仪的位置和/或将被投影的对象的位置，投影映射被完全自动化例如以确定用于生成将被投影的图像的投影仪参数，并且其因此可以在没有经过专门培训的技术人员的干预下发生。具体地，至少两个相机瞄准三维环境，所述至少两个相机的各自视场与至少一个投影仪的投影区域至少部分地重叠。通常，相机提供三维环境的立体视图。投影仪将一个或更多个结构化光图案投影到三维环境，所述一个或更多个结构化光图案被构造成唯一地识别三维环境的部分。例如，所述一个或更多个结构化光图案可以包括具有增加或减小的宽度的条，不同图案的这些条重叠，使得当相机捕捉结构化光图案的关联图像并且将关联图案与所述一个或更多个结构化光图案进行比较时，可以识别三维环境的部分；另选地，可以使用变化颜色的一个或更多个颜色结构化光图案来唯一地识别三维环境的部分。这些部分的大小可以取决于条的大小、投影仪的分辨率和相机的分辨率。根据由每个相机捕捉的一个或更多个结构化光图案的图像和所述一个或更多个结构化光图案的关联图像，生成这些部分的二维映射以将投影仪空间映射到相机空间。根据二维映射和相机的给定位置，使用例如三角测量技术来生成表示三维环境的点云。根据点云确定投影仪相对于三维环境的位置、取向和透镜特性，并且使用虚拟相机技术控制投影仪进行投影；例如，控制投影仪基于与投影仪的位置、取向和透镜特性分别匹配的虚拟相机的虚拟位置、虚拟取向和虚拟透镜特性来投影图像。此外，当三维环境中的物理对象的虚拟模型可用，并且在三维环境上投影一个或更多个结构化光图案时使物理对象成像以生成点云时，将虚拟模型与点云进行比较，以确定虚拟三维环境中的虚拟模型关于与三维环境的物理原点相关的虚拟原点的虚拟位置和虚拟取向；然后控制投影仪使用虚拟模型的虚拟位置和虚拟取向将图像投影到物理对象上。事实上，针对投影生成和/或呈现的图像因此已经考虑到投影仪和/或物理对象的几何形状，从而避免卷绕所呈现和/或投影的图像的需要和/或避免手动地确定投影仪姿态的需要。在本说明书中，元件可以被描述为“被构造成”执行一个或更多个功能或“被构造用于”这样的功能。通常，被构造成执行或被构造用于执行功能的元件能够执行所述功能，或者适于执行所述功能，或者适合执行所述功能，或者能够操作以执行所述功能，或者能够执行所述功能。将理解，为了本说明书的目的，语言“X、Y和Z中的至少一个”和“X、Y和Z中的一个或更多个”可以被理解为仅X、仅Y、仅Z、或两个或更多个项X、Y和Z的任何组合(例如，XYZ、XY、YZ、ZZ等)。在出现“至少一个…”和“一个或更多个…”语言中的任一个时，可以针对两个或更多项应用类似逻辑。本说明书的一方面提供了一种系统，该系统包括：计算装置；投影仪；以及至少两个相机，所述投影仪和所述至少两个相机中的每个相对于三维环境被安装，各自视场在所述三维环境上与投影仪的投影区域至少部分地重叠；所述计算装置被构造成：控制所述投影仪顺序地投影一个或更多个结构化光图案，所述结构化光图案被构造成唯一地照射所述三维环境的不同部分；在所述投影仪投影所述一个或更多个结构化光图案时，从所述至少两个相机中的每个获取一个或更多个相应图像，所述一个或更多个相应图像中的每个与给定相应结构化光图案关联；通过处理相应图像和关联的给定相应结构化光图案，生成所述三维环境的不同部分在投影仪空间与相机空间之间的二维映射；使用所述二维映射和所述至少两个相机相对于所述三维环境的给定位置，生成表示所述三维环境的点云；根据所述点云确定投影仪相对于所述三维环境的位置、取向和透镜特性；相对于与所述三维环境对应的虚拟三维环境定位虚拟相机，所述虚拟相机的虚拟位置、虚拟取向和虚拟透镜特性与所述投影仪的位置、取向和透镜特性分别匹配；以及控制所述投影仪基于所述虚拟相机的虚拟位置、虚拟取向和虚拟透镜特性进行投影。所述三维环境可以包括物理对象，并且所述系统还包括存储所述物理对象的虚拟模型的存储器，所述计算装置还可以被构造成：通过将所述虚拟模型与所述点云进行比较，确定所述物理对象相对于所述三维环境的物理原点的相应位置和相应取向；关于与所述物理原点相关的虚拟原点，在所述虚拟三维环境中设置所述虚拟模型的虚拟位置和虚拟取向，以与所述物理对象的相应位置和相应取向匹配；以及控制所述投影仪利用针对所述虚拟模型的虚拟位置和虚拟取向调节的图像来照射所述物理对象。将所述虚拟模型与所述点云进行比较可以包括迭代最近点方案。所述三维环境可以包括以下中的一个或更多个：表面上的物理对象；弯曲表面；以及不规则表面。所述一个或更多个结构化光图案可以包括结构化光图案的序列，所述序列被构造成唯一地顺序照射所述三维环境的不同部分。所述一个或更多个结构化光图案可以包括水平条和垂直条的图像的序列，所述条的宽度在所述序列内并且在每个方向上被减半或加倍。所述一个或更多个结构化光图案可以包括以下中的一个或更多个：条的图像的序列；黑白图像；彩色图像；和正弦曲线的图像。所述计算装置还可以被构造成确定所述至少两个相机相对于所述三维环境的给定位置，并且通过以下步骤设置所述三维环境的物理原点：从所述至少两个相机中的每个获取位于所述三维环境中的已知目标图案的至少一个图像；以及将所述已知目标图案的所述至少一个图像与所述已知目标图案的表示进行比较。所述计算装置可以还被构造成使用三角测量法使用所述二维映射和所述至少两个相机相对于本文档来自技高网...

【技术保护点】
一种系统，所述系统包括：计算装置；投影仪；以及至少两个相机，所述投影仪和所述至少两个相机中的每个相对于三维环境被安装，各自视场在所述三维环境上与所述投影仪的投影区域至少部分地重叠；所述计算装置被构造成：控制所述投影仪顺序地投影一个或更多个结构化光图案，所述一个或更多个结构化光图案被构造成唯一地照射所述三维环境的不同部分；在所述投影仪投影所述一个或更多个结构化光图案时，从所述至少两个相机中的每个获取一个或更多个相应图像，所述一个或更多个相应图像中的每个与给定相应结构化光图案关联；通过处理所述相应图像和关联的给定相应结构化光图案，生成所述三维环境的不同部分在投影仪空间与相机空间之间的二维映射；使用所述二维映射和所述至少两个相机相对于所述三维环境的给定位置，生成表示所述三维环境的点云；根据所述点云确定所述投影仪相对于所述三维环境的位置、取向和透镜特性；相对于与所述三维环境对应的虚拟三维环境定位虚拟相机，所述虚拟相机的虚拟位置、虚拟取向和虚拟透镜特性与所述投影仪的位置、取向和透镜特性分别匹配；以及控制所述投影仪基于所述虚拟相机的虚拟位置、虚拟取向和虚拟透镜特性进行投影。

【技术特征摘要】
2015.08.07 US 14/820,6931.一种系统，所述系统包括：计算装置；投影仪；以及至少两个相机，所述投影仪和所述至少两个相机中的每个相对于三维环境被安装，各自视场在所述三维环境上与所述投影仪的投影区域至少部分地重叠；所述计算装置被构造成：控制所述投影仪顺序地投影一个或更多个结构化光图案，所述一个或更多个结构化光图案被构造成唯一地照射所述三维环境的不同部分；在所述投影仪投影所述一个或更多个结构化光图案时，从所述至少两个相机中的每个获取一个或更多个相应图像，所述一个或更多个相应图像中的每个与给定相应结构化光图案关联；通过处理所述相应图像和关联的给定相应结构化光图案，生成所述三维环境的不同部分在投影仪空间与相机空间之间的二维映射；使用所述二维映射和所述至少两个相机相对于所述三维环境的给定位置，生成表示所述三维环境的点云；根据所述点云确定所述投影仪相对于所述三维环境的位置、取向和透镜特性；相对于与所述三维环境对应的虚拟三维环境定位虚拟相机，所述虚拟相机的虚拟位置、虚拟取向和虚拟透镜特性与所述投影仪的位置、取向和透镜特性分别匹配；以及控制所述投影仪基于所述虚拟相机的虚拟位置、虚拟取向和虚拟透镜特性进行投影。2.根据权利要求1所述的系统，其中，所述三维环境包括物理对象，并且所述系统还包括存储所述物理对象的虚拟模型的存储器，所述计算装置还被构造成：通过将所述虚拟模型与所述点云进行比较，确定所述物理对象相对于所述三维环境的物理原点的相应位置和相应取向；关于与所述物理原点相关的虚拟原点，在所述虚拟三维环境中设置所述虚拟模型的虚拟位置和虚拟取向，以与所述物理对象的相应位置和相应取向匹配；以及控制所述投影仪用针对所述虚拟模型的虚拟位置和虚拟取向调节的图像来照射所述物理对象。3.根据权利要求2所述的系统，其中，将所述虚拟模型与所述点云进行比较包括迭代最近点方案。4.根据权利要求1所述的系统，其中，所述三维环境包括以下中的一个或更多个：表面上的物理对象；弯曲表面；以及不规则表面。5.根据权利要求1所述的系统，其中，所述一个或更多个结构化光图案包括结构化光图案的序列，所述结构化光图案的序列被构造成唯一地顺序照射所述三维环境的不同部分。6.根据权利要求1所述的系统，其中，所述一个或更多个结构化光图案包括水平条和垂直条的图像的序列，所述条的宽度在所述序列内并且在每个方向上被减半或加倍。7.根据权利要求1所述的系统，其中，所述一个或更多个结构化光图案包括以下中的一个或更多个：条的图像的序列；黑白图像；彩色图像；和正弦曲线的图像。8.根据权利要求1所述的系统，其中，所述计算装置还被构造成确定所述至少两个相机相对于所述三维环境的给定位置，并且通过以下步骤设置所述三维环境的物理原点：从所述至少两个相机中的每个获取位于所述三维环境中的已知目标图案的至少一个图像；以及将所述已知目标图案的所述至少一个图像与所述已知目标图案的表示进行比较。9.根据权利要求1所述的系统，其中，所述计算装置还被构造成使用三角测量法，使用所述二维映射和所述至少两个相机相对于所述三维环境的给定位置来生成表示所述三维环境的点云。10.根据权利要求1所述的系统，其中，所述计算装置还被构造成通过使所述点云中的多个点与所述结构化光图案中的一个或更多个的相应区域匹配，根据所述点云确定所述投影仪相对于所述三维环境的位置、取向和透镜特性。11.根据权利要求1所述的系统，其中，所述虚拟位置、所述虚拟取向和所述虚拟透镜特性包括姿态数据，所述姿态数据包括：所述虚拟三维环境中的所述虚拟相机关于与所述物理原点相关的虚拟原点的三维位置；俯仰值；偏航值；滚转值；偏移值；和投射值。12.一种方法，所述方法包括：在包括计算装置、投影仪以及至少两个相机的系统中，所述投影仪和所述至少两个相机中的每个相对于三维环境被安装，各自视场在所述三维环境上与投影仪的投影区域至少部分地重叠，使用所述计算装置控制所述投影仪顺序地投影一个或更多个结构化光图案，所述一个或更多个结构化光图案被构造成唯一地照射所述三维环境的不同部分；在所述投影仪投影所述一个或更多个结构化光图案时，使用所述计算装置从所述至少两个相机中的每个获取一个或更多个相应...

【专利技术属性】
技术研发人员：K·穆勒，D·斯科特，N·瓦希尔卡，I·J·弗雷则，J·罗宾逊，
申请(专利权)人：克里斯蒂数字系统美国有限公司，
类型：发明
国别省市：美国;US