产生虚拟图像和真实图像的合成图像制造技术

一种合成真实空间图像与虚拟图像的方法，包括：使一个成像单元捕获一个真实空间的图像；根据所捕获的真实空间中的多个真实图像产生一个覆盖预定空间的图像；根据所产生的图像提取光源的位置信息；并根据所提取的光源的位置信息对该虚拟图像增加一个光源或阴影。

【技术实现步骤摘要】
产生虚拟图像和真实图像的合成图像4支术领域本专利技术涉及产生真实图像和虚拟图像的合成图像如计算机图形图像(CG图像)的方法、装置和程序。技术背景一种被称为混合实境(MR)的技术提供包括混合了真实空间图 像(即背景)的CG图像的混合的真实性，根据该技术，用户能够感 觉好像一个虚拟的对象存在于真实的空间中。该MR技术可用于通信、 交通、娱乐及其他各种工业领域。为了平滑合成虛拟空间和真实空间的处理并防止用户感觉到任 何不协调，在MR技术中以下的一致性是所希望的(1)在保持正确的空间关系的同时混合真实空间的对象和虚拟 空间的对象的几何一致性；(2 )自然混合真实空间的光源和虚拟空间的光源的光学一致性； (3 )均衡真实空间的时间和虚拟空间的时间的时间 一 致性。为了实现这些一致性，非常重要的是要正确识别真实空间的信息 和状态并且准确地将该真实空间的信息输入到虚拟空间。已经提出了各种常规系统用来解决光学一致性的问题(即上述一 致性中的一种)。文献1(1. Sato, y. Sato, and K. Ikeuchi， Acquiring a radiance distribution to superimpose virtual objects onto a real scene, IEEE Transactions on Visualization and Computer Graphics, Vol. 5， No. 1， PP. l-l2， January-March l999 )中讨论的系统通过一个鱼眼摄像机获 得了 一种真实空间的全向图像，根据所获得的全向图像来估计真^环 境中的光源的位置信息，并将该估计的光源的位置信息反映在一个虚.拟空间中。另夕卜，文献2 (M. Kanbara， T. Iwao， and N. Yokoya， Shadow Representation for Augmented Reality by Dynamic Shadow Map Method, a lecture memoir for an image recognition and comprehension symposium (MIRU 2005)， pp. 297-304， July 2005 )中 讨论的系统实现了根据一个三维标记器对光源环境(真实世界的光源 位置)的实时估计，该标记器结合了一个二维方形标记器和放置在该 标记器中央的一个镜面球，该系统还根据该估计的位置来布置虚拟光 源。才艮据文献2，该系统根据二维方形标记的位置和方向计算出观察 点和虚拟对象间的相对位置。然后，为了估计一个光源环境，该系统 使得安装在一个视频观察头戴显示器(HMD)上的摄像机能够根据 所计算的相对位置捕获反映在该镜面球(即镜面球的高亮区域)中的 该真实环境的光源。文献1中讨论的系统可以在单次图像捕获操作中获得真实环境 的光源信息。但是，该系统不能响应于照明环境的变化执行光源环境 的实时估计，也不能反映虚拟空间中的照明环境的变化。文献2中讨论的系统执行对光源信息的实时估计，也能反映虚拟 环境的估计结果。但是，用户需要持续地捕获视野中的二维标记器， 还需要事先预备复杂的标记器(即包括二维标记器和镜面球的三维标 记器)。
技术实现思路
人们希望响应于环境光源的变化产生一种真实空间图像和虚拟 图像的合成图像，而无需使用特殊的设备，如包括一个镜面球的三维标记o如权利要求1至9所述，本专利技术的第一方面提供了一种产生合成 图像的方法，其中真实空间的图像与虚拟对象的图像进行合成。如权利要求10所述，本专利技术的第二方面提供了一种产生合成图 像的装置，其中真实空间的图像与虚拟对象的图像进行合成。本专利技术 的第三方面提供了一种程序，当由计算机或处理器执行时，该程序使得该计算机或处理器执行实施前述本专利技术的第一方面的方法。本专利技术的其它特征根据下面参照附图对示例性实施例的详细描 述将变得很清楚。附图说明构成说明书的一部分的附图，与文字描述一起，示出了本专利技术的 一些示例性的实施例、特征及各个方面，用于解释本专利技术的至少一些 原理。图l是表示根据第一示例性实施方式的信息处理装置的方框图。图2示出了根据第一示例性实施方式的该信息处理装置的概念。 图3是表示根据第一示例性实施方式的修改了的信息处理装置 的方框图，该装置使用了 一个标记测量器代替了位置/方向传感器。 图4示出了一个二维标记器。图5是表示由第一示例性实施方式的信息处理装置执行的示例 性处理的流程图。图6是表示根据第二示例性实施方式的信息处理装置的方框图。 图7是表示根据第三示例性实施方式的信息处理装置的方框图。具体实施方式以下对示例性实施方式的描述本质上仅仅是示意性的，决不是要 限制本专利技术及其应用或使用。本领域普通技术人员所熟知的处理、技术、装置和系统是为了使 得描述更恰当。例如，用于图像处理、数据处理及其他应用的特定电 路没有详细的描述。但是构造这些对于相关领域普通技术人员熟知的 这些系统以及实现这些系统的方法只是为了使得这里的披露更恰当。应该注意的是，在整个说明书中，附图中类似的附图标记和字母 代表类似的项目，因此一旦一个项目在一个附图中进行了描述，在下 面的附图中将不再讨论。下面将结合附图对示例性实施方式进行详细的描述。 第一示例性实施方式图1是表示根据本专利技术的第一示例性实施方式的信息处理装置100的方框图。图2是该信息处理装置100所能提供的混合实境的概 念性表示。在图2中，用户201携带的头戴显示器(后面称为HMD) 101 包括一个能够获得位置和方向数据的视频摄像机。该用户201可以通 过由该视频摄像机捕获的视频图像(真实图像)205观察真实空间。 图2中，该信息处理装置100通过把由该视频摄像机捕获的多个真实 空间图像(真实图像)205连接(如缝合)在一起可以产生一个天球 (celestial sphere) 206的虚拟图像。每个捕获的图像205是一个由该 视频摄像机捕获的真实空间的一个图像。该天球206是一个具有无限 半径的半球，可以被看作一个可以在其上投射所捕获的图像205的屏 幕。在该示例性实施方式中，信息处理装置100根据所产生的天球图 像估计真实空间的光源信息。该信息处理装置IOO根据所估计的光源 信息产生一个具有自然亮度和阴影的虚拟对象204。信息处理装置100将所述具有如上所述设置的亮度和阴影的虚 拟对象204与一个由用户201的视频摄像机捕获的桌子203 (即一个 真实对象)的真实图像进行合成。HMD 101接收由信息处理装置100所产生的虚拟对象204和真 实对象203的合成图像，并在其显示单元上显示该合成图像，这样用 户201就可以观看该合成图像。由于所显示的合成图像中的虚拟对象 具有自然的亮度和阴影，用户201可以体验到该混合的真实性，而没 有任何不和谐感。图1所示的信息处理装置100包括具有以下功能的各个单元。图 1中，该信息处理装置IOO被连接至一个捕获真实空间图像的视频摄 像机112，并且还被连接至HMDIOI。根据图1的示例性设置，视频摄像机112和HMD 101被彼此分 开。但是，将摄像机112合并在HMD 101中也是有用的，例如，如 果摄像机112包括距离用本文档来自技高网...

【技术保护点】
一种提供合成图像的方法，其中一个真实空间的图像与一个虚拟对象的虚拟图像被合成，该方法包括以下步骤：接收多个捕获图像的图像数据，所述多个捕获图像包括与该真实空间的各个不同部分有关的多个图像；根据所接收的多个捕获图像的图像数据产 生模拟图像数据，其代表覆盖该真实空间的至少一个预定部分的一个图像；根据该模拟图像数据估计与该真实空间有关的光源信息；根据所估计的与该真实空间有关的光源信息产生虚拟图像数据，其代表所述的虚拟图像，所述虚拟图像数据包括与该虚拟对 象有关的管理光源信息；在接收到与该真实空间的那一部分有关的新捕获的图像的图像数据之后，更新该模拟图像数据，并根据更新后的模拟图像数据更新所估计的与该真实空间有关的光源信息，并根据更新后的与该真实空间有关的光源信息更新与该虚拟对象有关 的光源信息，并重新生成该虚拟图像数据。

【技术特征摘要】
JP 2006-7-27 2006-2048451、一种提供合成图像的方法，其中一个真实空间的图像与一个虚拟对象的虚拟图像被合成，该方法包括以下步骤接收多个捕获图像的图像数据，所述多个捕获图像包括与该真实空间的各个不同部分有关的多个图像；根据所接收的多个捕获图像的图像数据产生模拟图像数据，其代表覆盖该真实空间的至少一个预定部分的一个图像；根据该模拟图像数据估计与该真实空间有关的光源信息；根据所估计的与该真实空间有关的光源信息产生虚拟图像数据，其代表所述的虚拟图像，所述虚拟图像数据包括与该虚拟对象有关的管理光源信息；在接收到与该真实空间的那一部分有关的新捕获的图像的图像数据之后，更新该模拟图像数据，并根据更新后的模拟图像数据更新所估计的与该真实空间有关的光源信息，并根据更新后的与该真实空间有关的光源信息更新与该虚拟对象有关的光源信息，并重新生成该虚拟图像数据。2、 如权利要求l所述的方法，还包括通过把代表该真实空间的 一个期望部分的真实图像数据与所述虚拟图像数据合成而生成代表 所述合成图像的合成图像数据。3、 如权利要求l所述的方法，还包括使用一个具有预定模拟形 状的模型来模拟该真实空间的预定部分，所述代表多个捕获图像的模 拟图像数据被投影在该模型上。4、 如权利要求l所述的方法，还包括使用 一个图像捕获装置来获取所述的多个捕获图像； 当多个图像被捕获时，获取代表该图像捕获装置的位置和方向的 位置和方向数据；利用所获取的位置和方向数据以及所接收的多个捕获图像的图像数据产生所述模拟图像数据。5、 如权利要求4所迷的方法，其中通过一个与该图像捕获装置 相连接的位置/方向传感器而获得部分或全部位置和方向数据。6、 如权利要求4所述的方法，其中通过在真实空间中的一个参 考位置处设置一个具有预定特征的标记器，并处理所接收的捕获图像 数据以搜...

【专利技术属性】
技术研发人员：富手要，大岛登志一，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：JP[日本]