一种图像处理系统，其包括图像处理器和照相机，所述照相机捕获表示包括预定形状的参照物的场景的图像，并将表示所述图像的图像信号传送到所述图像处理器，所述图像处理器从图像信号中识别参照物，通过估计所述参照物表面上的多个表面点处的亮度量值来检测跨越所述参照物表面的亮度分布，通过计算多个亮度矢量的平均值来估计入射到所述参照物上的光的方向，检测跨越参照物表面的亮度分布以得到超过阈值限幅电平的亮度，并生成合成图像。
【技术实现步骤摘要】
本专利技术涉及图像处理。更具体而言本专利技术的实施例涉及根据捕获的图像估计照相机参数的方法和系统。
技术介绍
在许多应用中都需要加入计算机生成的图形来加强以传统方式捕获的视频图像。例如，新闻广播和电视天气预报经常包括计算机生成的诸如文本标题、地图、背景幕等内容，这些内容被加入到以传统方式捕获的人类推荐者(human presenter)的视频图像中。此类计算机生成的内容能改善呈现给观众的信息所具有的清晰度，并能简单且方便地进行编辑和更新。同样地，很多现代影片包括大量的计算机生成的内容，这些内容与真实的演员和物体混合在一起从而达到在现实生活中不可能实现或实现起来非常昂贵的效果。 在有些场合，将计算机图形加入到真实的视频中是非常直接的。例如，将简单且静态的二维图形增加覆盖在视频场景上。但是，将计算机生成的图形加入到视频场景中从而使其好像是被逼真地放置于三维空间中就困难得多，尤其是当捕获真实场景的照相机的位置正在变化时。此外，对计算机生成的图形进行呈现从而使它们看起来像是以与场景中的真实物体相同的方式被照亮将是困难的。如果所捕获的视频在被捕获之后被进行了处理，并且进行逐帧地调整以确保逼真的位置，并且维持计算机生成的物体的照明，则有可能达到看起来逼真的结果。但是，这样做很耗时，并且对于需要实时地在视频场景中对计算机生成的物体进行逼真地放置和照明的应用而言这并不实用。 另外，在计算机生成的内容和传统捕获的视频图像的组合显示中包含计算机生成 的阴影能极大地增强对用户而言的景象真实性。但是，如果虚拟物体是将计算机生成的阴 影投射到真实物体上，则将难以达到看起来逼真的结果。特别是，如果在场景中存在一个或 多个虚拟光源或者将计算机生成的物体插入到场景中以使其应当投射由虚拟物体遮蔽真 实光源而产生的阴影，则将难以对计算机生成的阴影进行呈现(render)以使其看起来像 是投射到真实物体上。
技术实现思路
根据本专利技术的一个方面，提供一种图像处理器，其被布置成接收表示包括具有预定形状的参照物的场景的图像信号。所述图像处理器可操作以从图像信号中识别所述参照物并检测跨越所述参照物表面的亮度分布。所述图像处理器还可操作以估计由所检测到的跨越所述参照物表面的亮度分布得到的、入射在参照物上的光的方向。 如果计算机生成的物体被呈现(render)成好像它们被从与存在于合成图像中的真实物体相同的方向照明，则可使在合成图像中看起来横靠真实物体的计算机生成的物体看起来更加逼真。本专利技术在这样的图像的产生中具有特别的应用，因为它能自动估计下述光的方向，该光将在假设计算机生成的物体是真实物体的情况下入射到该计算机生成的物体上。这样就能减少对合成图像进行后期 作编辑的需求，否则该合成图像将需要手工确定用来呈现计算机生成的物体的光的方向。可替换的，本专利技术允许实时地呈现和逼真地照亮计算机生成的物体，例如，如果包括参照物的图像是视频帧序列的一部分。 根据本专利技术的一个实施例，亮度分布的检测包括估计在参照物表面上的多个表面点处的亮度量值。此外，对光方向的估计包括计算多个亮度矢量的平均值。每个亮度矢量对应于表面点之一并且包括对应的表面点的亮度量值和对应于垂直于该对应的表面点处的表面的方向的亮度方向。 通过在亮度量值最大的参考点表面上简单地确定一点并且相应地推断光的方向， 就有可能估计入射在参照物上的光的方向。但是，如果参照物的图像被作为视频图像序列 的一部分来捕获，则所述亮度最大的表面上的点可以随着图像的不同而变化，就像所估计 的光方向会随着图像的不同而变化一样。如果计算机生成的物体根据这种光的改变的方向 实时地呈现计算机生成的物体，则这会以不希望的闪烁或者摇摆来表现其本身。因此， 根据该实施例，跨越参照物的可见表面采样若干表面点。亮度矢量可以由这些点产生，其平 均值形成了估计的光方向的基础。这样就能减少摇摆并提供更加稳定的、逐图像的光方 向估计。 根据本专利技术的另一实施例，仅检测跨越参照物表面的亮度分布以得到超过阈值限 幅电平(cli卯ing level)的亮度。 本实施例可以减少在跨越参照物表面的参考亮度是饱和的或部分饱和的情况下 所估计的光方向中的错误。 本专利技术的各种其它方面和特征由所附权利要求定义。 附图说明 现在将通过参考附图仅以示例的方式来描述本专利技术的实施例，在附图中将对相同 的部分提供相应的附图标记，在附图中 图1提供了依照根据捕获的图像确定照相机参数的技术布置的照相机和图像处 理器的示意图； 图2提供了包括照相机取向(orientation)和位置参数的图解说明的、依照根据 捕获的图像确定照相机参数的技术的示例布置照相机和图像处理器的示意图； 图3提供了包括照相机取向视场的图解说明的、依照根据捕获的图像确定照相机 参数的技术的示例布置的照相机和图像处理器的示意图； 图4提供了图解说明如何由校准图案构造消失点(vanishing point)的示意图； 图5提供了包括计算机生成的物体的图解说明的、依照根据捕获的图像确定照相 机参数的技术的示例布置的照相机和图像处理器的示意图； 图6提供了包括依照估计的照相机参数呈现计算机生成的物体的图像处理器的 图解说明的、依照根据捕获的图像确定照相机参数的技术的示例布置的照相机和图像处理 器的示意图； 图7示出了为棋盘(checkerboard)校准图案定义的轴的示意图； 图8a和8b图解说明了用于识别棋盘转角(corner)的处理的一部分； 图9示出了真正的棋盘转角和错误肯定的(false positive)棋盘转角； 图10图解说明了寻找棋盘的转角的技术的一部分；5 图11示出在棋盘校准图案上识别的线的表示； 图12a示出棋盘上的两个45度对角线组； 图12b示出棋盘上的水平线组和垂直线组； 图13图解说明了用于确定线是垂直线还是水平线，或者线是否是45度对角线的 处理的一部分； 图14a和14b图解说明了在两种特殊情况照相机取向的情况中棋盘的位置； 图15示出包括四个有色标记的棋盘校准图案的示意图； 图16示出图解说明了包括根据捕获的图像估计照相机参数的方法的步骤的流程 图； 图17a和17b提供了图解说明用于估计光源方向的技术的示意图； 图18a提供了示出在球形参照物中的矢量的分量的示意图； 图18b提供了图解说明跨越参照物表面的取样亮度量值的示意图； 图19a和19b图解说明跨越参照物表面的亮度分布的限幅； 图20提供了估计光源方向的方法流程图； 图21是与真实物体的虚拟模型一起被布置从而使得虚拟物体能够看起来像是根据呈现计算机生成的阴影的技术将阴影投射到真实物体上的虚拟物体的示意图； 图22是相对于两个光源与真实物体的虚拟模型一起被布置从而使得虚拟物体能够看起来像是根据呈现计算机生成的阴影的技术将阴影投射到真实物体上的两个虚拟物体的示意图； 图23是依照呈现计算机生成的阴影的技术呈现计算机生成的阴影的方法的流程 图； 图24是图解说明被呈现的计算机生成的阴影的示例的示意图； 图25是图解说明包括虚拟物体的示例场景的示意图； 图26A和26B是用来生成阴影图的呈现途径的示意图；以及 图27A至27C是用来生成阴影图的第三呈现途径的示意图，图解说明如何生成对 于不同光源本文档来自技高网...
【技术保护点】
一种被布置成接收表示包括预定形状的参照物的场景的图像信号的图像处理器，所述图像处理器可操作：以从所述图像信号中识别所述参照物；以通过估计所述参照物表面上的多个表面点处的亮度量值来检测跨越所述参照物表面的亮度分布；以及以通过计算多个亮度矢量的平均值来估计由所检测到的跨越参照物表面的亮度分布得到的、入射在所述参照物上的光的方向，每个亮度矢量对应于所述表面点之一，并且包括对应的表面点的亮度量值和亮度方向，该亮度方向对应于垂直于该对应的表面点处的表面的方向，其中检测跨越所述参照物表面的亮度分布以得到超过阈值限幅电平的亮度。
【技术特征摘要】
GB 2008-11-28 0821830.7一种被布置成接收表示包括预定形状的参照物的场景的图像信号的图像处理器，所述图像处理器可操作以从所述图像信号中识别所述参照物；以通过估计所述参照物表面上的多个表面点处的亮度量值来检测跨越所述参照物表面的亮度分布；以及以通过计算多个亮度矢量的平均值来估计由所检测到的跨越参照物表面的亮度分布得到的、入射在所述参照物上的光的方向，每个亮度矢量对应于所述表面点之一，并且包括对应的表面点的亮度量值和亮度方向，该亮度方向对应于垂直于该对应的表面点处的表面的方向，其中检测跨越所述参照物表面的亮度分布以得到超过阈值限幅电平的亮度。2. 根据权利要求1所述的图像处理器，其中，所述预定形状是至少部分球形的。3. 根据权利要求1所述的图像处理器，其中，通过在场景中占据预定义位置的参照物 来识别所述参照物。4. 一种用于生成合成图像的系统，该系统包括图像处理器和照相机，所述照相机可操 作以捕获表示包括预定形状的参照物的场景的图像，并将表示所述图像的信息信号传送到 所述图像处理器，所述图像处理器可操作以从图像信号中识别所述参照物；以通过估计所述参照物表面上的多个表面点处的亮度量值来检测跨越所述参照物表 面的亮度分布；以通过计算多个亮度矢量的平均值来估计由所检测到的跨越所述参照物表面的亮度 分布得到的、入射在所述参照物上的光的方向，每个亮度矢量对应于所述表面点之一，并且 包括对应的表面点的亮度量值和亮度方向，该亮度方向对应于垂直于该对应的表面点处 的表面的方向，跨越所述参照物表面的所述亮度分布被检测以得到超过阈值限幅电平的亮 度；以及以生成合成图像，该合成图像包括由所述照相机捕获的、与计算机生成的物体的呈现 结合的图像数据，所述计算机生成的物体依照所估计的光方向加以呈现。5. 根据权利要求4所述的系统，其中，所述场景包括包含校准图案的校准表面，所述图 像处理器可操作以通过参考所述校准表面来确定所述照相机的取向和位置，并且从而确定 相对于所述校准表面的光的方向。6. —种估计入射到预定形状的参照物上的光的方向的方法，包括 从表示包括所述参照物的场景的所接收图像信号中识别所述参照物； 通过估计所述参照物表面上的多个表面点处的亮度量值来检测跨越所述参照物表面的亮度分布；以及通过计算多个亮度矢量的平均值来估计由所检测到的跨越所述参照物表面的亮度分 布得到的、入射在所述参照物上的光的方向，每个亮度矢量对应于所述表面点之一，并且包 括对应的表面点的亮度量值和亮度方向，该亮度方向对应于垂直于该对应的表面点处的表 面的方向，其中跨越所述参照物表面的亮度分布的检测仅被检测以得到超过阈值限幅电平 的亮度。7. 根据权利要求6...
【专利技术属性】
技术研发人员：守分且明，
申请(专利权)人：索尼株式会社，
类型：发明
国别省市：JP[日本]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。