基于相对深度计算的画中游方法技术

本发明专利技术公开了一种基于相对深度计算的画中游方法。其步骤为：（１）确定图像灭点数目；对图像进行前景背景划分；对于前景部分，准备前景ｍａｓｋ图；对图像背景部分，制作背景图像，并构造蜘蛛网格；（２）按照灭点数目对背景图像进行相对深度及模型相对尺寸计算，其中包括视点确定、从蜘蛛网格获取数据和进行相对深度和相对尺寸计算这三个子步骤；（３）根据相对深度和模型尺寸的数值，进行前景和背景的建模；并用背景图像和前景ｍａｓｋ图分别对背景前景模型进行纹理映射，并定位相机，渲染得到输出图像。本方法针对较规整建筑物，能够从二维图像中较精确地计算三维模型的相对尺寸和相对位置，能较好地解决全景图和画中游相结合的应用中两种技术切换时的融合问题。

【技术实现步骤摘要】

本专利技术涉及一种。
技术介绍
基于图像的绘制技术(Image-Based Rendering，IBR)是一种从一系列拍摄的图像或者没有连接关系的点出发来进行绘制，从而得到较好三维漫游效果的虚拟现实技术。它在电影电视特技制作和娱乐广告等方面有着广泛和深入的应用。但与此同时，普遍地，该技术表达一个场景所需的数据量过于巨大，采样难度过大。Y.Horry于1997年提出了画中游技术(Tour Into the Picture，TIP)。该技术可以简单地对一幅二维照片进行漫游，较好地解决了IBR技术中的采样问题。画中游技术给出了一种简单的三维模型，它由一些三维多边形框架和公告板(billboard)组成，从而可以生成各式各样令人悦目的高质量3D动画。该技术目前已被广泛应用于娱乐、文物保护、广告等各方面。 画中游技术一般可以分为以下四个步骤 1、图像预处理。将输入图像区分前后景，手动制作前景mask图和背景图片。所谓前景mask图是将图像中前景部分抠出而形成的二维灰度图，前景部分置为白色，其它部分为黑色。背景图片则为去掉前景以后的背景，手动将前景镂空部分填充上与周围背景相协调的图案和色彩。这是开始TIP制作过程的准备。 2、构建蜘蛛网格。在背景图片上构建蜘蛛网格，从而可以提供建模的基本几何信息。蜘蛛网格由灭点(vanishing point)、内窗口(inner window)、外窗口(outer window)和由灭点向四周发出的射线组成。由于透视现象为近大远小，因而使得三维场景中互相平行的直线在二维图像中不一定平行，最终汇聚成为一点，即所谓灭点。内窗口为视点无法穿过的背部矩形，外窗口则为图像的边框。由灭点出发经过内窗口四个顶点的射线和内窗口一起，把原图像分为五个部分——内窗口和上下左右四个多边形。相对应地，分别命名为后墙(rearwall)、天花板(ceiling)、地面(floor)、左墙(left wall)、右墙(right wall)。 3、重建模。对于背景，蜘蛛网格所分割而成的五个部分相对应于建模过程中的五个相邻接的矩形。基于三个假设进行重建模1)五个矩形中相邻的矩形彼此垂直；2)三维环境中后墙矩形(rear wall)平行于视平面；3)三维环境中地面矩形(floor)垂直于视平面。重建过程中，先获取图像中蜘蛛网格的有关位置信息，进行各个关键点(建模过程中矩形的顶点)的三维位置计算。其中，天花板高度等信息为估计尺寸。根据计算而得的各个关键点的位置信息进行建模，得到背景的三维盒子模型(box model)。对于前景，基于公告板(billboard)形式，使用层次多边形进行建模，三维位置计算与背景类似。 4、纹理映射及渲染。假设三维矩形中的纹理都从相对应的二维多边形中继承。渲染而得的输出图像中任意二维点可以找到三维模型中的对应点，后者又可以找到原始图像中的二维对应点。对于前景的纹理映射，除了纹理对应以外，还必须根据mask图提供的信息，设置前景物体和周围背景的不同透明值。因而渲染的每个点都可以在原图中找到对应的点，映射该点的色彩即可得到纹理映射的结果。 画中游技术从一幅图像出发，得到三维模型中的漫游效果，给人以全新的“人在画中游”的视觉效果。但在应用过程中，尤其是画中游技术和全景图技术相结合时，对画中游技术中，在不改变视点位置情况下，重建的三维模型是否可以得到与原图相同视觉效果，提出了更高的要求，这实质上是对于重建三维模型的位置和尺寸的更精确的要求。画中游技术的建模过程中，原有的高度等值的估计方法难以满足需求，这直接影响到用户在画中游过程中的真实感。
技术实现思路
本专利技术的目的是提供一种。 以一幅图像作为输入进行漫游，其步骤为 (1)确定图像灭点数目；对图像进行前景背景划分；对于前景部分，将前景从背景中抠出，准备前景mask图；对图像背景部分，填充前景被抠出部分，制作背景图像，并构造蜘蛛网格； (2)定义图像平面为垂直于地面的平面，原始图像位于该图像平面上，且置原始图像底边于图像平面和地平面相交线上，相对深度，即为模型与图像平面之间的距离深度；按照灭点数目对背景图像进行相对深度及模型相对尺寸计算，其中包括视点确定、从蜘蛛网格获取数据和进行相对深度和相对尺寸计算这三个子步骤； (3)根据相对深度和模型尺寸的数值，进行前景和背景的建模；并用背景图像和前景mask图分别对背景前景模型进行纹理映射，并定位相机，渲染得到输出图像。 本专利技术简单易用，其有益效果是，可以通过科学计算得到画中游模型的较精确的相对位置和相对尺寸，从而在视点位置和角度不变的情况下，使用户得到与原始图像相同视觉效果的三维模型透视输出图像。尤其在画中游和全景图技术相结合的应用中，可以得到全景图和画中游模型之间的无跳跃切换。 对本专利技术进行实验检验，构造精确的三维模型，进行相机采样。对采样图像使用新的画中游方法(为1个灭点图像)，对三维模型进行重建。在原相对深度为100.00的采样中，表1为本专利技术计算得到的结果，平均误差为2.86％ 表1结果及误差分析实验1实验2实验3相对深度97.3396.7397.37误差2.67％3.27％2.63％ 重建的三维模型在经过透视重新渲染形成输出图像的过程中，其相对深度和相对尺寸的误差影响将进一步减小，从而得到与原始图像相同的视觉效果。进行实验检验，构造精确的三维模型，进行相机采样。对采样图像使用新的画中游方法(为1个灭点图像)，对三维模型进行重建。在原相对深度为100.00的采样中，表1为本技术计算得到的结果，平均误差为2.86％ 表1结果及误差分析实验1实验2实验3相对深度97.3396.7397.37误差2.67％3.27％2.63％ 重建的三维模型在经过透视重新渲染形成输出图像的过程中，其相对深度和相对尺寸的误差影响将进一步减小，从而得到与原始图像相同的视觉效果。 附图说明 图1是的流程示意图； 图2a～d是画中游方法的蜘蛛网格示意图； 图3是本专利技术的“相对深度”定义示意图； 图4为本专利技术的一个灭点图像的相对深度和模型相对尺寸的计算示意图； 图5是本专利技术的左墙实际建模细节示意图； 图6a～c是本专利技术的一个灭点图像经过计算建模渲染后的输出图像效果示意图； 图7为本专利技术的两个灭点图像的相对深度和模型相对尺寸的计算示意图； 图8a～c是本专利技术的两个灭点图像的漫游过程输出图像。 具体实施例方式 本专利技术解决其技术问题所采用的技术方案是定义图像平面为垂直于地面的平面。原始图像位于该图像平面上，且置原始图像底边于图像平面和地平面相交线上。在本方案中，称如此放置的原始图像为参考图像。引入“相对深度(Relative Depth，RD)”的概念，即模型与图像平面之间的距离深度。在画中游技术中，“相对深度”即图像平面与模型后墙之间的距离深度。根据透视几何原理，在构造蜘蛛网格的基础上，由参考图像的定义，可计算得到模型的相对深度。在此基础上，可进一步计算得到模型的各相对尺寸。所谓相对尺寸，即计算所得的尺寸是与参考图像大小相对应的模型尺寸，而非真实环境中物体的原始大小。相对深度的计算，决定了画中游模型的位置和尺寸，也决定了用户漫游的深度本文档来自技高网...

【技术保护点】
一种基于相对深度计算的画中游方法，其特征在于：以一幅图像作为输入进行漫游，其步骤为：　（１）确定图像灭点数目；对图像进行前景背景划分；对于前景部分，将前景从背景中抠出，准备前景ｍａｓｋ图；对图像背景部分，填充前景被抠出部分，制作背景图像，并构造蜘蛛网格；（２）定义图像平面为垂直于地面的平面，原始图像位于该图像平面上，且置原始图像底边于图像平面和地平面相交线上，相对深度，即为模型与图像平面之间的距离深度；按照灭点数目对背景图像进行相对深度及模型相对尺寸计算，其中包括视点确定、从蜘蛛网格获取数据和进行相对深度和相对尺寸计算这三个子步骤；（３）根据相对深度和模型尺寸的数值，进行前景和背景的建模；并用背景图像和前景ｍａｓｋ图分别对背景前景模型进行纹理映射，并定位相机，渲染得到输出图像。

【技术特征摘要】

【专利技术属性】
技术研发人员：曹智清，石教英，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]