将虚拟三维建筑与现实环境实拍视频无缝合成的方法技术

本发明专利技术公开了一种将虚拟三维建筑与现实环境实拍视频无缝合成的方法。步骤为：１）用摄像机对用于建造建筑物的场地拍摄一段视频；２）在三维图形系统中，构建虚拟三维建筑模型；３）根据视频的每一帧图像，把所有遮挡场地的景物提取出来，生成一帧遮挡物图像，复制剩余的图像生成背景图像；４）根据视频的每一帧图像，在三维图形系统中设置一个虚拟的照相机，绘制出显示虚拟三维建筑模型的建筑物图像；５）把遮挡物图像、建筑物图像、背景图像叠加成一系列新图像；６）把一系列新图像以拍得视频的帧率压缩成新的视频。本发明专利技术能将虚拟三维建筑完美地结合到建筑所在环境的实拍视频中，有力地展现将要建造的建筑及其环境的景象。

【技术实现步骤摘要】

本专利技术涉及将虚拟景物与实拍视频无缝合成的方法，尤其涉及一种将虚拟 三维建筑与现实环境实拍视频无缝合成的方法。
技术介绍
将虚拟景物与实拍视频的无缝合成是虚拟现实(Virtual Reality)技术的一种 运用，将现场视频与计算机产生的三维图形完美无缺地集成在一起，构成一段 在现实中无法拍摄到的视频。随着房地产业竞争的加剧，传统的展示手段如平 面图、表现图、沙盘、样板房等已经远远无法满足消费者的需要，需要提供将 要建造的建筑及其环境的真实视觉感受；在城市规划中，需要对城市建筑、街 区景观等规划项目有一种真实的再现，从而大大加快方案设计的速度和质量， 提高方案设计和修正的效率。用一段视频介绍房地产商宣传的房产，城市规划 中的建筑、街区景观是一种有力的手段，但是在当前现实中，无法拍摄到将要 建造的建筑的真实样子，就需要有一种方法把未来的建筑完美地结合到现有环 境的实拍视频中。
技术实现思路
本专利技术的目的在于针对现有技术需求，即把未来的建筑完美地结合到现有 环境的实拍视频中，提出一种将虚拟三维建筑与现实环境实拍视频无缝合成的 方法。包括以下步骤1) 用摄像机对用于建造建筑物的场地拍摄一段视频；拍摄的开始时间点 Tstart，拍摄地点Psite，视频的帧率Rvide。，并且使用GPS定位仪测得拍摄地点P^在地球上的经度LON^、纬度LAT^;在用于建造建筑物的场地上建立一个三维直角坐标系CM;在用于建造建筑物的场地的边界上，以等间距取样本点，并测得这些样本点的经纬度，并转换成三维直角坐标系CM下的坐标；2) 在三维图形系统中，设定其世界坐标系为三维直角坐标系CM，输入用于建造建筑物的场地边界的样本点坐标，并将样本点按序连接起来形成场地多边形；构建虚拟三维建筑模型，虚拟三维建筑模型的底面边界不超出场地多边 形的边界；3) 对视频的每一帧图像做如下处理在视频的第i帧图像Ipie(i)上，把所有 显示遮挡住场地的景物的像素提取出来，生成一帧遮挡物图像Ifr。nt(i),在该帧图像上显示遮挡住场地的景物的像素的不透明度为100%，其余像素的不透明度为0%;在第i帧图像Ipie(i)上，设置所有显示遮挡住场地的景物的像素的不透 明度为0%，其余像素的不透明度为100%，复制生成背景图像Isite(i);遮挡物图像I她t(i)、背景图像Isite(i)的分辨率与第i帧图像Ipie(i)的分辨率相同；4) 对视频的每一帧图像做如下处理利用基于视频的摄像机跟踪技术， 计算出摄像机在拍摄第i帧图像Ipie(i)时刻的外部参数T,(i)xR^(i)和焦距fi，其 中Rcam(i)为旋转变换矩阵，Tc一i)为位移变换矩阵；在三维图形系统中，使用变 换公式(XearaW, Ye咖(,),Z—,),l)T = T體(i)xl^咖(i)x (XM， YM,ZM,1)T将三维直角坐标系 CM中的虚拟三维建筑的模型变换成摄像机三维直角坐标系Cc—i)中的虚拟三维建筑的模型，其中摄像机三维直角坐标系Q^(i)为摄像机在拍摄第i帧图像Ipic(i)时刻的摄像机三维直角坐标系，(xm,ym,zm)为点在三维直角坐标系Cm中 的坐标，(X，(,)，Y—i)，Z—))为点在摄像机三维直角坐标系C,(i)中的坐标；在 三维图形系统中，设置一个虚拟的照相机，绘制出显示变换后的虚拟三维建筑 模型的建筑物图像Ibuild(i)，建筑物图像IbuM(i)中显示建筑的像素的不透明度为100%,其余像素的不透明度为0%;5) 根据视频的每一帧图像做如下处理把与视频的第i帧图像Ipie(i)相关的 遮挡物图像Ifr。nt(i)、建筑物图像Ibuild(i)、背景图像Isite(i)叠加在一起，生成图像 Iframe(i) 56) 以视频的帧率Rvide。把所有的图像Ifeme(i)压縮成新的视频，其中i表示 帧的序列号。所述步骤4)中的在三维图形系统中，设置一个虚拟的照相机，绘制出显示 变换后的虚拟三维建筑模型的建筑物图像的步骤为1) 以虚拟照相机所在点为视点，设置视点变换矩阵为单位矩阵；2) 设置虚拟照相机的视景体的左下角为(-|Fw，-*Fh,-f;)，右上角为 《Fw,|Fh，-fi)，远裁剪面离视点的距离为Z^，其中，Fw、 Fh分别为摄像机成 像底片的宽度、高度，Fw和Fh的值通过查阅摄像机的技术参数获知，fi为摄像机拍摄第i帧图像Ipie(i)时镜头的焦距，Z^大于所有摄像机三维直角坐标系 Ccam(i)下虚拟三维建筑模型上所有点与视点的距离；3) 设置绘制结果输出图像的分辨率与摄像机拍得视频的分辨率相同；4) 设置一个虚拟的模拟太阳光照的平行光源，其亮度由用户输入，确定其方向的方法为利用公式^" + T^求得拍摄视频的第i帧图像Ipie(i)的时刻R、'l videoTi，其中Rvide。为视频的帧率；在三维直角坐标系Cm下，计算出经度为LONsite、 纬度为LAT^的地点在Ti时刻受到的太阳光的方向；根据坐标系间向量的变 换方法，把太阳光在三维直角坐标系CM下的方向变换为在摄像机三维直角坐标系Q^(i)下的方向，并把变换后的方向作为照射虚拟三维建筑的平行光源的方向；5)根据上述设置，绘制虚拟三维建筑模型，得到显示虚拟三维建筑模型 的建筑物图像。所述步骤5)中的把与视频的第i帧图像Ip刚相关的遮挡物图像Ifr。nt(i)、建 筑物图像Ibui卿、背景图像Isite(i)叠加在一起，生成图像Iframe(i);的步骤为1) 生成一张图像If咖e(i),它的分辨率与图像Ipic(i)的分辨率相同，把背景图 像Isite(i)上所有像素的颜色值复制给图像 lframe(i) 中对应的像素；2) 把建筑物图像Ibui啤)上所有不透明度为100%的像素的颜色值复制给图像Iframe(O中对应的像素；3) 把遮挡物图像Ifr。nt(i)上所有不透明度为100%的像素的颜色值复制给图像Ifeme(i)中对应的像素。本专利技术能将虚拟三维建筑图像完美地结合到建筑所在环境的实拍视频中， 有力地展现将要建造的建筑及其环境的景象，能很好地帮助房地产商向客户提 供将要建造的建筑及其环境的真实视觉感受，也能很好地再现城市规划中城市 建筑、街区景观等规划项目，从而大大加快方案设计的速度和质量，提高方案 设计和修正的效率。 具体实施例方式下面根据实施方式对本专利技术做进一步说明。包括以下步骤 1)用摄像机对用于建造建筑物的场地拍摄一段视频；拍摄的开始时间点 Tstart，拍摄地点Psite，视频的帧率Rvide。，并且使用GPS定位仪测得拍摄地点P^在地球上的经度LON^、纬度LAT^;在用于建造建筑物的场地上取一个点M，并以M为原点建立一个三维直角坐标系CM,在三维直角坐标系CM中， 由x轴与z轴确立的平面与水平地面重合，且z轴指向北极，y轴垂直地面向 上；在用于建造建筑物的场地的边界上，以等间距取样本点，并测得这些样本 点的经绎度，并转换成三维直角坐标系CM下的坐标，其转换方法如下a) 用GPS定位仪测得点M在地球上的经度、纬度，记为LONM、 LATm， 测得样本点P在地球上的经度、纬度，记为LONp、 LATP;b) 根据公式D碰RxArccos(C)x7t/1本文档来自技高网...

【技术保护点】
一种将虚拟三维建筑与现实环境实拍视频无缝合成的方法，其特征在于包括以下步骤：　１）用摄像机对用于建造建筑物的场地拍摄一段视频；拍摄的开始时间点Ｔ↓［ｓｔａｒｔ］，拍摄地点Ｐ↓［ｓｉｔｅ］，视频的帧率Ｒ↓［ｖｉｄｅｏ］，并且使用ＧＰＳ定位仪测得拍摄地点Ｐ↓［ｓｉｔｅ］在地球上的经度ＬＯＮ↓［ｓｉｔｅ］、纬度ＬＡＴ↓［ｓｉｔｅ］；在用于建造建筑物的场地上建立一个三维直角坐标系Ｃ↓［Ｍ］；在用于建造建筑物的场地的边界上，以等间距取样本点，并测得这些样本点的经纬度，并转换成三维５）根据视频的每一帧图像做如下处理：把与视频的第ｉ帧图像Ｉ↓［ｐｉｃ（ｉ）］相关的遮挡物图像Ｉ↓［ｆｒｏｎｔ（ｉ）］、建筑物图像Ｉ↓［ｂｕｉｌｄ（ｉ）］、背景图像Ｉ↓［ｓｉｔｅ（ｉ）］叠加在一起，生成图像Ｉ↓［ｆｒａｍｅ（ｉ）］；　６）以视频的帧率Ｒ↓［ｖｉｄｅｏ］把所有的图像Ｉ↓［ｆｒａｍｅ（ｉ）］压缩成新的视频，其中ｉ表示帧的序列号。直角坐标系Ｃ↓［Ｍ］下的坐标；　２）在三维图形系统中，设定其世界坐标系为三维直角坐标系Ｃ↓［Ｍ］，输入用于建造建筑物的场地边界的样本点坐标，并将样本点按序连接起来形成场地多边形；构建虚拟三维建筑模型，虚拟三维建筑模型的底面边界不超出场地多边形的边界；　３）对视频的每一帧图像做如下处理：在视频的第ｉ帧图像Ｉ↓［ｐｉｃ（ｉ）］上，把所有显示遮挡住场地的景物的像素提取出来，生成一帧遮挡物图像Ｉ↓［ｆｒｏｎｔ（ｉ）］，在该帧图像上显示遮挡住场地的景物的像素的不透明度为１００％，其余像素的不透明度为０％；在第ｉ帧图像Ｉ↓［ｐｉｃ（ｉ）］上，设置所有显示遮挡住场地的景物的像素的不透明度为０％，其余像素的不透明度为１００％，复制生成背景图像Ｉ↓［ｓｉｔｅ（ｉ）］；遮挡物图像Ｉ↓［ｆｒｏｎｔ（ｉ）］、背景图像Ｉ↓［ｓｉｔｅ（ｉ）］的分辨率与第ｉ帧图像Ｉ↓［ｐｉｃ（ｉ）］的分辨率相同；　４）对视频的每一帧图像做如下处理：利用基于视频的摄像机跟踪技术，计算出摄像机在拍摄第ｉ帧图像Ｉ↓［ｐｉｃ（ｉ）］时刻的外部参数Ｔ↓［ｃａｍ（ｉ）］×Ｒ↓［ｃａｍ（ｉ）］和焦距ｆ↓［ｉ］，其中Ｒ↓［ｃａｍ（ｉ）］为旋转变换矩阵，Ｔ↓［ｃａｍ（ｉ）］为位移变换矩阵；在三维图形系统中，使用变换公式（Ｘ↓［ｃａｍ（ｉ）］，Ｙ↓［ｃａｍ（ｉ）］，Ｚ↓［ｃａｍ（ｉ）］，１）↑［Ｔ］＝Ｔ↓［ｃａｍ（ｉ）］×Ｒ↓［ｃａｍ（ｉ）］×（Ｘ↓［Ｍ］，Ｙ↓［Ｍ］，Ｚ↓［Ｍ...

【技术特征摘要】

【专利技术属性】
技术研发人员：华炜，鲍虎军，秦学英，何凤明，
申请(专利权)人：杭州镭星科技有限公司，
类型：发明
国别省市：86[中国|杭州]