基于图像的复杂三维模型绘制方法技术

本发明专利技术提供一种基于图像的复杂三维模型绘制方法，在包围模型的球面上均匀选择顶点作为相机坐标位置，以球心为相机的目标点，获得模型在此采样视角下的彩色图像与深度图像。根据采样点坐标对球面进行三角划分，确定虚拟视角所在的三角形，取以三角形的顶点为采样点所对应的视角为参考视角，使用参考视角下的深度图像与彩色图像绘制虚拟视角下的模型：首先，利用参考视角的参数分别计算虚拟视角与三个参考视角中像素之间的映射关系；其次，以深度图像为参考，选择合适的参考视角像素或者背景像素绘制虚拟视角的图像；最后，对绘制得到的彩色图像进行优化。本发明专利技术能够满足实时性的要求，同时得到十分逼真的绘制效果。

【技术实现步骤摘要】
基于图像的复杂三维模型绘制方法
本专利技术涉及一种基于图像的真实感绘制方法，主要用于复杂模型在虚拟视角下的真实感绘制。
技术介绍
传统的图形学当中真实感绘制的一般过程是：用户输入物体的几何特性并进行几何建模，然后根据模型所在环境的光照信息，模型的光滑度、透明度、反射率折射率等物理属性，以及表面纹理等，通过空间变换、透视变换等，计算得到物体在特定视角下的每个像素的颜色值。然而，这种方法的建模过程复杂，计算和显示的开销大，时间复杂度与模型复杂度耦合性高，不适用于复杂模型的绘制，并且难以得到逼真的绘制结果。基于图像的绘制方法（Image-BasedRendering.IBR）以图像作为基本的输入，在不进行几何模型重建的基础上合成虚拟视角下的图像，在视频游戏、虚拟旅行、电子商务、工业检测等领域有着非常广阔的应用前景，因此也是三维图形逼真绘制领域的一个研究热点。本专利技术所提出的基于图像的复杂三维模型绘制方法是一种IBR方法。基于图像绘制的主要方法如下：1.几何和图像混合建模和绘制方法(HybridGeometryandImage-basedApproach)PaulE.Debevec(参考文献1-PaulE.Debevec,camilloj.Taylor,Jitendramake.“Modelingandrenderingarchitecturefromphotographs:ahybridgeometryandimaged-basedapproach”.InSIGGRAPH96Processingofthe23rdannualconferenceoncomputergraphicsandinteractivetechniques.Page11-20)提出的几何和图像混合建模和绘制方法的主要步骤如下：a.拍摄场景照片，交互指定模型的边缘；b.生成模型的粗糙模型；c.利用基于模型的立体视觉算法细化模型；d.利用基于视点的纹理映射合成新视图。此过程的实例如图4所示。这种方法的优点是简单快捷，可以通过拍摄少量的照片得到的新视图；缺点此过程还需要人为的指定模型的轮廓，只能适用于普通建筑物等外形规整的景物，不适用于复杂模型。2.视图插值、变换的方法(ViewInterpolation、Transaction)视图插值、变换方法直接利用参考点的照片生成虚拟视角下的图像。视图插值、变换方法（参考文献2-GeethaRamachandran,MarkusRupp.“MultiViewSynthesisFromStereoViews”.InIWSSIP2012,11-13April2012,PP.341-PP.345.参考文献3-AnkitK.Jain,LamC.Tran,RamsinKhoshabeh,TruongQ.Nguyen,EfficientStereo-to-MultiviewSynthesis,ICASSP2011.PP.889-PP.892.参考文献4-S.C.Chan,A.C.Bovik,H.R.Sheikh,andE.P.SimomCelli,“Image-BasedRenderingandsynthesis”,IEEESignalProcess,Mag,vol.24,no.6,PP.22-PP.33）的输入是两个视角下的规整化的彩色图像与深度图像，输出的是位于两个参考点所决定的直线上(基线，Baseline)的虚拟视角下的图像，具体的过程如下：a.立体匹配，生成最初的合成视角图像；b.优化处理，根据边缘检测找到可能的空洞点；c.填充生成合成视角所对应的深度图；d.图像重建，根据深度图像填充彩色图像空洞。此方法的实例如图5所示。这种方法的优点是过程简单，生成图像的信噪峰值比高(信噪峰值比(PSNR)，表征处理后的图像与处理前图像的相似度。信号峰值比越高，说明合成图像的真实度越强)，并且能够出色的填补空洞。但是此方法只能产生位于基线上的虚拟视角的图像，而且对图片进行规整化操作会引入投影误差，只能生成近似的中间图像。
技术实现思路
现有的三维模型真实感绘制方法存在以下缺点：基于几何的方法存在模型获取与重建过程复杂，绘制过程受模型复杂度、模型光照属性影响大，绘制效果真实感不强，不适用于复杂模型的绘制；基于图像的绘制方法，合成视角被局限在两个参考视角之间的基线上，无法生成物体在任意视角下的图像。针对现有技术的缺点，本专利技术提出基于图像的复杂三维模型绘制方法，其包含如下过程：（1）虚拟视角的标定：根据采样点相机位置坐标对包围模型的球面进行三角划分，确定虚拟视角所在的三角面片，取此三角面片的三个顶点所对应的视角为参考视角，虚拟视角可以被表示成参考视角的线性组合；（2）计算与绘制:根据虚拟视角、参考视角的位置和相机参数，计算三个参考视角图像中每个像素的坐标与虚拟视角下的像素坐标之间的映射关系；根据映射关系，将参考视角下彩色图像中的每一个像素映射到虚拟视角下的图像中，计算该像素在虚拟视角下图像中的坐标和深度值，对于有多个参考视角的像素映射到同一位置的情况，取深度值小的像素值；同时标记虚拟视角下图像中所有已被参考视角像素填充的像素，构造一幅反映从参考视角到虚拟视角映射情况的灰度图；（3）图像的优化：对于虚拟视角下图像中的空洞，即经过（2）计算没有参考图像映射到该位置的像素，从反映参考视角到虚拟视角映射情况的灰度图中提取边缘轮廓信息，沿着边缘轮廓对生成的彩色图像进行中值滤波，用邻居像素的值填补空洞；同时，通过中值滤波过滤掉噪声像素。其中，通过步骤（1）实现对虚拟视角的标定，确定用于虚拟视角绘制的参考视角，通过步骤（2）建立参考视角下的像素到虚拟视角下像素之间的映射关系，实现对虚拟视角下的复杂模型绘制。其中，在步骤(2)与步骤(3)中使用CUDA(ComputeUnifiedDeviceArchitecture，统一计算设备架构)并行计算，加速虚拟视角下的绘制与优化速度，达到实时交互的要求。本专利技术的原理在于：本专利技术提供一种基于图像的复杂三维模型绘制方法，在包围模型的球面上均匀选择顶点作为相机坐标位置，以球心为相机的目标点，获得模型在此采样视角下的彩色图像与深度图像。根据采样点坐标对球面进行三角划分，确定虚拟视角所在的三角形，取以三角形的顶点为采样点所对应的视角为参考视角，使用参考视角下的深度图像与彩色图像绘制虚拟视角下的模型：首先，利用参考视角的参数分别计算虚拟视角与三个参考视角中像素之间的映射关系；其次，以深度图像为参考，选择合适的参考视角像素或者背景像素绘制虚拟视角的图像；最后，对绘制得到的彩色图像进行优化。在整个绘制过程中使用了CUDA加速，实现了对图像的并行快速处理。本专利技术能够满足实时性的要求，同时得到十分逼真的绘制效果。本专利技术与现有的技术相比，优点如下：(1)本专利技术的虚拟视角可以在空间当中任意的移动。利用三个参考点对虚拟视角下的模型进行绘制，这样既可以保证虚拟视角能够在水平与竖直两个维度上自由的移动，又最大限度的降低算法的输入量与存储开销；(2)本专利技术提出的绘制方法非常稳定，算法的时间复杂度与场景的复杂度耦合性低，尤其适用于复杂模型的绘制。附图说明图1为本专利技术所采用的流程图；图2为本算法的原理示意图；图3当虚拟视角在某本文档来自技高网...

【技术保护点】
基于图像的复杂三维模型绘制方法，其特征包含如下过程：（1）虚拟视角的标定：根据采样点相机位置坐标对包围模型的球面进行三角划分，确定虚拟视角所在的三角面片，取此三角面片的三个顶点所对应的视角为参考视角，虚拟视角可以被表示成参考视角的线性组合；（2）计算与绘制:根据虚拟视角、参考视角的位置和相机参数，计算三个参考视角图像中每个像素的坐标与虚拟视角下的像素坐标之间的映射关系；根据映射关系，将参考视角下彩色图像中的每一个像素映射到虚拟视角下的图像中，计算该像素在虚拟视角下图像中的坐标和深度值，对于有多个参考视角的像素映射到同一位置的情况，取深度值小的像素值；同时标记虚拟视角下图像中所有已被参考视角像素填充的像素，构造一幅反映从参考视角到虚拟视角映射情况的灰度图；（3）图像的优化：对于虚拟视角下图像中的空洞，即经过（2）计算没有参考图像映射到该位置的像素，从反映参考视角到虚拟视角映射情况的灰度图中提取边缘轮廓信息，沿着边缘轮廓对生成的彩色图像进行中值滤波，用邻居像素的值填补空洞；同时，通过中值滤波过滤掉噪声像素。

【技术特征摘要】
1.基于图像的复杂三维模型绘制方法，其特征包含如下过程：(1)虚拟视角的标定：根据采样点相机位置坐标对包围模型的球面进行三角划分，确定虚拟视角所在的三角面片，取此三角面片的三个顶点所对应的视角为参考视角，虚拟视角可以被表示成参考视角的线性组合；以不同采样点的深度图像、彩色图像与采样点相机参数表示物体的三维模型，三维模型M用一个二元组<K,V>表示，其中K是一单纯复形，表示了采样点的连接关系；V表示采样点的集合，V＝(vi|i＝1,2,3...|V||)，|V|表示采样点的个数；Vi＝(ci,di,pi)表示第i个采样点，ci和di分别表示第i个采样点彩色图像和深度图像,pi表示了第i个采样点的相机参数，pi＝(pci,poi,aspi,fovi,zni,zfi)，pci表示相机位置,poi表示相机目标位置，aspi表示相机视野的纵横比，fovi表示相机的视野的广度，zni、zfi分别表示相机有效深度的最小值与最大值；在绘制虚拟视角下的模型之前，需要求出与虚拟视角最近的三个采样点，即进行虚拟视角的标定，因为所有的采样点在包围物体的球面上是均匀分布的，在球面按照采样点坐标进行三角划分后，只需要确定虚拟视角所在的三角面片，则以此三角面片三个顶点就是所需的最近采样点，这三个最近采样点被称为虚拟视角的参考点，<v1,v2,v3>＝f(v)(1)其中，v是虚拟视角，<v1,v2,v3>是虚拟视角所在的三角面片，v1,v2,v3是v的参考点，通过求解从虚拟视角相机位置指向球心的向量与逼近包围物体球面的多面体的交点，根据交点所在的三角面片确定三个最近参考点；虚拟视角可以由参考点线性合成，且满足：其中，分别代表由虚拟视角坐标点和三个参考点坐标指向球心的向量；三个参考点的坐标与球心构成四面体结构，虚拟视角的坐标位于参考点坐标所围成的三角面...

【专利技术属性】
技术研发人员：向开兵，郝爱民，吴伟和，李帅，王德志，
申请(专利权)人：深圳市易尚展示股份有限公司，北京航空航天大学，
类型：发明
国别省市：