一种立体图像生成方法及装置制造方法及图纸

本发明专利技术实施例公开了一种立体图像生成方法及装置，方法包括：根据虚拟三维场景和虚拟相机阵列，确定稀疏视点的图像；根据稀疏视点的图像，确定稠密视点的图像；将稠密视点的图像转化为稠密视点的彩色图像；重排稠密视点的彩色图像，得到立体图像。本发明专利技术实施例采用混合渲染的方式，即首先利用基于几何的渲染方法，将虚拟三维场景和虚拟相机阵列输入几何渲染管线中，得到稀疏视点的图像；再利用基于图像的渲染方法将所述稀疏视点的图像输入运行在显卡中的多线程程序中，得到稠密视点的图像，克服了传统超多视点立体图像的渲染算法存在可视角度小，渲染时间长，显示质量差，只考虑理想散射介质，故渲染出来的图像存在光照效果失真的现象等问题。

A stereo image generation method and device

【技术实现步骤摘要】
一种立体图像生成方法及装置
本专利技术涉及计算机
，具体涉及一种立体图像生成方法及装置。
技术介绍
随着三维显示技术的蓬勃发展，显示效果越来越好，可视化角度越来越大，视点数目越来越密集。传统的渲染方法主要分为两大类：基于几何的渲染方法和基于图像渲染的方法。基于几何的渲染方法其输入数据为模型数据，纹理数据，法线数据等。最简单的基于几何的渲染方法为摄像机阵列生成法，即在虚拟空间中建立一系列的虚拟相机，然后逐个渲染得到单个的视点图像。随着视点数目的增多，渲染效率会严重下降。与摄像机阵列生成法相反的方法是逆向光线跟踪生成法，根据自由立体显示器的视点排布规律，生成光线与虚拟空间中的几何体进行碰撞检测，最佳得到无冗余的自由立体图像。虽然近些年来，实时光线跟踪技术快速发展，但是根据英伟达公司出版的图灵架构白皮书，在未来十年内在超大分辨率，超多视角的自由立体显示器上实现实时的光线跟踪方案是不可能的。除此之外，还有哈佛大学提出的MVR(MultiviewRendering，多视点渲染)技术，首先生成EPI(EpipolarPlaneImage，极限平面图像)图像然后再转化多视点。这个算法虽然有效的利用了多视点的相关性，提高了渲染效率，但它并不被现代渲染管线所支持，所以很难生成高质量图像。基于图像的渲染方法其输入数据为一系列的图像。最常见的渲染方法包括体渲染和光场渲染。体数据的自由立体实时渲染是光线投射法，其缺点也很明显，即碰撞检测消耗大量计算资源，无法处理大规模数据。光场渲染将消耗大量的存储资源，无法浏览大规模场景。然而，基于深度图像的立体图像生成方法是近年来的研究热点。单DIBR(DepthImageBasedRendering，基于深度图的图像绘制)可实现可视角度在10度以内的自由立体显示器实时渲染。多DIBR图像可以扩展可视角度，并提升渲染效率。但它们只有深度图像和彩色图像，并没有考虑光照问题。所以输出的渲染质量有时会很差。
技术实现思路
由于现有方法存在上述问题，本专利技术实施例提出一种立体图像生成方法及装置。第一方面，本专利技术实施例提出一种立体图像生成方法，包括：根据虚拟三维场景和虚拟相机阵列，确定稀疏视点的图像；根据所述稀疏视点的图像，确定稠密视点的图像；将所述稠密视点的图像转化为所述稠密视点的彩色图像；重排所述稠密视点的彩色图像，得到立体图像。可选地，所述虚拟相机阵列采用错切的排列方式。可选地，所述虚拟相机阵列中的虚拟相机的排列公式如下：其中，Mvn，Mpn分别是虚拟相机n的模型视图矩阵和投影矩阵，Mvc，MPC为中心相机的模型视图矩阵和投影矩阵，d代表相邻两个相机之间的距离，dh代表相机到零视差平面的距离，n代表相机的序号，N代表相机的数目。可选地，所述根据所述稀疏视点的图像，确定稠密视点的图像，包括：将所述稀疏视点的图像中的视点进行视点变换；若视点变换后产生空洞，则利用线性插值法填补空洞，以得到所述稠密视点的图像。可选地，所述将所述稠密视点的图像转化为所述稠密视点的彩色图像，包括：采用光照模型Blinn-phong将所述稠密视点的图像转化为所述稠密视点的彩色图像。可选地，所述采用光照模型Blinn-phong将所述稠密视点的图像转化为所述稠密视点的彩色图像的具体公式为：Itot＝Iamb+Idiff+Ispec其中，Idiff代表散射部分，Ispec代表高光部分，Iamb代表环境光照部分。可选地，所述重排所述稠密视点的彩色图像，得到立体图像，包括：通过以下公式重排所述稠密视点的彩色图像，得到立体图像，公式为：其中，(k，l)代表子像素编号，m代表微透镜放大率，pu代表节距，ph代表子像素宽度，Ntot代表总视点数目，α代表立体显示器的倾角。第二方面，本专利技术实施例还提出一种立体图像生成装置，包括：第一确定模块、第二确定模块、转化模块和重排模块；所述第一确定模块，用于根据虚拟三维场景和虚拟相机阵列，确定第一视点的图像；所述第二确定模块，用于根据所述第一视点的图像，确定第二视点的图像；所述转化模块，用于将所述第二视点的图像转化为所述第二视点的彩色图像；所述重排模块，用于重排所述第二视点的彩色图像，得到立体图像。可选地，所述虚拟相机阵列采用错切的排列方式。可选地，所述虚拟相机阵列中的虚拟相机的排列公式如下：其中，Mvn，Mpn分别是虚拟相机n的模型视图矩阵和投影矩阵，Mvc，MPC为中心相机的模型视图矩阵和投影矩阵，d代表相邻两个相机之间的距离，dh代表相机到零视差平面的距离，n代表相机的序号，N代表相机的数目。可选地，所述第二确定模块，具体用于：将所述稀疏视点的图像中的视点进行视点变换；若视点变换后产生空洞，则利用线性插值法填补空洞，以得到所述稠密视点的图像。可选地，所述转化模块，具体用于：采用光照模型Blinn-phong将所述稠密视点的图像转化为所述稠密视点的彩色图像。可选地，所述采用光照模型Blinn-phong将所述稠密视点的图像转化为所述稠密视点的彩色图像的具体公式为：Itot＝Iamb+Idiff+Ispec其中，Idiff代表散射部分，Ispec代表高光部分，Iamb代表环境光照部分。可选地，所述重排模块，具体用于：通过以下公式重排所述稠密视点的彩色图像，得到立体图像，公式为：其中，(k，l)代表子像素编号，m代表微透镜放大率，pu代表节距，ph代表子像素宽度，Ntot代表总视点数目，α代表立体显示器的倾角。第三方面，本专利技术实施例还提出一种电子设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述方法。第四方面，本专利技术实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述方法。由上述技术方案可知，本专利技术实施例采用混合渲染的方式，即首先利用基于几何的渲染方法，将虚拟三维场景和虚拟相机阵列输入几何渲染管线中，得到稀疏视点的图像；再利用基于图像的渲染方法将所述稀疏视点的图像输入运行在显卡中的多线程程序中，得到稠密视点的图像，克服了传统超多视点立体图像的渲染算法存在可视角度小，渲染时间长，显示质量差，只考虑理想散射介质，故渲染出来的图像存在光照效果失真的现象等问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的本文档来自技高网...

【技术保护点】
1.一种立体图像生成方法，其特征在于，包括：/n根据虚拟三维场景和虚拟相机阵列，确定稀疏视点的图像；/n根据所述稀疏视点的图像，确定稠密视点的图像；/n将所述稠密视点的图像转化为所述稠密视点的彩色图像；/n重排所述稠密视点的彩色图像，得到立体图像。/n

【技术特征摘要】
1.一种立体图像生成方法，其特征在于，包括：
根据虚拟三维场景和虚拟相机阵列，确定稀疏视点的图像；
根据所述稀疏视点的图像，确定稠密视点的图像；
将所述稠密视点的图像转化为所述稠密视点的彩色图像；
重排所述稠密视点的彩色图像，得到立体图像。


2.根据权利要求1所述的立体图像生成方法，其特征在于，所述虚拟相机阵列采用错切的排列方式。


3.根据权利要求2所述的立体图像生成方法，其特征在于，所述虚拟相机阵列中的虚拟相机的排列公式如下：






其中，Mvn，Mpn分别是虚拟相机n的模型视图矩阵和投影矩阵，Mvc，MPC为中心相机的模型视图矩阵和投影矩阵，d代表相邻两个相机之间的距离，dh代表相机到零视差平面的距离，n代表相机的序号，N代表相机的数目。


4.根据权利要求1所述的立体图像生成方法，其特征在于，所述根据所述稀疏视点的图像，确定稠密视点的图像，包括：
将所述稀疏视点的图像中的视点进行视点变换；
若视点变换后产生空洞，则利用线性插值法填补空洞，以得到所述稠密视点的图像。


5.根据权利要求1所述的立体图像生成方法，其特征在于，所述将所述稠密视点的图像转化为所述稠密视点的彩色图像，包括：
采用光照模型Blinn-phong将所述稠密视点的图像转化为所述稠密视点的彩色图像。


6.根据权利要求5所述的立体图像生成方法，其特征在于，所述采用光照模型Bl...

【专利技术属性】
技术研发人员：邢树军，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11