自由视点电视中的虚拟视点合成方法技术

本发明专利技术提出一种新的基于深度图渲染技术的虚拟视点合成的方法。首先，通过3D图像变换获得虚拟视点深度图像，对该深度图像进行优化处理；然后根据优化处理得到的深度图进行逆向3D图像变换，获得虚拟视点彩色图像；最后通过基于深度信息的图像修复算法进行空洞填充。通过逆向3D图像变换，可以避免虚拟视点彩色图像上出现裂纹，提高虚拟视点图像的质量；另外，针对虚拟视点图像中的非遮挡空洞区域，采用本发明专利技术提出的图像修复的方法进行填充，可以保证渲染出的图像产生最佳的显示效果。

【技术实现步骤摘要】

本专利技术涉及一种基于深度图像的虚拟视点合成方法，属于视频、多媒体信号处理

技术介绍
继彩色电视、高清电视之后，三维立体电视成为多媒体领域的研究热点。它的最大的优势主要体现在，它可以为观看者提供一种生动逼真的视觉体验。而自由视点电视是立体电视更进一步的产物，凭借强大的互动性，它可以让观看者自由选择观看角度，并且可以随着观看者位置的变化进行流畅的视点转换，从而使观看者达到身临其境的感觉。自由视点电视需要多个视频同时在播放端播放。假设多个视频源同时从视频采集 端发出，这无疑对网络负荷、编解码效率都提出了很大的挑战；另外，高额的视频采集成本也大大降低了自由视点视频的实用性与可行性。因此，虚拟视点合成成为自由视点电视中的关键技术。该技术只要求在视频采集端采集若干视频，通过视点合成在播放端产生其他视点的视频，从而大大地降低网络负荷，节省成本。其中，基于深度图像的视点合成是一种典型的方法。它可以利用一路视频的彩色图像与深度图像，合成任意视点的视频信息。在传统的基于深度图像的视点合成方法中，主要分为三个基本步骤参考视点深度图像的平滑处理、通过3D图像变换获得虚拟视点深度图像与彩色图像、空洞填充。这类方法得到的虚拟视点彩色图像中会出现一些小的裂纹和大片的空洞区域。这两类缺陷即便经过图像后处理，比如邻域赋值、线性插值，也会让图像留下被处理过的痕迹，影响视觉效果O
技术实现思路
为解决传统的基于深度图像的视点合成方法中，图像后处理所带来的不连贯的视觉效果，本专利技术提出一种新的基于深度图的视点合成方法。首先，通过3D图像变换获得虚拟视点深度图像，对该深度图像进行优化处理；然后根据优化处理得到的深度图进行逆向3D图像变换，获得虚拟视点彩色图像；最后通过加入深度信息的基于样本的图像修复算法进行空洞填充。本方法中，通过逆向3D图像变换，可以避免虚拟视点彩色图像上出现裂纹，提高虚拟视点图像的质量；另外，针对虚拟视点图像中的非遮挡空洞区域，本专利技术对传统的基于样本的图像修复算法中优先级的计算以及搜索匹配块的匹配原则进行改进，提高了空洞修复的准确性，从而使渲染出的图像产生最佳的显示效果。本专利技术采用的技术方案为—种基于深度图的视点合成方法，其具体步骤如下(1)3D图像变换根据摄像机投影原理，通过3D图像变换，将参考视点的深度图投影到虚拟视点上，获得虚拟视点深度图像；(2)虚拟视点深度图像的优化处理通过形态学图像处理，优化虚拟视点深度图像；(3)逆向3D图像变换根据优化后的虚拟视点深度图像，进行逆向3D图像变换，对于虚拟视点图像中的所有像素，找到其在参考视点图像中的对应点，并进行像素彩色信息的赋值，从而获得虚拟视点彩色图像；(4)空洞填充利用图像修复技术对上述步骤得到的虚拟视点彩色图像中的空洞进行填充。所述步骤(I)的具体步骤为a.根据参考视点的深度信息，实现从参考视点平面到三维空间，再从三维空间到虚拟视点平面的坐标变换；b.根据坐标变换的结果，将参考视点深度图中的像素点投影到虚拟视点平面内，从而获得虚拟视点深度图像。所述步骤(2)的具体实现步骤如下a.对虚拟视点深度图像进行一次膨胀处理，消除深度图像中的裂纹；b.再对膨胀处理后的深度图像进行两次腐蚀处理，消除由膨胀处理带来的边缘像素的不准确性。所述步骤(3)的具体实现步骤如下a.根据步骤(2)中得到的虚拟视点深度图像，实现从虚拟视点平面到三维空间，再从三维空间到参考视点平面的坐标变换；b.根据坐标变换结果，将参考视点平面内像素的彩色信息复制到虚拟视点平面内，从而获取虚拟视点彩色图像。所述步骤(4)的具体实现步骤如下a.检测空洞区域的边缘，计算边缘上各像素的优先级，决定修复顺序；b.以边缘像素为中心，获取特定尺寸的样本块，以样本块为单位，根据其中的颜色信息和深度信息，从源图像中搜索最佳匹配块；c.找到最佳匹配块之后，将最佳匹配块中的像素信息复制到样本块中的空洞处，实现填充。所述步骤(4)的子步骤a中，计算边缘上各像素修复优先级的公式为本文档来自技高网...

【技术保护点】
一种基于深度图的视点合成方法，其具体步骤如下：（1）3D图像变换：根据摄像机投影原理，通过3D图像变换，将参考视点的深度图投影到虚拟视点上，获得虚拟视点深度图像；（2）虚拟视点深度图像的优化处理：通过形态学图像处理，优化虚拟视点深度图像；（3）逆向3D图像变换：根据优化后的虚拟视点深度图像，进行逆向3D图像变换，对于虚拟视点图像中的所有像素，找到其在参考视点图像中的对应点，并进行像素彩色信息的赋值，从而获得虚拟视点彩色图像；（4）空洞填充：利用图像修复技术对上述步骤得到的虚拟视点彩色图像中的空洞进行填充。

【技术特征摘要】
1.一种基于深度图的视点合成方法，其具体步骤如下 (1)3D图像变换根据摄像机投影原理，通过3D图像变换，将参考视点的深度图投影到虚拟视点上，获得虚拟视点深度图像； (2)虚拟视点深度图像的优化处理通过形态学图像处理，优化虚拟视点深度图像； (3)逆向3D图像变换根据优化后的虚拟视点深度图像，进行逆向3D图像变换，对于虚拟视点图像中的所有像素，找到其在参考视点图像中的对应点，并进行像素彩色信息的赋值，从而获得虚拟视点彩色图像； (4)空洞填充利用图像修复技术对上述步骤得到的虚拟视点彩色图像中的空洞进行填充。2.根据权利要求1所述的基于深度图的视点合成方法，其特征在于，所述步骤(I)的具体步骤为 a.根据参考视点的深度信息，实现从参考视点平面到三维空间，再从三维空间到虚拟视点平面的坐标变换； b.根据坐标变换的结果，将参考视点深度图中的像素点投影到虚拟视点平面内，从而获得虚拟视点深度图像。3.根据权利要求1所述的基于深度图的视点合成方法，其特征在于，所述步骤(2)的具体实现步骤如下 a.对虚拟视点深度图像进行一次膨胀处理，消除深度图像中的裂纹； b.再对膨胀处理后...

【专利技术属性】
技术研发人员：刘琚，成聪，元辉，杨晓辉，
申请(专利权)人：山东大学，
类型：发明
国别省市：