一种基于分层处理虚拟视点合成方法技术

本发明专利技术公开了一种基于分层处理虚拟视点合成方法，首先分别左右视点的深度图进行深度修正和色彩校正的预处理，然后在采用分层3D Warping生成虚拟视点的图像，根据分层信息融合由DIBR生成的左右两幅参考视点的彩色图像和深度图像，再对融合后的深度图像进行滤波处理，然后根据该深度图对虚拟视点图像进行修复，消除图像中的空洞，最后进行图像插值并且后处理，移除图像中的鬼影现象，最终生成高质量的新视点。本方法能够根据任意两个视点快速合成中间视点，并且新合成视点的图片质量较高。

【技术实现步骤摘要】

本专利技术是属于立体显示系统中虚拟点图像合成领域，特别涉及一种面向立体显示 系统中分层虚拟视点图像合成方法。
技术介绍
随着高清显示技术、成像技术的不断成熟以，人们对多视点立体观看的要求会显 得更加迫切。这使得电视技术面临着一场从二维视频到三维视频转换的新的技术变革，三 维电视（Three-DimensionalTelevision，3DTV)，以其再现三维场景的临境效果将给人以 全新的观看感受，是继高清电视之后的电视领域的又一全新发展方向。作为立体电视的重 要分支，自由视点立体电视（FreeViewpointTelevision，FTV)通过同时显示多个立体图 像对，在不借助任何辅助视具的条件下，不仅能够满足多用户对场景深度感知的需求，还 能够通过提供小范围的连续视差场以支持用户头部的运动。FTV系统中的一项关键技术是 虚拟视点图像的合成。该技术通过在显示端快速有效地绘制虚拟视点图像，为整个FTV系 统节省大量的带宽和存储空间。因此研宄虚拟视点的合成对FTV系统的发展和应用有着非 常重要的意义。 目前国内在关于绪论视点合成中大都采用基于深度图的虚拟视点绘制0)印th ImageBasedRendering,DIBR)，尽管DIBR技术的编码效率高，能够迅速生成任一位置的虚 拟视点，并且复杂度较低，但是考虑到深度图的不确定性以及视点改变所造成的物体间遮 挡关系变化等因素的影响，单纯地通过DIBR技术绘制的虚拟视点图像质量并不理想。如何 解决重叠问题、空洞问题、虚假边缘问题是DIBR绘制技术研宄的重点也是难点。
技术实现思路
本专利技术主要解决的技术问题是提供，这种方 法能够解决虚拟视点合成中的重叠问题、空洞问题、虚假边缘问题。 为解决上述技术问题，本专利技术采用的一个技术方案是：提供一种基于分层处理虚 拟视点合成方法，具体步骤包括： (100)、分别对左右视点的深度图进行深度修正和彩色图进行色彩校正的预处理；能保 证所获取的场景深度信息和彩色信息的正确性； (200)、采用分层3DWarping生成虚拟视点的图像； (300)、根据分层信息融合由DIBR生成的左右两幅参考视点的彩色图像和深度图像， 并对融合后的深度图像进行滤波处理； (400)、采用基于深度图的图像修复方法对虚拟视点图像进行修复，消除图像中的空 洞； (500)、进行图像插值并且后处理。 在本专利技术一个较佳实施例中，所述步骤（100)具体为对于边缘深度错误修正，采 用图像膨胀和腐蚀等形态学处理方式来修正物体边缘上错误的深度信息；对于背景深度错 误和前景深度缺失，通过比对纹理图像和深度图像前景区域和背景区域的不同提取出深度 错误区域，再根据正确的深度信息，对其进行修正。在本专利技术一个较佳实施例中，所述步骤 (200)具体包括： (210)、边缘检测；检测出边缘区域。通过边缘检测能够找到新生成中间视点图像的前 景与背景的边缘； (220)、边缘膨胀处理和边缘区域划分； (230)、对分层后的各个区域分别采用3DWarping生成虚拟视点的对应的图像区域。 在本专利技术一个较佳实施例中，所述步骤（210)中采用Canny边缘检测算法检测出 边缘区域。 在本专利技术一个较佳实施例中，所述步骤（220)具体为通过边缘膨胀处理将图像边 缘深度信息不稳定的区域划分到边缘区域中，提取出过渡区域，并将剩下的图像前景区域 与背景区域分别提取出来。 在本专利技术一个较佳实施例中，所述步骤（230)中通过3DWarping将左右视点分别 投影到了中间视点上生成新视点的图像。 在本专利技术一个较佳实施例中，所述步骤（300)具体为左右视点的纹理图像分别以 分层的形式映射到中间视点位置，并且采用中值滤波处理消除在各层映射的过程中会出现 细小空洞和错误映射的细线。 在本专利技术一个较佳实施例中，所述步骤（400)具体为对融合后的深度图进行滤波， 利用深度图区分虚拟视点图像中的前景和背景，根据前景与背景的关系来选择图像周围的 像素来填充图像中的空洞。 在本专利技术一个较佳实施例中，所述步骤（500)中，将图像修复后的虚拟视点图像转 换成灰度图像，并利用Canny边缘检测算法找出图像的边缘，当一个像素将与其邻近像素 的之间相差大于某一阈值并且不是边缘点，用其四邻域像素加权得到该点像素值。 本专利技术的有益效果是： 1)本专利技术给出的，通过采用图像分层和过采样的DIBR技术在消除细小空洞和虚假边缘的同时，保护了前景物体边缘的平滑性。 2)本专利技术采用分层处理技术来生成虚拟视点巧妙的解决了在虚拟视点合成中的 重叠问题、空洞问题以及虚假边缘问题。 3)本专利技术与常用的图像修复算法相比，有较高的绘制效率。 本专利技术基于分层处理虚拟视点合成方法适用于立体显示中的虚拟视点合成，解决 了在虚拟视点合成中的重叠问题、空洞问题以及虚假边缘问题。【附图说明】 图1是本专利技术基于分层处理虚拟视点合成方法的流程图。【具体实施方式】 下面结合附图对本专利技术的较佳实施例进行详细阐述，以使本专利技术的优点和特征能 更易于被本领域技术人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。 请参阅图1，本专利技术实施例包括： ，具体步骤是： 1)分别对左右视点的深度图进行深度修正和彩色图进行色彩校正的预处理。 1. 1)分别对左右视点的深度图进行深度修正的预处理。 对于边缘深度错误修正，采用图像膨胀和腐蚀等形态学处理方式来修正物体边缘 上错误的深度信息。 对于背景深度错误和前景深度缺失，通过比对纹理图像和深度图像前景区域和背 景区域的不同提取出深度错误区域。再根据正确的深度信息，对其进行修正。在深度图修 正的过程中，首先修正背景深度错误，并在此基础上前景深度缺失进行修正。 1. 2)分别对左右视点的彩色图进行色彩校正的预处理。 对左右视点的彩色图进行SURF特征点匹配，得到匹配点对集合。 通过公式【主权项】1. ，其特征在于，具体步骤包括： (100)、分别对左右视点的深度图进行深度修正和彩色图进行色彩校正的预处理； (200)、采用分层3D Warping生成虚拟视点的图像； (300)、根据分层信息融合由DIBR生成的左右两幅参考视点的彩色图像和深度图像， 并对融合后的深度图像进行滤波处理； (400)、采用基于深度图的图像修复方法对虚拟视点图像进行修复，消除图像中的空 洞； (500)、进行图像插值并且后处理。2. 根据权利要求书1所述的基于分层处理虚拟视点合成方法，其特征在于，所述步骤 (100)具体为对于边缘深度错误修正，采用图像膨胀和腐蚀等形态学处理方式来修正物体 边缘上错误的深度信息；对于背景深度错误和前景深度缺失，通过比对纹理图像和深度图 像前景区域和背景区域的不同提取出深度错误区域，再根据正确的深度信息，对其进行修 正。3. 根据权利要求书1所述的基于分层处理虚拟视点合成方法，其特征在于，所述步骤 (200)具体包括： (210)、边缘检测； (220)、边缘膨胀处理和边缘区域划分； (230)、对分层后的各个区域分别采用3D Warping生成虚拟视点的对应的图像区域。4. 根据权利要求书3的基于分层处理虚拟视点合成方法，其特征在于，所述步骤（210) 中采用Canny边缘检测算法检测出边缘区域。5本文档来自技高网...

【技术保护点】
一种基于分层处理虚拟视点合成方法，其特征在于，具体步骤包括：（100）、分别对左右视点的深度图进行深度修正和彩色图进行色彩校正的预处理；（200）、采用分层3D Warping生成虚拟视点的图像；（300）、根据分层信息融合由DIBR生成的左右两幅参考视点的彩色图像和深度图像，并对融合后的深度图像进行滤波处理；（400）、采用基于深度图的图像修复方法对虚拟视点图像进行修复，消除图像中的空洞；（500）、进行图像插值并且后处理。

【技术特征摘要】

【专利技术属性】
技术研发人员：姚莉，梅宁，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32