一种显著度驱动的深度图像压缩方法技术

本发明专利技术是一种显著度驱动的深度图像压缩方法，首先对三维网格模型的每一个顶点计算网格显著度值，并保存计算的显著度值到顶点属性；其次根据每一个顶点的显著度值，渲染到纹理生成一张二维的网格显著度图；然后利用渲染的二维网格显著度图指导并行Poisson Disk Sampling生成随机像素采样点；最后融合通过拉普拉斯边缘提取出来的深度不连续边缘构建生成深度图像的稀疏表示。在重构阶段，本发明专利技术通过多尺度双波滤波上下采样的方式进行边缘扩散恢复原始深度图像。本发明专利技术的特点是提出了一种针对Z-Buffer获取深度值的深度图像的压缩方法，通过融合随机像素采样点和深度不连续边缘构建深度图像的稀疏表示以达到压缩的目的，并利用多尺度双边滤波上下采样的方式进行边缘扩散恢复原始深度图像。

【技术实现步骤摘要】

本专利技术属于计算机图形图像领域。
技术介绍
Depth Image Based Rendering(DIBR)技术已经被广泛应用，包括基于图像的远 程绘制系统，基于图像的交互式三维漫游，三维视频游戏，3DTV和FTV。这些应用都是利用 原始视点下的深度图像通过三维图像变换到相邻的虚拟视点以提供三维沉浸视觉体验。为 了减少网络传输带宽或存储量，大量的深度图像和颜色图像都需要压缩。颜色图像的压缩 算法已经相当成熟，并且存在国际标准（JPEG-2000和H. 264)。但是，深度图像的压缩算法 仍然处于初步阶段。 深度图像的获取来源分为三类：第一类是通过渲染虚拟场景且从Z-Buffer中获 取高精度浮点深度值；第二类是通过深度相机从真实场景中捕获深度值；第三类是通过双 目视觉匹配算法计算视差值估计深度图像。本专利技术的压缩对象为第一类方法获取的深度图 像。 目前深度图像的压缩算法可以分为五类：基于频域变换的深度图像压缩编码方 法、基于预测的帧内及帧间的块匹配方法、基于分段线性函数逼近拟合的方法、基于规则网 格的深度表示方法和基于采样的深度重构方法。这些方法在对深度图像进行压缩时都只是 利用二维图像域的信息，没有考虑三维几何信息。本专利技术结合三维网格显著度和二维深度 不连续边缘的信息压缩原始深度图像，最终保留深度图像在网格显著度区域的精度和提高 DIBR的绘制效果。
技术实现思路
本专利技术的目的：针对Z-Buffer中获取的深度图像的压缩和解压缩问题，研究一种 显著度驱动的深度图像压缩方法，有效地融合三维网格几何信息和二维深度不连续边缘信 息以构建深度图像的稀疏表示以达到压缩的目的，从而在多尺度上下采样重构深度时保留 了网格显著度区域的精度，提高了 DIBR的绘制效果。 本专利技术提出的显著度驱动的深度图像压缩方法，其主要步骤如下： 步骤（1)、针对三维网格模型的每一个顶点利用多尺度融合高斯平均曲率计算该 顶点的网格显著值； 步骤（2)、渲染步骤（1)计算的网格显著度值到一张二维的网格显著度图，且利 用植染的二维网格显著度图指导并行Poisson Disk Sampling生成随机像素采样点；融合 深度不连续边缘和生成的随机像素采样点构建生成深度图像的稀疏表示以达到压缩的目 的； 步骤（3)、利用多尺度双边滤波上下采样的方式对步骤（2)的深度图像稀疏表示 进行边缘扩散恢复原始深度图像。 本专利技术与现有技术相比的优势： 本专利技术通过融合三维网格显著度和二维深度不连续边缘信息构建深度图像的稀 疏表示以压缩原始深度图像，在重构阶段，本专利技术通过多尺度上下采样边缘扩散的方法恢 复深度图像。本专利技术相比于传统的边缘扩散方法，提高了网格显著度区域的重构精度，增加 了 DIBR绘制效果。本专利技术对于不同的模型平均的压缩率小于15%，并且在相同的压缩率下 比边缘扩散的方法在DIBR绘制质量上高0. 2dB。【附图说明】 图1为本专利技术的基于显著度驱动的深度图像压缩方法的整体过程示意图； 图2为本专利技术的深度图像稀疏表不不意图； 图3为上下采样重构深度图像过程示意图。【具体实施方式】 下面结合附图与实例对本专利技术作进一步详细描述： 本专利技术实施过程包括三个主要步骤：网格显著度计算、深度图像的稀疏表示和深 度重构。图1展示了本专利技术的整体过程示意图。 步骤一：网格显著度计算： 对于三维网格的每一个顶点V，定义ζ (V)为网格的在该顶点的平均曲率； Ν(ν, σ )是顶点ν的欧氏距离为σ的领域顶点集合，且Ν(ν, σ ) = {x I I x-v I I〈 σ }，X是一 个网格顶点。因此，GU (ν)，〇)定义了顶点ν在尺度〇下的高斯权重平均曲率，其计算 公式如下： 通过计算顶点ν在两个不同尺度下的绝对差，获取该顶点的网格显著度ξ (V)，其 计算公式如下： ξ (v) = IG ( ζ (ν), σ ) -G ( ζ (ν), 2 σ 因此，顶点ν的多尺度网格显著度ξ Jv)的计算公式如下： ξ i (v) = IG ( ζ (ν), σ ;) -G ( ζ (ν), 2 σ 其中〇 ;是在尺度i下的高斯滤波标准方差σ {2ε，3ε，4ε，5ε，6ε}，ε取 值为模型包围盒对角线长度的〇. 3%。最后，通过融合顶点ν五个尺度下的网格显著度得到 最终的网格显著度值《=Σ在(V)。 i 步骤二：深度图像的稀疏表示： 第一阶段通过渲染步骤一计算的网格显著度值获取网格显著度区域（图2)，其灰 色部分设为显著度区域D，黑色部分为非显著度区域，其中显著度区域的阈值设为0. 3。 第二阶段通过并行Poisson Disk Sampling指导生成随机像素样本Srandcim，其中采 样半径在显著度区域和非显著度区域之间的值有阈值函数r(s)定义，其计算公式如下： 其中s表示当前处理的像素点，Γι是网格显著度区域采样半径，r2是非网格显著 度区域采样半径。 第三阶段通过拉普拉斯边缘提取获取原始深度图像的深度不连续边缘最后 融合第二阶段生成的随机像素样本S randJ^建深度图像的稀疏表示S spa_ (图2)，其计算公 式如下： Ssparse S ran(jom+Sedge 步骤三：深度重构： 深度重构的过程是通过多尺度上下采样的过程恢复原始深度（图3)。其中每一个 尺度下的图像分辨率为上一个尺度下图像分辨率的两倍，定义Width sralew和height 如图3所示，深度重构的过程分为两部分：下采样和上采样。第一行为稀疏深度表 示的下采样阶段，该过程自底向上递归下采样到尺度5。第二行和第三行表示上采样阶段， 该过程自顶向下插值每一个尺度下的稀疏深度图像，最终获得的尺度〇下的深度图像为本 步骤三恢复出来的深度图像。其中每一个上采样过程的平滑操作是双边滤波器D(U)，其公 式如下： N1表示当前像素的领域像素，Wv表示归一化因子，1表示空间滤波核，用高斯函数 定义且和当前尺度相关，&表示值域滤波，r表示指数放大倍数，公式如下： 〇 2表示归一化因子，其值设为视点远近平面距离长度的5%。此外，空域滤波核 匕在尺度3、4和5下的〇=1且~=3;在尺度0、1、2下的〇=2且~ = 5。【主权项】1. ，其特征在于该方法步骤如下： 步骤（1)、针对三维网格模型的每一个顶点利用多尺度融合高斯平均曲率计算该顶点 的网格显著值； 步骤（2)、渲染步骤（1)计算的网格显著度值到一张二维的网格显著度图，且利用渲染 的二维网格显著度图指导并行Poisson Disk Sampling生成随机像素采样点；融合深度不 连续边缘和生成的随机像素采样点构建生成深度图像的稀疏表示以达到压缩的目的； 步骤（3)、利用多尺度双边滤波上下采样的方式对步骤（2)的深度图像稀疏表示进行 边缘扩散恢复原始深度图像。【专利摘要】本专利技术是，首先对三维网格模型的每一个顶点计算网格显著度值，并保存计算的显著度值到顶点属性；其次根据每一个顶点的显著度值，渲染到纹理生成一张二维的网格显著度图；然后利用渲染的二维网格显著度图指导并行Poisson？Disk？Sampling生成随机像素采样点；最后融合通过拉普拉斯边缘提取出来的深度不连续边缘构建生成深度图像的稀疏表示。在重构阶段，本专利技术本文档来自技高网...

【技术保护点】
一种显著度驱动的深度图像压缩方法，其特征在于该方法步骤如下：步骤(1)、针对三维网格模型的每一个顶点利用多尺度融合高斯平均曲率计算该顶点的网格显著值；步骤(2)、渲染步骤(1)计算的网格显著度值到一张二维的网格显著度图，且利用渲染的二维网格显著度图指导并行Poisson Disk Sampling生成随机像素采样点；融合深度不连续边缘和生成的随机像素采样点构建生成深度图像的稀疏表示以达到压缩的目的；步骤(3)、利用多尺度双边滤波上下采样的方式对步骤(2)的深度图像稀疏表示进行边缘扩散恢复原始深度图像。

【技术特征摘要】

【专利技术属性】
技术研发人员：梁晓辉，顾敏杰，饶木明，王晓川，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11