一种基于对象和分形的双目立体视频压缩编解码方法技术

本发明专利技术提出了一种基于对象和分形的双目立体视频压缩与解压缩方法，在双目立体视频编码中以左通道为基本层，右通道为增强层，左通道采用单独的运动补偿预测方式（ＭＣＰ）进行编码。首先利用视频分割方法获得视频对象分割平面即Ａｌｐｈａ平面，对左目的起始帧采用块ＤＣＴ变换编码，对左目的非Ｉ帧进行块运动估计／补偿编码。然后利用Ａｌｐｈａ平面判别该图像块的区域属性，如果该块不在当前编码的视频对象区域内，则对该外部块不做处理；如果该块全部都在当前编码的视频对象区域内，在内部块的前一帧即左目视频的参考帧搜索窗中利用全搜索方法寻找最相似的匹配块，最后利用Ｈｕｆｆｍａｎ编码方法压缩迭代函数系统系数；如果该块的部分像素在当前编码的视频对象区域内，部分像素不在当前编码的视频对象区域内，则对该边界块需要单独处理。右通道采用ＭＣＰ加视差补偿预测方式（ＤＣＰ）进行编码，ＭＣＰ是与左目类似的处理，选择误差最小的作为预测结果。在进行ＤＣＰ编码方式时，又充分利用立体平行摄像结构中的偏振性和方向性。

【技术实现步骤摘要】

本专利技术属于视频压缩编码领域，涉及双目立体视频的压缩编码，特别涉及一种基 于对象和分形的视频压缩编码方法。在保证图像质量的前提下，一定程度上增大了压缩比， 而且大大加快了分形双目立体视频编码的速度，缩短了编码时间。
技术介绍
基于对象(Object-Based，简称0B)编码的概念最早由MPEG-4标准提出，使用 基于对象的视频压缩编码方法使得每一帧视频的前景对象和背景对象得以独立的进行编 码，可以进一步提高压缩比，同时在解码端可以实现一些新的功能，比如针对每一个视频 对象的独立的传输和解码、对象和背景的替换、基于对象的视频检索、特别是相对于标准 的编码方法，在对象的边界上可以获得更好的图像质量，因为物体的边界通常和图像中的 边缘相重合，它是编码困难的部分。MPEG-4提出了基于对象的视频编码技术标准，在视 频分析中，以视频对象为基本单位，每一个视频事件和场景都可以视为由视频中所有语义 对象的静态属性(如形状、色彩、纹理)及其动态属性(运动强度、方向、节奏)组合而 成的。在以对象为基本分析单位的视频分析方法，符合人类的思维方式和视觉特点，排除 了视频中不重要的部分对视频分析的干扰(参见Liang Zhang. Object-basedMethod of important video clips Extraction[J]. Journal of Beijing Information Science andTechnology University,2009,24(4) 83-86), ( # B Bo Huang, Yujian Huang. A ScalableObject-based Wavelet Coder[J]. Radio Communications Technology,2009, 35(1) :35_38),(参见Kassim Ashraf a, Zhao L F. Rate-scalable object-based wavelet codec with implicitshape coding[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2000,10 (7) :1068_1079)。基于对象的视频编码方法可以提高视频 压缩编码的性能并使其具有更多的灵活性。分形理论最初由Mandelbrot于上世纪70年代提出(参见Benoit B. Mandelbrot. TheFractal Geometry ofNature[Μ]. New York H. Freeman and Company,1982.)。分 形编码的数学基础是迭代函数系统(IFS)理论。Barnsley首先将分形编码用于交互 式图像压缩(参见 Michael F. Barns ley, Alan D. Sloan. A better way to compress image [J]. ByteMagazine, 1988,13 (1) :215_233.)。Jacqain 提出了 全自动的分形图像压 缩方法(参见 Arnaud E. Jacquin. A novel fractal blocking-coding technique for digital image[C]. IEEEInternational Conference on Acoustics，Speech and Signal Processing, 1990，4 2225~2228.)，(参见 Arnaud Ε.Jacquin. Fractal image coding a review[J]. Proceeding of the IEEE，1993，81 (10) :1451_1465·)，该方法釆用基于 图像分块的方式以局部的仿射变换代替全局的仿射变换。之后，Fisher利用四叉树改 进了这一方法(参见 Y. Fisher. Fractal ImageCompression [J]. Fractals，1994，2 (3) 347-361.)，(参 JAL Y. Fisher，Ε. W. Jacobs. Imagecompression :A study the iterated transform method[J]. Signal Processing，1992，29 (3)，251-263.)，(参见 Y.Fisher.Fractal Image Compression Theory and application to digital images[M]. New York Spring-Verlag, 1995，55-77.)，大大提高了编码效率，并成为目前分形图像编码中的主流方法。在此基础之上，一些学者和研究人员把分形图像压缩的方法应用到视频序列的 压缩上。Meiqing Wang等提出了综合基于数据立方体和基于帧的分形视频压缩方法(参 见 Meiqing Wang, Choi-Hong Lai. A hybrid fractal video compression method[J]. Computers Mathematics with Applications，2005，50 (3-4) :611_62L)，(参见 Meiqing Wang，ZhehuangHuang，Choi—Hong Lai. Matching search in fractal video compression and its parallelimplementation in distributed computing environments[J]. Applied Mathematical Modeling,2006,30(8) :677-687. ), ( # B Meiqing Wang, Rong Liu, Choi-Hong Lai. Adaptive partitionand hybrid method in fractal video compression[J]. Computers & Mathematics withApplications,2006，51(11) 1715-1726.) ο 其中最为经典和影响较大的参见(C.S.Kim，R.C.Kim，S. U. Lee. Fractal coding of video sequence using circular prediction mapping andnoncontractive interframe mapping[J]. IEEE Transactions on Image Processing，1998，7(4) 601-605.)。该方法采用类似于标准视频编码方法所采用的运动估计/补偿技术，该方法利 用了相邻帧之间的时间强相关性，对视频序列压缩取得了较好的效果。在CPM和NCIM中， 子块域中的每个图像块都由来自相邻帧相同大小的父块域通过运动补偿得到。CPM和NCIM 两者间最大的不同在于CPM在解码的过程中需要具备收敛性，而NCI本文档来自技高网...

【技术保护点】
一种基于对象和分形的双目立体视频压缩编码方法，其特征在于具体步骤如下：步骤一：利用自动视频对象分割方法对视频序列进行自动分割，获取每一帧的视频对象分割平面即Ａｌｐｈａ平面，根据得到的视频对象分割平面确定要编码的视频对象区域；把正在进行压缩的帧称为当前帧，把当前帧的已经编码并重建的前一帧称为参考帧；步骤二：对于左目，首先判断是否为Ｉ帧，若是Ｉ帧，则对该帧进行互不重叠的固定大小的块划分，对每一个图像块分别采用基于块ＤＣＴ变换的帧内图像压缩方法，对该帧图像进行单独编码和解码，解码之后的像素若属于Ａｌｐｈａ平面中待编码的视频对象则保留该像素值，否则将像素值置零后转到步骤十四；所述Ｉ帧为视频序列起始帧或者视频序列中只进行帧内编码的图像帧；所述将当前帧划分为固定大小的互不重叠的图像块称为宏块；所述将当前宏块进行树状划分得到的块称为小块；所述当前帧所有块的集合称为子块域；所述前一帧的所有块的集合称为父块域；所述块ＤＣＴ变换中的块采用固定大小模式；对于右目，转到步骤六；步骤三：若左目为非Ｉ帧，用常规单目的运动补偿预测（ＭＣＰ）编码，对当前帧进行互不重叠的宏块划分，然后计算这些宏块以及经树状划分得到的小块的像素和、像素平方和，以及左目前一帧重建图像即参考帧中，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和；步骤四：对当前正在处理的图像块即当前块，利用Ａｌｐｈａ平面判别该图像块的区域属性；如果该块不在当前编码的视频对象区域内，对该块不做处理；如果该块全部都在当前编码的视频对象区域内，转入步骤五；如果该块的部分像素在当前编码的视频对象区域内，部分像素不在当前编码的视频对象区域内，需要单独处理，转入步骤十三；如果所有的宏块都已处理完毕，则转到步骤十四；所述不在当前编码的视频对象区域内的块称为外部块，所述全部都在当前编码的视频对象区域内的块称为内部块，所述部分像素不在当前编码的视频对象区域内的块为边界块；步骤五：依次对当前帧的所有宏块进行编码，在父块域中的搜索窗内首先对该宏块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同；如果匹配误差ＲＭＳ小于开始设定的阈值γ，保存当前的迭代函数系统系数即ＩＦＳ系数，转入步骤五编码下一宏块；否则，依次按照树状结构对该块进行划分，并对各个划分得到的小块分别计算匹配误差ＲＭＳ，如果ＲＭＳ小于设定阈值γ，停止划分并记录该小块ＩＦＳ系...

【技术特征摘要】
一种基于对象和分形的双目立体视频压缩编码方法，其特征在于具体步骤如下步骤一利用自动视频对象分割方法对视频序列进行自动分割，获取每一帧的视频对象分割平面即Alpha平面，根据得到的视频对象分割平面确定要编码的视频对象区域；把正在进行压缩的帧称为当前帧，把当前帧的已经编码并重建的前一帧称为参考帧；步骤二对于左目，首先判断是否为I帧，若是I帧，则对该帧进行互不重叠的固定大小的块划分，对每一个图像块分别采用基于块DCT变换的帧内图像压缩方法，对该帧图像进行单独编码和解码，解码之后的像素若属于Alpha平面中待编码的视频对象则保留该像素值，否则将像素值置零后转到步骤十四；所述I帧为视频序列起始帧或者视频序列中只进行帧内编码的图像帧；所述将当前帧划分为固定大小的互不重叠的图像块称为宏块；所述将当前宏块进行树状划分得到的块称为小块；所述当前帧所有块的集合称为子块域；所述前一帧的所有块的集合称为父块域；所述块DCT变换中的块采用固定大小模式；对于右目，转到步骤六；步骤三若左目为非I帧，用常规单目的运动补偿预测(MCP)编码，对当前帧进行互不重叠的宏块划分，然后计算这些宏块以及经树状划分得到的小块的像素和、像素平方和，以及左目前一帧重建图像即参考帧中，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和；步骤四对当前正在处理的图像块即当前块，利用Alpha平面判别该图像块的区域属性；如果该块不在当前编码的视频对象区域内，对该块不做处理；如果该块全部都在当前编码的视频对象区域内，转入步骤五；如果该块的部分像素在当前编码的视频对象区域内，部分像素不在当前编码的视频对象区域内，需要单独处理，转入步骤十三；如果所有的宏块都已处理完毕，则转到步骤十四；所述不在当前编码的视频对象区域内的块称为外部块，所述全部都在当前编码的视频对象区域内的块称为内部块，所述部分像素不在当前编码的视频对象区域内的块为边界块；步骤五依次对当前帧的所有宏块进行编码，在父块域中的搜索窗内首先对该宏块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同；如果匹配误差RMS小于开始设定的阈值γ，保存当前的迭代函数系统系数即IFS系数，转入步骤五编码下一宏块；否则，依次按照树状结构对该块进行划分，并对各个划分得到的小块分别计算匹配误差RMS，如果RMS小于设定阈值γ，停止划分并记录该小块IFS系数，转入步骤五编码下一宏块；否则继续划分，直到将当前块划分为预先设定的最小块，记录IFS系数；转入步骤五编码下一宏块；所述搜索窗为在参考帧中的矩形搜索区域；所述IFS系数包括父块位置(x，y)和比例因子s、偏移因子o；如果当前帧所有的宏块都已编码完毕，且是左目，则转到步骤十四，若是右目，则继续执行步骤七；步骤六对右目图像，首先进行互不重叠的宏块划分，然后计算这些宏块以及经树状划分得到的小块的像素和、像素平方和，以及右目前一帧重建图像参考帧，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，以减少块匹配过程中的重复计算，转到步骤五；步骤七计算左目中对应帧图像参考帧，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，转到步骤八；步骤八对当前正在处理的图像块即当前块，利用Alpha平面判别该图像块的区域属性；如果该块不在当前编码的视频对象区域内，对该块不做处理；如果该块全部都在当前编码的视频对象区域内，转入步骤九；如果该块的部分像素在当前编码的视频对象区域内，部分像素不在当前编码的视频对象区域内，需要单独处理，转入步骤十三；如果所有的宏块都已处理完毕，则转到步骤十四；步骤九首先对与当前子块位置相同的父块进行块匹配，得到RMS，并保存迭代函数系统系数，该系数包括父块与子块的相对位移矢量(x，y)，比例因子s和偏移因子o；依次对当前帧的所有宏块进行编码，在父块域中的搜索窗内首先对该宏块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同并转入步骤十；如果所得的匹配误差RMS小于开始设定的阈值γ，保存当前的迭代函数系统系数即IFS系数，转入步骤九编码下一宏块；否则，依次按照树状结构对该块进行划分，并对各个划分得到的小块分别转入步骤十计算匹配误差RMS，如果RMS小于设定阈值γ，停止划分并记录该小块IFS系数，转入步骤九编码下一宏块；否则继续划分，直到将当前块划分为预先设定的最小块，转入步骤十计算RMS，记录IFS系数，转入步骤九编码下一宏块；最后与步骤五所得结果比较，选择误差最小的作为预测结果；如果当前帧所有的宏块都已编码完毕，则转到步骤十四；步骤十在垂直方向上先上下隔行搜索两个点；如果这两个点的RMS均大于偏振线上点的RMS转到步骤十一，否则转到步骤十二；步骤十一只沿初始点的右侧进行搜索，在搜索过程中进行跳跃式搜索；向右间隔两个点进行搜索，计算RMS，转入步骤十进行垂直方向搜索；如果当前点的RMS小于前一点的RMS，将当前点作为新的起始搜索点，转回到步骤十一开始位置，继续水平搜索下一点；否则说明当前点的RMS大于前一点的RMS，即最佳匹配点位于这两点之间，选择合适的小区域进行全搜索，至此选择RMS最小的点作为最终匹配结果，结束DCP搜索过程，继续执行步骤九...

【专利技术属性】
技术研发人员：祝世平，侯仰拴，陈菊嫱，王再阔，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：11[]