基于视觉关注度的视频编码方法技术

本发明专利技术涉及一种基于视觉关注度视频编码方法。本方法是将人眼视觉关注特性引入到视频编码中：通过对宏块局部运动度、边缘强度以及纹理活动度的分析，将宏块归类为：局部运动宏块、边缘宏块、平滑宏块以及纹理宏块；基于人眼对于这四种类型宏块关注度的不同，调节宏块的量化参数。本发明专利技术在增加不到４％的计算量的同时，可提高１０％编码效率，且能改善视频编码的主观质量。

【技术实现步骤摘要】

本专利技术涉及到一种。特别是与现有方法截然不同 的是将人眼视觉关注度融入到视频编码中。
技术介绍
ITU-T和ISO联合推出视频编码的新标准H.264/AVC。 H.264/AVC采用和发展了 近几年视频编码方面的先进技术，以较高编码效率和网络友好性而著称。但它仍基于 以前视频编码标准的运动补偿混合编码方案，主要不同有增强的运动预测能力；准 确匹配的较小块变换；自适应环内滤波器；增强的熵编码。测试结果表明这些新特征 使编码效率比以前的标准约提高50%。然而，随着各种压縮编码技术的日趋完善和成 熟，压縮效率己达到较高水平，压縮比很难有较大的提高。视频编码中量化能提高压 縮效率的同时，也必然造成图像的失真。视频编码的失真是由量化参数选取不当或量 化矩阵不合适造成的。HVS特性是选择量化参数QP时需要考虑的一个关键的因 素。近年来，国内外研究学者逐渐将HVS特性应用到视频编码算法中， 一些学者提 出了基于对象的视频编码方法，降低关注对象的量化参数，改善关注对象的质量，从 而提高视频的主观质量。这类方法存在的问题需要对视频关注对象进行分割，在编码 器中引入了大量计算复杂度，很难应用在实时性要求高的场合。由于人眼对于动态区 域更敏感，在相同的MSE的条件下，人眼对于动态区域的失真敏感度比静态区域高， 在动态区域和静态区域共存于一副图像中时，人眼对于动态区域的敏感度更高。同时， 人眼对图像中心区域更为关注。根据上述理论， 一些学者对图像质量的评测标准MSE 和PSNR进行修正，主要思路是对于人眼敏感的区域中的宏块，通过对MSE加权，使 得带加权系数的MSE大于客观评测标准，而对于人眼不敏感的区域中的宏块，则做相 反的修改。同时对失真模型中失真权数进行修改，利用Lagrange求解带感知权数的最 优量化步长，最终形成低时延视频通信的可感知码率控制算法。实验结果表明上述基 于视觉特性改进的码率控制算法在几乎相同的码率下可以获得更高的感知PSNR。但 是，对于动态区域以及中心区域的提取没有给出合适的算法。同时，对于失真模型以 及MSE的加权系数没有给出合理的计算方法。而前者是整个算法实现的基础，后者关系到整个算法的精确程度。另外一些文献利用人脸检测算法和空域频域Foveation加 权模型进行视觉注意点的选择，并实现了分级编码。该类算法需引入人脸检测，增加 了编码器复杂度，且仅针对某一类视频，普适性差。近来还有一些文献根据宏块的亮 度特性、颜色分布特性、时域活动特性以及目标大小等人眼的感兴趣区域，结合分析 镜头运动为区域中的不同宏块确定不同的视觉重要性，以此为基础确定各个宏块总的 自适应量化加权系数。这些算法首先根据序列复杂性分析确定帧级量化参数，然后利 用各个宏块总的自适应量化加权系数进行迭代算法调整并获得宏块的实际量化参数。 从而实现与MPEG-2语法一致的非实时应用下的感知码率控制算法。然而，上述方法 也存在以下不足之处首先，在编码前要得到编码帧各个宏块的运动矢量，必须要对 当前帧进行预先编码，会在原有的编码器中引入一倍的计算量。其次，运动有全局运 动和局部运动，全局运动为非关注区域，局部运动为关注区域，上述方法中并没有提 出一个有效策略区分全局运动(背景运动)和局部运动，将非关注背景区域误认为关注区域处理。再次，这类算法根据匹配估计的运动矢量场分析镜头运动、确定运动目 标的分割。然而，块匹配运动估计算法是以最优率失真性能为目标，块匹配的运动向 量场与实际运动存在偏差。运动向量场的准确性对于HVS的时间掩盖效应和视觉兴趣性有重要影响。从上述国内外研究现状分析可以发现，基于HVS模型的高效视频编码算法在国 际上尚处在不成熟阶段。国内外现有的研究结果可以启示我们，现有的应用于视频编 码的视觉特性只是模型中的某部分或只针对某一特定的对象(人脸或者皮肤)，而且 大部分算法在确定感知的加权系数时是根据几个序列的经验值，这些值的选取不具有 普遍的意义。如果不将这些宏观的特性统一到一个较完整的感知模型下，所进行的感 知编码算法只能是部分地反映人类视觉感知系统的局部特征。同时，上述大部分算法 在确定感兴趣区域需耗费相当大的计算量，如视频对象的分割、人脸区域的检测和局 部运动区域的提取，很难在实时性要求比较高的场合下应用。
技术实现思路
本专利技术的目的是提供一种，在计算量增加不大的 同时，可显著提高编码效率，且能改善视觉编码的主观质量。为达到上述专利技术目的，本专利技术构思如附图1所示，首先，检测宏块的局部运动度， 由宏块的局部运动度，快速分割局部运动宏块。接着，检测宏块的边缘强度和纹理活 动度，由宏块边缘强度和纹理活动度，快速分割边缘、平滑和纹理宏块。最后，根据 人眼视觉关注度的不同，调节不同类型宏块的量化参数。本专利技术可以提高关注区域的 信噪比，降低非关注以及能够掩盖更多失真的区域的信噪比，从而可以在降低码流比 特率的同时，改善图像的主观质量。运动对我们的视觉注意力影响最大。我们的视觉注意力会不由自主地被吸引到与 周围环境发生了运动的区域。运动分为全局运动和局部运动，全局运动为人眼视觉非 关注区域，局部运动为人眼视觉关注区域。时间域掩盖效应又表明，人眼对快速运动 目标的细节分辨率会低于静止的目标。但是在平滑跟踪眼睛移动效应(SPEM)作用下， 人眼对视频中运动区域的噪声和视觉模糊的灵敏度会相对提高。当观察者的眼睛跟踪 感兴趣的平滑运动目标时，SPEM效应会改变人眼视觉系统的空间域和时间域的掩盖 效应。在考虑图像序列的运动特性对视觉感知的影响时，必须要得到真实的运动矢 量。现有视频编码标准中采用的都是块匹配的运动估计算法，即假设整个块内的所有 像素点有相同的运动。所以估计的运动矢量可能偏离真实运动，特别是当宏块中包含 运动边缘信息情况下。另一方面，在编码前要得到编码帧各个宏块的运动矢量，必须 要对当前帧进行预编码，会在原有的编码器中引入一倍的计算量。运动有全局运动和 局部运动，需要一种方法有效的区分全局运动和局部运动。现在文献中一般采用全局 运动估计算法提取局部运动。然而，全局运动估计算法又要在编码器中引入相当大的计算量。为此本专利技术提出一种快速分割局部运动的方法。宏块的局部运动度」(/，_/)定义如下16 16爿O) =/力'.16 +附，,16 + w) —/M(/.16 + m +附v义，/'16十w + mvy)| (1)其中，/,和分别代表当前帧和前一帧，z'和j'为宏块坐标，；m^和mvy为前一帧对应位置宏块的运动矢量。必须强调的是在计算宏块局部运动度之前对每一帧 需进行简单的3x3低通滤波以减少高频噪声的影响。全局运动由镜头引起，其运动矢 量在时域方向具有一致性。局部运动由前景运动引起，具有随机性。其运动矢量在时 域方向是非连续的。全局运动以及静止区域宏块的运动矢量可以用前一帧相同位置宏 块的运动矢量近似，由(1)式可知，这些宏块具有比较小的局部运动度。相反，局部(前景)运动宏块具有相当大的局部运动度。当宏块的局部运动度v4(/,/)大于某个 阈值r/^m时，本专利技术认为此宏块为局部运动宏块，77^ ,定义如下<formula>formula see original document page 7</f本文档来自技高网...

【技术保护点】
一种基于视觉关注度视频编码方法，其特征在于将人眼视觉关注特性引入到视频编码中：通过对宏块局部运动度、边缘强度以及纹理活动度的分析，将宏块归类为：局部运动宏块、边缘宏块、平滑宏块以及纹理宏块；基于人眼对于这四种类型宏块关注度的不同，调节宏块的量化参数；其步骤是：ｉ．局部运动宏块快速分割：对输入的图像帧进行滤波，以减少高频噪声的影响，计算宏块局部运动度以及运动度阈值，由局部运动度及活动度阈值，将宏块归类为局部运动宏块和非局部运动宏块；ｉｉ．边缘宏块快速分割：采用Ｃａｎｎｙ边缘检测器检测边缘输出各个像素点的边缘强度，计算宏块边缘强度以及边缘强度的阈值，将宏块归类为边缘宏块和非边缘宏块；ｉｉｉ．纹理宏块的快速分割：采用水平／垂直梯度检测纹理输出各个像素点的纹理活动度，计算宏块纹理活动度以及纹理活动度的阈值，将宏块归类为纹理宏块和平滑宏块；ｉｖ．宏块量化参数的调节：选择调节参数，基于人眼对不同类型的宏块关注度不同，对宏块的量化参数进行调节。

【技术特征摘要】
1、一种基于视觉关注度视频编码方法，其特征在于将人眼视觉关注特性引入到视频编码中通过对宏块局部运动度、边缘强度以及纹理活动度的分析，将宏块归类为局部运动宏块、边缘宏块、平滑宏块以及纹理宏块；基于人眼对于这四种类型宏块关注度的不同，调节宏块的量化参数；其步骤是i.局部运动宏块快速分割对输入的图像帧进行滤波，以减少高频噪声的影响，计算宏块局部运动度以及运动度阈值，由局部运动度及活动度阈值，将宏块归类为局部运动宏块和非局部运动宏块；ii.边缘宏块快速分割采用Canny边缘检测器检测边缘输出各个像素点的边缘强度，计算宏块边缘强度以及边缘强度的阈值，将宏块归类为边缘宏块和非边缘宏块；iii.纹理宏块的快速分割采用水平/垂直梯度检测纹理输出各个像素点的纹理活动度，计算宏块纹理活动度以及纹理活动度的阈值，将宏块归类为纹理宏块和平滑宏块；iv.宏块量化参数的调节选择调节参数，基于人眼对不同类型的宏块关注度不同，对宏块的量化参数进行调节。2、 根据权利要求1所述的基于视觉关注度的视频编码方法，其特征在于所述的局部 运动宏块快速分割的步骤是i. 采用3x3低通滤波器对处理帧进行滤波，以减弱高频噪声的影响；ii. 由当前帧宏块的坐标，提取前一帧对应位置宏块的运动矢量；iii. 由提取的宏块运动矢量、当前帧亮度像素值以及前一帧亮度像素值，计算宏块的局部运动度和运动度阈值77^ ，；iv. 由步骤(iii)得到的宏块局部运动度和阈值77^，将宏块归类为局部运动宏块和非局部运动宏块。3、根据权利要求1所述的基于视觉关注度的视频编码方法，其特征...

【专利技术属性】
技术研发人员：沈礼权，张兆扬，刘志，王蕾睿，杨其彤，
申请(专利权)人：上海大学，
类型：发明
国别省市：31[中国|上海]