一种基于运动显著性信息划分感兴趣区域的视频压缩方法技术

本发明专利技术公开了一种基于运动显著性信息划分感兴趣区域的视频压缩方法，涉及视频信息获取与处理、视频编码等领域。该方法引入只需要傅立叶变换与傅立叶逆变换的TFT方法将当前时刻存在的运动变化与视觉信息的工作记忆进行累加和过滤来检测运动显著性，从而得出当前运动的完整状态信息，此信息能够更加精准地区分运动目标与复杂背景，使得可以更准确地划分视频中的感兴趣区域与非感兴趣区域，最终提高了视频压缩的效率。本发明专利技术能够较高效且准确地用于背景较为复杂的视频的压缩，为大量视频信息的处理、存储提供了有效方法。存储提供了有效方法。存储提供了有效方法。

【技术实现步骤摘要】
一种基于运动显著性信息划分感兴趣区域的视频压缩方法


[0001]本专利技术设计一种基于运动显著性信息划分感兴趣区域的视频压缩方法，具体的是指将视频分成多个时间片后结合时间上下文提取其中的运动显著性信息，将原视频按运动显著性的程度进行视频图像区域的划分，并对不同的区域分配相应的码率，以实现在基本不影响视频呈现质量的前提下对视频的进一步压缩。

技术介绍

[0002]虽然当今计算机的存储技术和容量的不断改善和提高对海量视频的传输和存储与资源限制的矛盾有所缓解，但人们对视频技术的需求也越来越大，所以需要对视频信息的处理与存储提出更高的要求。
[0003]应用于视频压缩中的感兴趣区域这一概念通常表现在编码时对于视频帧中的用户更为关注的区域分配较多的比特，而对于其他区域则分配较少比特，从而实现对视频的压缩。考虑人类视觉系统对视频内容感知的差别，视频的感兴趣区域大多指在视频中呈现运动状态的部分。
[0004]近年来在视频编码领域中已经出现了大量的基于感兴趣区域的视频编码方式，但大多存在对区域的划分不够精准或抗噪能力较差的情况，或是对不同对区域设置固定的量化参数值而非自适应的，从而依然保留了较多的冗佘信息。
[0005]为了解决上述问题，本专利技术公开了一种基于运动显著性信息划分感兴趣区域的视频压缩方法。依据频率波的变化与时间序列中的弹出之间的对应关系检测的运动显著性，这表明不仅有输入的视频信息而且工作记忆也参与了显着性处理，不仅可以检测到精确的运动状态，准确划分感兴趣区域，还可以根据时间上下文更合理地定义帧，并依据不同的运动显著性分配不同的码率，从而达成对视频的高效压缩。

技术实现思路

[0006]专利技术目的：本专利技术公开了一种基于运动显著性信息划分感兴趣区域的视频压缩方法，模仿高级视觉处理中传人的视觉信息和视觉记忆之间的相互作用对视频的时空信息进行处理，能够精准地提取感兴趣区域，通过对各区域不同的码率分配以实现高效的视频压缩。
[0007]技术方案：一种基于运动显著性信息划分感兴趣区域的视频压缩方法，包括如下步骤：
[0008]步骤一：使用仅需要傅立叶变换和傅立叶逆变换的TFT方法检测当前时刻的输入和工作记忆期间发生的运动显着性。
[0009]步骤二：各个时间片中的实例协同工作，以增强稳定的运动显着性并抑制噪声冗余。
[0010]步骤三：通过加权不同时间片中给出的运动显着性来发掘显著性退化现象，最终同时呈现当前精确时刻的时间上下文和运动显着性。
[0011]步骤四：利用得出的时间上下文及运动显著性信息，划分视频的序列长度及感兴趣区域，根据区域属性进行不同的码率分配，实现对视频的压缩。
[0012]本专利技术的有益技术效果是：
[0013]根据本专利技术公开的一种基于运动显著性信息划分感兴趣区域的视频压缩方法，首先通过仅需要傅立叶变换和傅立叶逆变换的TFT方法检测运动显著性，具有较高的运算效率；再通过与工作记忆的结合，能够高效地过滤噪声，正确地识别时间上下文和运动显著性，从而达到对感兴趣区域的精准划分，且可利用时间上下文信息定义适当的帧属性；最终对于划分的各区域分配相应码率，很大程度上提高了视频压缩的效率和质量。
附图说明
[0014]图1是基于感兴趣区域的视频压缩的基本流程图；
[0015]图2是图像中感兴趣区域的划分示意；
[0016]图3是现今普遍使用的视频编码框架。
[0017]具体实施方法
[0018]下面进一步阐明本专利技术。
[0019]步骤一：使用仅需要傅立叶变换和傅立叶逆变换的TFT方法检测当前时刻的输入和工作记忆期间发生的运动显着性。
[0020]TFT方法的基本原理是在相位谱中的变化与随时间变化的“弹出”之间的时间向量中观察的对应关系：
[0021][0022]其中，为时间向量，χ
n
为当前时间步长的焦点，χ
n
‑
(i
‑
1)
×
k
‑2，χ
n
‑
(i
‑
1)
×
k
‑3，
…
，χ
n
‑
i
×
k
为时间向量中的实例，k为时间向量中实例的数量，I为工作记忆的存储。
[0023]时间向量的傅立叶变换及其相位谱可以计算为：
[0024][0025]相位谱上的傅立叶逆变换可以计算为：
[0026][0027]其中，F为傅立叶变换，F
‑1为傅立叶逆变换，为相位谱上的傅立叶逆变换，为时间向量的相位谱，g(t)是一个一阶高斯滤波器。
[0028]重建波形的幅度可以作为判断显著性的线索，若最大幅度超过阈值，则对应点存在运动显著性，反之则不存在显著性：
[0029][0030]其中，T为过滤掉低幅度的阈值。为去除复杂场景中的动态噪声，时间向量中的所有点都需考虑，故T应设计为自适应阈值：
[0031][0032]其中，为时间向量的显著性强度的均值，为时间向量的显著性强度的方差。步骤二：各个时间片中的实例协同工作，以增强稳定的运动显着性并抑制噪声冗
佘。
[0033]这种内存引导的显着性过滤机制不仅以当前的显着性，还以内存中的“弹出”作为参考证据来识别运动显着性，在后一个时间向量中检测到的显着性作用于在前一个时间步长中检测到的显着性以形成过滤效果。特别地，对于当前时间步长中的点χ
n
，我们认为内存中发生的所有运动显着性为：
[0034][0035]其中，E
n
为时间片中运动显著性的累积。
[0036]在实际运用中，视频序列将被分割成I个切片以模拟内存中的I个片段。每个时间片包括当前时间步中的元素和内存中的实例。提取出一个时间片中的显着性后，取消对应的片，并再在每个阶段引入一个新的片。在傅里叶变换方面，每个时间片的最小长度I为16。时间片的最少数量应大于10。对于帧数小于10x16的短视频序列，我们可以使用补零策略来满足这个规则。
[0037]步骤三：通过加权不同时间片中给出的运动显着性来发掘显著性退化现象，最终同时呈现当前精确时刻的时间上下文和运动显着性。
[0038]对于任意时间片中的运动显着性，相应权重的值与时间片的数量成反比。权重和显着退化可以计算为：
[0039][0040]其中，为是第i个时间片中运动显着性的权重，α为调节因子。运动显着性的值随着时间片i的数量而减小，因此显着性值可以表示运动显着性发生时的时间步长。
[0041]由于运动显着性随时间退化，邻近的时间片中存在的动态噪声变得更加明显。从而时间上下文和动态噪声可能有些难以区分。首先我们将不同时刻的运动显着性融合在一起以生成时间上下文：
[0042][0043]其中，为在整合的图中呈现时间上下文的组合运动显着性。
[0044]由于运动显着性随时间退化，邻本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于运动显著性信息划分感兴趣区域的视频压缩方法，其特征在于，使用仅需要傅立叶变换和傅立叶逆变换的TFT方法检测当前时刻的输入和工作记忆期间发生的运动显着性；各个时间片中的实例协同工作，以增强稳定的运动显着性并抑制噪声冗余；通过加权不同时间片中给出的运动显着性来发掘显著性退化现象，最终同时呈现当前精确时刻的时间上下文和运动显着性；利用得出的时间上下文及运动显著性信息，划分视频的序列长度及感兴趣区域，根据区域属性进行码率分配，实现对视频的压缩。2.如权利要求1所述，一种基于运动显著性信息划分感兴趣区域的视频压缩方法，其特征在于，步骤一：使用仅需要傅立叶变换和傅立叶逆变换的TFT方法检测当前时刻的输入和工作记忆期间发生的运动显着性；TFT方法的基本原理是在相位谱中的变化与随时间变化的“弹出”之间的时间向量中观察的对应关系：其中，为时间向量，χ
n
为当前时间步长的焦点，χ
n
‑
(i
‑
1)
×
k
‑2，χ
n
‑
(i
‑
1)
×
k
‑3，
…
，χ
n
‑
i
×
k
为时间向量中的实例，k为时间向量中实例的数量，l为工作记忆的存储；时间向量的傅立叶变换及其相位谱可以计算为：相位谱上的傅立叶逆变换可以计算为：其中，F为傅立叶变换，F
‑1为傅立叶逆变换，为相位谱上的傅立叶逆变换，为时间向量的相位谱，g(t)是一个一阶高斯滤波器；重建波形的幅度可以作为判断显著性的线索，若最大幅度超过阈值，则对应点存在运动显著性，反之则不存在显著性：其中，T为过滤掉低幅度的阈值。为去除...

【专利技术属性】
技术研发人员：徐俪洋，沈洁，肖宇婧，魏鑫，
申请(专利权)人：河海大学，
类型：发明
国别省市：