一种边信息生成方法及装置制造方法及图纸

本发明专利技术属于图像处理技术领域，公开了一种边信息生成方法及装置，以提高生成的边信息的准确度。一种边信息生成方法，包括：获取编码端输出的视频图像中时域毗邻的各关键帧，其中，所述关键帧是在所述图像中基于人眼特征获取的，在所述两相邻关键帧中间具有插值帧；获取所述关键帧中相邻两关键帧的前向运动矢量；对于任一插值帧，根据所述插值帧的信息以及所述插值帧的相关关键帧的前向运动矢量进行运动补偿，生成边信息。

【技术实现步骤摘要】
一种边信息生成方法及装置
本专利技术涉及图像处理技术，特别是涉及一种边信息生成方法及装置。
技术介绍
分布式视频编码框架是一种全新的非对称的视频压缩框架，该系统在编码端对各视频帧进行独立编码，即帧内编码，在解码端对各视频帧进行联合解码，即帧间解码。在分布式视频编码系统中，经过有损信源编码(Wyner-Ziv编码)得到的信息称之为主信息，边信息(Sideinformation)是在解码端产生的对于主信息的一个估计。边信息在主信息的解码过程中给解码器以帮助，辅助解码器进行解码。系统要获得优异的率失真性能和压缩效率，最有效的方法就是使产生的边信息尽量接近当前欲解码帧的真实值，因此，边信息的产生是分布式视频编码的一个研究重点。但是，在实现本专利技术的过程中专利技术人发现，通过一般的边信息生成方法所获得的边信息会使得所求得的边信息帧中很多块的运动矢量出现偏差。因而，边信息的准确度不高。
技术实现思路
本专利技术要解决的技术问题是提供一种边信息生成方法及装置，以提高生成的边信息的准确度。一种边信息生成方法，包括：获取编码端输出的视频图像中时域毗邻的各关键帧，其中，所述关键帧是在所述图像中基于人眼特征获取的，在所述两相邻关键帧中间具有插值帧；获取所述关键帧中相邻两关键帧的前向运动矢量；对于任一插值帧，根据所述插值帧的信息以及所述插值帧的相关关键帧的前向运动矢量进行运动补偿，生成边信息。其中，所述获取所述关键帧中相邻两关键帧的前向运动矢量包括：分别将相邻两关键帧划分成预定大小的块；计算所述相邻两关键帧中对应块之间的绝对差和；若所述对应块之间的绝对差和小于第一预设值，将所述相邻两关键帧中的前向关键帧中的像素块作为备选像素块，用于替代所述相两关键帧中间的插值帧的对应像素块；若所述对应块之间的绝对差和大于第二预设值，对所述对应块进行运动补偿；若对应块之间的绝对差和大于所述第一预设值且小于第二预设值，保持所述对应块。其中，所述根据所述插值帧的信息以及所述插值帧的相关关键帧的前向运动矢量进行运动补偿，生成边信息包括：将物体的运动轨迹进行水平和竖直方向上进行分解，利用所述插值帧前两关键帧间的前向运动矢量以及所述插值帧的后两关键帧间的前向运动矢量，采用二次函数对物体的运动轨迹进行模拟；根据模拟结果，计算所述插值帧的匹配块相对于所述插值帧的前关键帧和后关键帧的距离，并根据所述距离调整所述前关键帧和所述后关键帧在和成插值帧的权值，生成边信息。其中，在所述获取编码端输出的视频图像中时域毗邻的各关键帧后，所述方法还包括：对所述各关键帧进行低通滤波。其中，所述方法还包括：对生成的边信息进行图像质量评价。一种边信息生成装置，包括：帧获取单元，用于获取编码端输出的视频图像中时域毗邻的各关键帧，其中，所述关键帧是在所述图像中基于人眼特征获取的，在所述两相邻关键帧中间具有插值帧；矢量获取单元，用于获取所述关键帧中相邻两关键帧的前向运动矢量；生成单元，用于对于任一插值帧，根据所述插值帧的信息以及所述插值帧的相关关键帧的前向运动矢量进行运动补偿，生成边信息。其中，所述矢量获取单元包括：块划分模块，用于分别将相邻两关键帧划分成预定大小的块；计算模块，用于计算所述相邻两关键帧中对应块之间的绝对差和；处理模块，若所述对应块之间的绝对差和小于第一预设值，将所述相邻两关键帧中的前向关键帧中的像素块作为备选像素块，用于替代所述相两关键帧中间的插值帧的对应像素块；若所述对应块之间的绝对差和大于第二预设值，对所述对应块进行运动补偿；若对应块之间的绝对差和大于所述第一预设值且小于第二预设值，保持所述对应块。其中，所述生成单元包括：模拟模块，用于将物体的运动轨迹进行水平和竖直方向上进行分解，利用所述插值帧前两关键帧间的前向运动矢量以及所述插值帧的后两关键帧间的前向运动矢量，采用二次函数对物体的运动轨迹进行模拟；生成模块，用于根据模拟结果，计算所述插值帧的匹配块相对于所述插值帧的前关键帧和后关键帧的距离，并根据所述距离调整所述前关键帧和所述后关键帧在和成插值帧的权值，生成边信息。其中，所述帧获取单元还用于对所述视频图像进行低通滤波，获取所述各关键帧。其中，所述装置还包括：质量评价单元，对生成的边信息进行图像质量评价。本专利技术取得的有益技术成果是：本专利技术首先获取编码端输出的视频图像中时域毗邻的各关键帧，其中，所述关键帧是在所述图像中基于人眼特征获取的，在所述两相邻关键帧中间具有插值帧，然后获取所述关键帧中相邻两关键帧的前向运动矢量，并对于任一插值帧，根据所述插值帧的信息以及所述插值帧的相关关键帧的前向运动矢量进行运动补偿，进而生成边信息。由于本专利技术中采用基于人眼特征获取的关键帧，根据所述插值帧的信息以及所述插值帧的相关关键帧的前向运动矢量进行运动补偿，进而生成边信息，因此，利用本专利技术的方法和装置所获得的边信息准确度较高。附图说明图1为本专利技术的边信息生成方法的流程图；图2是本方法中运动矢量选取图；图3是本方法中空间平滑滤波示意图；图4是本方法中重叠块运动补偿示意图；图5是双向运动估计中本专利技术算法和传统算法对比示意图；图6是本方法中结构相似法(SSIM)方法框图；图7是本专利技术的边信息生成装置的示意图；图8是本专利技术的边信息生成装置的结构图。具体实施方式为使本专利技术要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在分布式视频编码中，视频序列X由奇数帧X2k±1(k为整数)和偶数帧X2k(k为整数)组成。在本专利技术中，假设奇数帧为关键帧，偶数帧为WZ帧(插值帧)。同样可假设偶数帧为关键帧，奇数帧为WZ帧，只需保证WZ帧前后均存在关键帧即可。则边信息主要是通过对时域毗邻关键帧X2k±1进行运动补偿内插来产生。如图1所示，本专利技术的边信息生成方法包括：步骤11、获取编码端输出的视频图像中时域毗邻的各关键帧，其中，所述关键帧是在所述图像中基于人眼特征获取的，在所述两相邻关键帧中间具有插值帧。在本步骤中，获取编码端输出的视频图像中时域毗邻的各关键帧后，还可对所述各关键帧进行低通滤波。首先，结合人眼的视觉特性HVS(HumanVisualSystem，人类视觉系统)，对输入关键帧进行低通滤波处理。人类的视觉有着独特的亮度特性、空间频率特性及时间频率特性，根据视觉的空间频率特性，图像中频率越高的成分代表图像的细节越小，人眼探测能力越低，其中人眼对3～6CPD的空间频率分量最为敏感)。其中，低通滤波可以平滑图像，去除图像噪声，增强运动矢量的可靠性，使得到的运动矢量更加接近真实的矢量场。基本实现过程如下：首先对经二维离散富里叶变换(2-DDFT)的原图像和目标图像频谱,依据HVS分别予以子带分割，并对获取的低频子带频谱进行二维富里叶反变换(2-DIDFT),建立低频子带的图像。步骤12、获取所述关键帧中相邻两关键帧的前向运动矢量。在此步骤中，通过对步骤11中建立的低频子带的图像进行前向运动估计。在本专利技术实施例中主要是利用块匹配算法在前后关键帧之间进行运动估计。如图2所示，设定搜索窗口为8×8的矩形，搜索范围为12×12的矩形，步长为1。其中搜索窗口是执行运动估计的基本单位，搜索范围指的是在参考帧X2k-1(k为整数)内进行搜索的区域的尺寸，在其范围内搜索和X2k+1(k为整数)帧上本文档来自技高网...

【技术保护点】
一种边信息生成方法，其特征在于，包括：获取编码端输出的视频图像中时域毗邻的各关键帧，其中，所述关键帧是在所述图像中基于人眼特征获取的，在所述两相邻关键帧中间具有插值帧；获取所述关键帧中相邻两关键帧的前向运动矢量；对于任一插值帧，根据所述插值帧的信息以及所述插值帧的相关关键帧的前向运动矢量进行运动补偿，生成边信息。

【技术特征摘要】
1.一种边信息生成方法，其特征在于，包括：获取编码端输出的视频图像中时域毗邻的各关键帧，其中，所述关键帧是在所述图像中基于人眼特征获取的，结合人眼的视觉特性HVS，对输入关键帧进行低通滤波处理，所述低通滤波处理实现过程包括：对经二维离散富里叶变换(2-DDFT)的原图像和目标图像频谱，依据HVS分别予以子带分割，并对获取的低频子带频谱进行二维富里叶反变换(2-DIDFT)，建立低频子带的图像；在所述两相邻关键帧中间具有插值帧；获取所述关键帧中相邻两关键帧的前向运动矢量；对于任一插值帧，根据所述插值帧的信息以及所述插值帧的相关关键帧的前向运动矢量进行运动补偿，生成边信息；所述获取所述关键帧中相邻两关键帧的前向运动矢量包括：分别将相邻两关键帧划分成预定大小的块；计算所述相邻两关键帧中对应块之间的绝对差和；若所述对应块之间的绝对差和小于第一预设值，将所述相邻两关键帧中的前向关键帧中的像素块作为备选像素块，用于替代所述相两关键帧中间的插值帧的对应像素块；若所述对应块之间的绝对差和大于第二预设值，将各像素块划分为子块，再对所述对应块进行运动补偿；若对应块之间的绝对差和大于所述第一预设值且小于第二预设值，保持所述对应块；在此过程中，在块匹配过程中依据对应块的SAD值的大小调整搜索块的大小；所述对于任一插值帧，根据所述插值帧的信息以及所述插值帧的相关关键帧的前向运动矢量进行运动补偿，生成边信息包括：将物体的运动轨迹进行水平和竖直方向上进行分解，利用所述插值帧前两关键帧间的前向运动矢量以及利用所述插值帧的前后两关键帧间的前向运动矢量，采用二次函数对物体的运动轨迹进行模拟；根据模拟结果，计算所述插值帧的匹配块相对于所述插值帧的前关键帧和后关键帧的距离，并根据所述距离调整所述前关键帧和所述后关键帧在和成插值帧的权值，生成边信息；对生成的边信息进行图像质量评价，通过以下公式计算解码得到的图像和原图像之间的像素偏差：其中，式中，fk(x,y)和fk-1(x,y)分别为原始帧和解码帧中像素点的灰度值，M×N为图像的大小。2.根据权利要求1所述的方法，其特征在于，在所述获取编码端输出的视频图像中时域毗邻的各关键帧后，所述方法还包括：对所述各关键帧视频图像进行低...

【专利技术属性】
技术研发人员：程德强，姜海龙，王睿，李硕，郭星歌，郑珍，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏;32