一种混合分辨率编解码方法和装置制造方法及图纸

本发明专利技术实施例提供了一种混合分辨率编码和解码方法，所述方法包括：对视频帧序列中只采用帧内编码的I帧进行全分辨率的标准编码并进行帧重建得到所述I帧的重建帧；对所述I帧的重建帧进行下采样，得到所述I帧的重建帧的采样图像；对视频帧序列中的非I帧进行下采样，得到所述非I帧的采样图像；以所述非I帧对应的I帧的重建帧的采样图像作为参考帧对所述非I帧的采样图像进行标准编码；发送视频码流，所述视频码流包括经过编码得到的I帧和非I帧。本发明专利技术实施例还公开了一种混合分辨率编码方法以及相应的编解码装置。采用本发明专利技术，能够降低了编解码计算复杂度，极大的提升了编解码两端的速度和效率。

【技术实现步骤摘要】

本专利技术涉及一种视频编解码领域，尤其涉及一种混合分辨率编解码方法和装置。
技术介绍
随着处理器的能力提升和存储器成本降低，编码视频的网络支持变化多端以及压缩编码技术的快速发展，旨在充分提高编码效率和增强网络环境稳定性的新一代视频编码标准H.264／AVC（Advanced Video Coding，高级视频编码）由国际电信联盟标准化组织ITU-T（International Telecommunications Union-Telecommunication Standardization Sector，国际电信联盟管理下的远程通信标准化组织）的视频编码专家组和ISO（International Standard Organized，国际标准化组织）/IEC（International Electrotechnical Commission，国际电工委员会）的运动图像专家组联合成立的联合视频编码小组提出。H.264／AVC的计算复杂度相较于以往的编码标准更大，增大了实时视频通信的难度。而移动平台的计算能力相对于个人电脑来说要低，可用的存储资源更少，而且移动网络带宽较小且不稳定，因此提升视频编码速度与视频压缩率是推进移动平台的实时视频通信的关键所在。由于视频编码的高复杂度，因此通常将原始视频下采样，对低分辨率视频进行编码，这样也使得编码后需要传输的视频码流数据量也大大降低，在接收端对低分辨率的视频码流解码后，通过超分辨率图像复原技术恢复至较高分辨率。而现有技术中采用H.264／AVC标准编码低分辨率视频时，由于所有帧都是按低分辨率编码，在解码后做超分辨率恢复时可以利用的已有信息量有限，因此图像质量也较差。而且所有P帧以前向帧为参考帧，B帧以前向／后向的帧作为参考帧，这样，作为参考帧的P帧都需要编码器对其做子像素插值，在编码后也要进行去块效应滤波以减少编码的误差传播，此部分也具有较高的复杂度。
技术实现思路
有鉴于此，本专利技术实施例提供了一种混合分辨率编解码方法和装置，可提升了视频编解码的效率。为了解决上述技术问题，本专利技术实施例提供了一种混合分辨率编码方法，所述方法包括：对视频帧序列中只采用帧内编码的I帧进行全分辨率的标准编码并进行帧重建得到所述I帧的重建帧；对所述I帧的重建帧进行下采样，得到所述I帧的重建帧的采样图像；对视频帧序列中的非I帧进行下采样，得到所述非I帧的采样图像；以所述非I帧对应的I帧的重建帧的采样图像作为参考帧对所述非I帧的采样图像进行标准编码；发送视频码流，所述视频码流包括经过编码得到的I帧和非I帧。相应的，本专利技术实施例提供了一种混合分辨率解码方法，所述方法包括：接收视频码流；对所述视频码流中只采用帧内编码的I帧进行全分辨率的标准解码；对经过所述全分辨率的标准解码得到的I帧进行下采样，得所述I帧的采样图像；对所述视频码流中的非I帧以所述非I帧对应的I帧的采样图像作为参考帧进行标准解码；对经过解码得到的非I帧进行超分辨率图像复原，得到原始分辨率的非I帧图像。相应地，本专利技术实施例还提供了一种混合分辨率编码装置，所述混合分辨率编码装置包括：I帧编码模块，用于对视频帧序列中只采用帧内编码的I帧进行全分辨率的标准编码并进行帧重建得到所述I帧的重建帧；下采样模块，用于所述I帧的重建帧进行下采样，得到所述I帧的重建帧的采样图像，以及用于视频帧序列中的非I帧进行下采样，得到所述非I帧的采样图像；非I帧编码模块，用于以所述非I帧对应的I帧的重建帧的采样图像作为参考帧对所述非I帧的采样图像进行标准编码；传输模块，用于发送视频码流，所述视频码流包括经过编码得到的的I帧和非I帧。相应的，本专利技术实施例还提供了一种混合分辨率解码装置，所述混合分辨率解码装置包括：码流接收模块，用于接收视频码流；I帧解码模块，用于对所述视频码流中只采用帧内编码的I帧进行全分辨率的标准解码；下采样模块，用于对经过所述全分辨率的标准解码得到的I帧进行下采样，得所述I帧的采样图像；非I帧解码模块，用于对所述视频码流中的非I帧以所述非I帧对应的I帧的采样图像作为参考帧进行标准解码；超分辨率复原模块，用于对经过解码得到的非I帧进行超分辨率图像复原，得到原始分辨率的非I帧图像。实施本专利技术实施例，具有如下有益效果：通过对视频帧序列中的I帧和非I帧采用混合分辨率的编码方式进行编码使得视频帧序列中的非I帧的编码数据量减少了一半，且非I帧都采用已下采样之后的I帧为参考帧，使非I帧在编码端不必再做子像素插值和去块效应滤波，降低了计算复杂度，极大的提升了编解码两端的速度，同时又保证主观质量无明显影响。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例中的一种混合分辨率编码方法的流程示意图；图2是本专利技术实施例中的一种混合分辨率解码方法的流程示意图；图3是本专利技术实施例中在对经过解码得到的非I帧进行超分辨率图像复原的流程示意图；图4是本专利技术实施例中进行空域插值滤波的宏块的示意图；图5是本专利技术实施例中对帧间编码的宏块选择插值滤波方式的流程示意图；图6是本专利技术实施例中采用时域与空域相结合的插值滤波方式的宏块的示意图；图7是本专利技术实施例中的一种混合分辨率编码装置的结构示意图；图8是本专利技术实施例中的一种混合分辨率解码装置的结构示意图；图9是本专利技术实施例的混合分辨率解码装置中超分辨率复原模块605的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1是本专利技术实施例中的一种混合分辨率编码方法的流程示意图。如图所示本专利技术实施例中的视频编码流程包括：S101，对视频帧序列中只采用帧内编码的I帧进行全分辨率的标准编码并进行帧重建得到所述I帧的重建帧。本专利技术实施例中的视频帧序列分成多个连续的图像组（Group of Pictur本文档来自技高网...

【技术保护点】
一种混合分辨率编码方法，其特征在于，所述方法包括：对视频帧序列中只采用帧内编码的I帧进行全分辨率的标准编码并进行帧重建得到所述I帧的重建帧；对所述I帧的重建帧进行下采样，得到所述I帧的重建帧的采样图像；对视频帧序列中的非I帧进行下采样，得到所述非I帧的采样图像；以所述非I帧对应的I帧的重建帧的采样图像作为参考帧对所述非I帧的采样图像进行标准编码；发送视频码流，所述视频码流包括经过编码得到的I帧和非I帧。

【技术特征摘要】
1.一种混合分辨率编码方法，其特征在于，所述方法包括：
对视频帧序列中只采用帧内编码的I帧进行全分辨率的标准编码并进行帧
重建得到所述I帧的重建帧；
对所述I帧的重建帧进行下采样，得到所述I帧的重建帧的采样图像；
对视频帧序列中的非I帧进行下采样，得到所述非I帧的采样图像；
以所述非I帧对应的I帧的重建帧的采样图像作为参考帧对所述非I帧的采
样图像进行标准编码；
发送视频码流，所述视频码流包括经过编码得到的I帧和非I帧。
2.如权利要求1所述的方法，其特征在于，所述下采样包括：
对所述I帧的重建帧的帧图像或非I帧的帧图像进行下采样得到采样图像，
所述采样图像的宽度为所述帧图像宽度的1/a、高度为所述帧图像的1／b，其中a
和b均大于1；
若所述采样图像的宽度和高度不是编码宏块的宽度和高度的整数倍，则将
所述采样图像进行扩边，得到宽度和高度分别为所述编码宏块的宽度和高度的
整数倍的采样图像。
3.如权利要求1所述的方法，其特征在于，若所述非I帧为P帧，则对应
的I帧为所述P帧在所述视频帧序列中按播放顺序的前一个I帧；
若所述非I帧为B帧，则对应的I帧为所述B帧在所述视频帧序列中按播
放顺序的前一个I帧和/或后一个I帧。
4.一种混合分辨率解码方法，其特征在于，所述方法包括：
接收视频码流；
对所述视频码流中只采用帧内编码的I帧进行全分辨率的标准解码；
对经过所述全分辨率的标准解码得到的I帧进行下采样，得所述I帧的采样
图像；
对所述视频码流中的非I帧以所述非I帧对应的I帧的采样图像作为参考帧

\t进行标准解码；
对经过解码得到的非I帧进行超分辨率图像复原，得到原始分辨率的非I帧
图像。
5.如权利要求4所述的方法，其特征在于，所述对经过解码得到的非I帧
进行超分辨率图像复原包括：
获取所述经过编码得到的非I帧中采用帧间编码的宏块的运动矢量和残差
数据；
根据所述宏块的运动矢量和残差数据选择采用空域插值滤波、时域插值滤
波或时域与空域相结合的插值滤波的方式对所述采用帧间编码的宏块进行超分
辨率图像复原。
6.如权利要求5所述的方法，其特征在于，所述采用时域插值滤波或时域
与空域相结合的插值滤波的方式对所述采用帧间编码的宏块进行超分辨率图像
复原包括：
根据所述非I帧对应的I帧经过所述全分辨率的标准解码得到的图像对所述
采用帧间编码的宏块进行超分辨率图像复原。
7.如权利要求5所述的方法，其特征在于，所述对经过解码得到的非I帧
进行超分辨率图像复原还包括：
对所述经过解码得到的非I帧中采用帧内编码的宏块进行空域插值滤波。
8.如权利要求4所述的方法，其特征在于，所述下采样包括：
对经过所述全分辨率的标准解码得到的I帧进行下采样得到采样图像，所述
采样图像的宽度为所述帧图像宽度的1/a、高度为所述帧图像的1／b，其中a和b
均大于1；
若所述采样图像的宽度和高度不是所述视频码流的编码宏块的宽度和高度
的整数倍，则将所述采样图像进行扩边，得到宽度和高度分别为所述编码宏块
的宽度和高度的整数倍的采样图像。
9.如权利要求4~8中任一项所述的方法，其特征在于，若所述非I帧为P
帧，则对应的I帧为所述P帧在所述视频帧序列中按播放顺序的前一个I帧；
若所述非I帧为B帧，则对应的I帧为所述B帧在所述视频帧序列中按播
放顺序的前一个I帧和/或后一个I帧。
10.一种混合分辨率编码装置，其特征在于，所述混合分辨率编码装置包
括：
I帧编码模块，用于对视频帧序列中只采用帧内编码的I帧进行全分辨率的
标准编码并进行帧重建得到所述I帧的重建帧；
下采样模块，用于所述I帧的重建帧进行下采样，得到所述I...

【专利技术属性】
技术研发人员：王荣刚，谷沉沉，毛煦楠，陈敬昌，吕静，辛柏成，高文，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44