【技术实现步骤摘要】
本申请实施例涉及图像处理，尤其涉及一种多分辨率编码方法、装置、设备、存储介质及产品。
技术介绍
1、随着互联网技术和图像处理技术的发展，实时通信在视频会议、在线医疗、在线教育等实时互动场景得到了广泛的应用，人们对实时通信的编码延时要求也越来越苛刻。
2、为了提升弱网条件下实时通信场景下视频流畅性，通常会采用调整目标码率、编码帧率甚至编码分辨率的方式，使得输出码率降低至能够适应当前带宽情况，因此弱网条件下实时通信场景中的编码分辨率切换是较频繁的。然而当分辨率发生变化时，编码器必须重启并编码一个切换后的分辨率的立即刷新帧(idr帧，instantaneous decodingrefresh)输出。一方面编码器重启需要先销毁旧的编码器，释放内存，再重新按照最新尺寸申请内存，初始化各种编码参数，计算资源开销较大，导致编码延时增加；另一方面，编码器编码第一个立即刷新帧时的码控状态是初始值，一般情况下第一个立即刷新帧都较大，编码的第一个立即刷新帧更容易增加卡顿风险。目前，在多分辨率场景下，发生分辨率变化时需要重启编码器并生成立即刷新帧，导致计算资源开销较大，编码延时增加，图像编码效果较差。
技术实现思路
1、本申请实施例提供一种多分辨率编码方法、装置、设备、存储介质及产品，以解决相关技术中发生分辨率变化时需要重启编码器并生成立即刷新帧，导致计算资源开销较大，编码延时增加，图像编码效果较差的技术问题，可有效降低计算资源开销，降低编码延时，提升图像编码效果。
2、在第一方面
3、在待编码帧的目标分辨率相对于编码参考帧的原始分辨率发生分辨率变化的情况下，按照缩放比例对编码参考帧进行缩放处理得到缩放参考帧，所述缩放比例根据所述原始分辨率和所述目标分辨率确定；
4、在所述缩放参考帧上对所述待编码帧进行运动估计得到最优运动矢量；
5、根据所述最优运动矢量和所述缩放比例确定匹配块起始点坐标；
6、根据所述匹配块起始点坐标和所述缩放比例在所述编码参考帧上取像素点进行插值滤波生成编码预测帧，并根据所述待编码帧和所述编码预测帧之间的残差信息生成目标编码帧，所述目标编码帧用于解码端根据所述目标编码帧和所述缩放比例在解码参考帧上进行插值滤波生成解码预测帧，并根据所述解码预测帧和所述残差信息生成目标解码帧。
7、在第二方面，本申请实施例提供了一种多分辨率编码装置，包括缩放处理模块、运动估计模块、起始坐标确定模块和编码处理模块，其中：
8、所述缩放处理模块，配置为在待编码帧的目标分辨率相对于编码参考帧的原始分辨率发生分辨率变化的情况下，按照缩放比例对编码参考帧进行缩放处理得到缩放参考帧，所述缩放比例根据所述原始分辨率和所述目标分辨率确定；
9、所述运动估计模块，配置为在所述缩放参考帧上对所述待编码帧进行运动估计得到最优运动矢量；
10、所述起始坐标确定模块，配置为根据所述最优运动矢量和所述缩放比例确定匹配块起始点坐标；
11、所述编码处理模块，配置为根据所述匹配块起始点坐标和所述缩放比例在所述编码参考帧上取像素点进行插值滤波生成编码预测帧，并根据所述待编码帧和所述编码预测帧之间的残差信息生成目标编码帧，所述目标编码帧用于解码端根据所述目标编码帧和所述缩放比例在解码参考帧上进行插值滤波生成解码预测帧，并根据所述解码预测帧和所述残差信息生成目标解码帧。
12、在第三方面，本申请实施例提供了一种多分辨率编码设备，包括：存储器以及一个或多个处理器；
13、所述存储器，用于存储一个或多个程序；
14、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的多分辨率编码方法。
15、在第四方面，本申请实施例提供了一种存储计算机可执行指令的非易失性存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的多分辨率编码方法。
16、在第五方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行如第一方面所述的多分辨率编码方法。
17、本申请实施例通过在待编码帧的目标分辨率相对于编码参考帧的原始分辨率发生分辨率变化时，按照缩放比例对编码参考帧进行缩放处理得到缩放参考帧，在缩放参考帧上对待编码帧进行运动估计得到最优运动矢量，根据最优运动矢量和缩放比例确定匹配块起始点坐标，根据匹配块起始点坐标和缩放比例在编码参考帧上取像素点进行插值滤波生成编码预测帧，并根据待编码帧和编码预测帧之间的残差信息生成目标编码帧，目标编码帧可用于解码端根据匹配块起始点坐标和缩放比例在解码参考帧上进行插值滤波生成解码预测帧，并根据解码预测帧和残差信息生成目标解码帧，在发生分辨率变化时不需要重启编码器以及生成立即刷新帧，在保证图像编码效果的同时，可有效降低计算资源开销，降低编码延时。
本文档来自技高网...【技术保护点】
1.一种多分辨率编码方法，其特征在于，包括：
2.根据权利要求1所述的多分辨率编码方法，其特征在于，所述根据所述最优运动矢量和所述缩放比例确定匹配块起始点坐标，包括：
3.根据权利要求2所述的多分辨率编码方法，其特征在于，所述根据所述最优运动矢量确定缩放匹配块起始点坐标，包括：
4.根据权利要求1所述的多分辨率编码方法，其特征在于，所述根据所述匹配块起始点坐标和所述缩放比例在所述编码参考帧上取像素点进行插值滤波生成编码预测帧，包括：
5.根据权利要求1所述的多分辨率编码方法，其特征在于，所述插值滤波对应的插值滤波器基于以下公式进行确定：
6.根据权利要求1所述的多分辨率编码方法，其特征在于，在所述根据所述待编码帧和所述编码预测帧之间的残差信息生成目标编码帧之后，还包括：
7.根据权利要求1所述的多分辨率编码方法，其特征在于，在所述根据所述待编码帧和所述编码预测帧之间的残差信息生成目标编码帧之后，还包括：
8.根据权利要求1所述的多分辨率编码方法，其特征在于，在所述按照缩放比例对编码参考帧进行缩放处
9.一种多分辨率编码装置，其特征在于，包括缩放处理模块、运动估计模块、起始坐标确定模块和编码处理模块，其中：
10.一种多分辨率编码设备，其特征在于，包括：存储器以及一个或多个处理器；
11.一种存储计算机可执行指令的非易失性存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-8任一项所述的多分辨率编码方法。
12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的多分辨率编码方法。
...【技术特征摘要】
1.一种多分辨率编码方法，其特征在于，包括：
2.根据权利要求1所述的多分辨率编码方法，其特征在于，所述根据所述最优运动矢量和所述缩放比例确定匹配块起始点坐标，包括：
3.根据权利要求2所述的多分辨率编码方法，其特征在于，所述根据所述最优运动矢量确定缩放匹配块起始点坐标，包括：
4.根据权利要求1所述的多分辨率编码方法，其特征在于，所述根据所述匹配块起始点坐标和所述缩放比例在所述编码参考帧上取像素点进行插值滤波生成编码预测帧，包括：
5.根据权利要求1所述的多分辨率编码方法，其特征在于，所述插值滤波对应的插值滤波器基于以下公式进行确定：
6.根据权利要求1所述的多分辨率编码方法，其特征在于，在所述根据所述待编码帧和所述编码预测帧之间的残差信息生成目标编码帧之后，还包括：
7.根据权利要求1所述的...
【专利技术属性】
技术研发人员：刘曼曼，
申请(专利权)人：百果园技术新加坡有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。