用于减小增强插值滤波器的内存带宽的仿射运动模型限制制造技术

一种在编码器或解码器中实现的用于对视频进行译码的方法，所述编码器或解码器包括用于进行运动补偿的增强插值滤波器(enhanced interpolation filter，EIF)，所述方法包括：(i)根据仿射帧间预测确定块的控制点运动矢量(control point motion vector，CPMV)，所述块是仿射块或所述仿射块的子块；(ii)对于预定义子块尺寸，根据所述CPMV的值确定具有所述预定义子块尺寸的子块的参考区域；(iii)将所述确定的参考区域与预定义阈值进行比较；iv)使用EIF进行运动补偿，包括推导所述块的基于像素的运动矢量场；其中，如果所述确定的参考区域大于所述阈值，则推导所述块的所述基于像素的运动矢量场还包括运动矢量限幅(clipping)，其中，运动矢量限幅范围根据所述块的运动模型和所述块的所述尺寸确定。所述块的所述尺寸确定。

【技术实现步骤摘要】
【国外来华专利技术】用于减小增强插值滤波器的内存带宽的仿射运动模型限制
[0001]相关申请案交叉申请
[0002]本专利申请要求于2019年9月30日提交的国际专利申请PCT/RU2019/000691的优先权。上述专利申请的全部公开内容通过引用的方式并入本文中。
[0003]本专利申请还要求2020年1月7日提交的美国临时申请US62/958,291的优先权。上述专利申请的全部公开内容通过引用的方式并入本文中。


[0004]本申请(专利技术)的实施例大体上涉及图像处理领域，更具体地，涉及帧间预测。

技术介绍

[0005]视频译码(视频编码和解码)广泛用于数字视频应用，例如广播数字TV、通过互联网和移动网络传输视频、实时会话应用(如视频聊天)、视频会议、DVD和蓝光光盘、视频内容采集和编辑系统，以及安全应用的摄像机。
[0006]即使视频较短，也需要大量的视频数据来描述，当数据要在带宽容量受限的通信网络中流式传输或以其它方式传输时，这样可能会造成困难。因此，视频数据通常要先压缩，然后通过现代电信网络进行传输。由于内存资源有限，当在存储设备中存储视频时，需要考虑该视频的尺寸。视频压缩设备通常在信源侧使用软件和/或硬件，以在发送或存储之前对视频数据进行译码，从而减少用来表示数字视频图像所需的数据量。然后，对视频数据进行解码的视频解压缩设备在目的地侧接收压缩数据。在网络资源有限以及对更高视频质量的需求不断增长的情况下，需要改进压缩和解压缩技术，这些改进的技术在几乎不影响图像质量的情况下能够提高压缩比。
>
技术实现思路

[0007]本申请实施例提供了独立权利要求请求保护的用于进行编码和解码的装置和方法。
[0008]上述和其它目的通过独立权利要求请求保护的主题实现。其它实现方式从从属权利要求、说明书和附图中是显而易见的。
[0009]本专利技术提供：
[0010]一种在编码器或解码器中实现的用于对视频进行译码的方法，所述编码器或解码器包括用于进行运动补偿的增强插值滤波器(enhanced interpolation filter，EIF)，所述方法包括：
[0011]i)根据仿射帧间预测确定块的控制点运动矢量(control point motion vector，CPMV)，
[0012]所述块是仿射块或所述仿射块的子块；
[0013]ii)对于预定义子块尺寸，根据所述CPMV的值确定具有所述预定义子块尺寸的子块的参考区域；
[0014]iii)将所述确定的参考区域与预定义阈值进行比较；
[0015]iv)使用EIF进行运动补偿，包括推导所述块的基于像素的运动矢量场；
[0016]其中，如果所述确定的参考区域大于所述阈值，则推导所述块的所述基于像素的运动矢量场还包括运动矢量限幅，
[0017]其中，运动矢量限幅范围根据所述块的运动模型和所述块的所述尺寸确定。
[0018]这里，应理解，子块的参考区域是指参考帧中包含根据推导的运动矢量场和插值滤波器长度对子块执行运动补偿所需的所有样本的最小矩形区域。
[0019]需要说明的是，在本专利技术的上下文中，术语“行(line)”与术语“行(row)”的含义相同。
[0020]为了提高帧间预测的译码效率，可以使用基于块的仿射变换预测。这里，使用增强型双线性插值滤波器(EIF)的滤波可以用于整个预测块和子块。EIF可用于简化运动补偿，因为使用双线性插值滤波器代替基于DCT的8/4抽头插值滤波器。此外，对于具有特定运动特性的视频内容，例如当旋转是主要运动时，由于使用了基于像素的运动矢量场，EIF改进了视频译码性能。
[0021]因此，在上述EIF的方法中，确定在本上下文中是否可以限制EIF的使用。在本上下文中可以限制EIF的使用的情况下，可以执行运动矢量限幅，然后可以使用限幅的运动矢量来使用EIF。因此，即使在其它限制可能妨碍EIF使用的情况下，也可使用EIF。
[0022]与在没有任何附加条件的情况下在EIF中使用MV限幅相比，当前的先验参考区域确定方法保证了仅在内存消耗超过允许的最大值时才使用限幅。所述方法有利于6参数仿射运动模型，其中，可能发生非对称垂直和水平缩放。例如，如果块垂直缩放比例为X，水平缩放比例为1/X，则块的参考区域几乎与块的区域相同，因此在这种情况下，不需要为限制内存带宽而进行的运动矢量限幅。在内存带宽小于阈值的情况下不应用附加的运动矢量限幅可提高视频译码效率，因为附加的运动矢量限幅会导致运动场质量下降，进而导致预测和重建的信号质量下降。
[0023]在如以上所描述的方法中，使用EIF进行运动补偿还可以包括：
[0024]根据所述推导的运动矢量场，使用T抽头插值滤波器获取参考图像中的插值样本，其中，T是对应于滤波器长度的插值滤波器抽头的数量，其中，T大于一；
[0025]将高通滤波器应用于所述插值样本。
[0026]在如以上所描述的方法中，使用EIF进行运动补偿还可以包括：
[0027]确定所述块的尺寸；
[0028]将所述块的所述尺寸与所述块的所述尺寸的第一阈值进行比较；
[0029]其中，当所述块的所述尺寸大于或等于所述块的所述尺寸的所述第一阈值时，对所述块执行基于块的仿射变换预测。
[0030]还应理解，在该上下文中，“基于块的”是指相同的运动矢量(motion vector，MV)用于整个子块的运动补偿(motion compensation，MC)，相比之下，EIF中MC是基于像素的。
[0031]在如以上所描述的方法中，块的尺寸可以根据仿射运动模型参数确定。
[0032]在如以上所描述的方法中，仿射运动模型参数可以包括CPMV的运动矢量差以及块的宽度和高度。
[0033]在如以上所描述的方法中，仿射运动模型参数还可以包括CPMV的精度。
[0034]在如以上所描述的方法中，预定义阈值可以根据预定义子块尺寸和对应于参考图像中的子块的参考区域与子块的区域的预定义比率计算。
[0035]在如以上所描述的方法中，对应于参考图像中的子块的参考区域与子块的区域的预定义比率可以对应于EIF的内存带宽。
[0036]在如以上所描述的方法中，预定义阈值可以是块的预定义子块尺寸的最大允许内存访问消耗。
[0037]因此，换句话说，预定义阈值可以根据每个样本的最大允许内存访问消耗和预定义子块尺寸来确定。
[0038]在如以上所描述的方法中，根据CPMV的值确定具有预定义子块尺寸的子块的参考区域可以包括：
[0039]根据所述高通滤波器的长度，通过从所述子块的每个边界添加像素裕量来确定扩展块；
[0040]根据所述CPMV推导所述扩展块的每个顶点的运动矢量；
[0041]根据所述推导的运动矢量推导所述参考图像中的变换块；
[0042]推导所述变换块的边界框；
[0043]其中，所述参考块的所述区域对应于从所述边本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种在编码器或解码器中实现的用于对视频进行译码的方法，其特征在于，所述编码器或解码器包括用于进行运动补偿的增强插值滤波器(enhanced interpolation filter，EIF)，所述方法包括：i)根据仿射帧间预测确定块的控制点运动矢量(control point motion vector，CPMV)，所述块是仿射块或所述仿射块的子块；ii)对于预定义子块尺寸，根据所述CPMV的值确定具有所述预定义子块尺寸的子块的参考区域；iii)将所述确定的参考区域与预定义阈值进行比较；iv)使用EIF进行运动补偿，包括推导所述块的基于像素的运动矢量场；其中，如果所述确定的参考区域大于所述预定义阈值，则推导所述块的所述基于像素的运动矢量场还包括运动矢量限幅，其中，运动矢量限幅范围根据所述块的运动模型和所述块的所述尺寸确定。2.根据权利要求1所述的方法，其特征在于，使用EIF进行运动补偿还包括：根据所述推导的运动矢量场，使用T抽头插值滤波器获取参考图像中的插值样本，其中，T是对应于滤波器长度的插值滤波器抽头的数量，其中，T大于零；将高通滤波器应用于所述插值样本。3.根据权利要求1或2所述的方法，其特征在于，使用EIF进行运动补偿还包括：确定所述块的尺寸；将所述块的所述尺寸与所述块的所述尺寸的第一阈值进行比较；其中，当所述块的所述尺寸大于或等于所述块的所述尺寸的所述第一阈值时，对所述块执行基于块的仿射变换预测。4.根据权利要求3所述的方法，其特征在于，所述块的所述尺寸根据仿射运动模型参数确定。5.根据权利要求4所述的方法，其特征在于，所述仿射运动模型参数包括所述CPMV的运动矢量差以及所述块的宽度和高度。6.根据权利要求4或5所述的方法，其特征在于，所述仿射运动模型参数还包括所述CPMV的精度。7.根据权利要求1至6中任一项所述的方法，其特征在于，所述预定义阈值是根据所述预定义子块尺寸和对应于所述参考图像中的所述子块的所述参考区域与所述子块的所述区域的预定义比率计算的。8.根据权利要求7所述的方法，其特征在于，对应于所述参考图像中的所述子块的所述参考区域与所述子块的所述区域的所述预定义比率对应于所述EIF的内存带宽。9.根据权利要求7所述的方法，其特征在于，所述预定义阈值是所述块的所述预定义子块尺寸的最大允许内存访问消耗。10.根据权利要求2至9中任一项所述的方法，其特征在于，根据所述CPMV的值确定具有所述预定义子块尺寸的子块的所述参考区域包括：根据所述高通滤波器的长度，通过从所述子块的每个边界添加像素裕量来确定扩展块；根据所述CPMV推导所述扩展块的每个顶点的运动矢量；
根据所述推导的运动矢量推导所述参考图像中的变换块；推导所述变换块的边界框；其中，所述参考块的所述区域对应于从所述边界框的每个边界扩展(T
‑
1)个像素的边界框。11.根据权利要求10所述的方法，其特征在于，所述参考图像中的所述变换块的所述边界框的所述尺寸通过以下公式推导，其中，max函数返回参数的最大值，min函数返回参数的最小值：其中，所述参考图像中的所述变换块的位置通过所述变换块的顶点样本(左上顶点、右上顶点、左下顶点、右下顶点)的坐标描述：其中，W和H分别是所述子块的宽度和高度，dHorX、dHorY、dVerX、dVerY是所述仿射运动模型的水平梯度参数和垂直梯度参数。12.根据权利要求11所述的方法，其特征在于，所述边界框的所述尺寸由W'
×
H'给出；或所述边界框的所述尺寸由Ceil(W
′
)
×
Ceil(H
′
)给出；或所述边界框的所述尺寸由Floor(W
′
)
×
Floor(H
′
)给出。13.根据权利要求2至12中任一项所述的方法，其特征在于，所述滤波器长度的值是为编码器和解码器预定义的，或在编解码器视频序列的参数集中指定的。14.根据权利要求13所述的方法，其特征在于，对于4
×
4子块，所述预定义阈值T由以下公式给出：其中，T'是用于平移运动块的运动补偿(motion compensation，MC)插值滤波器的长度。15.根据权利要求14所述的方法，其特征在于，对于8
×
8子块，所述预定义阈值T由以下公式给出：其中，T'是用于平移运动块的运动补偿(motion compensation，MC)插值滤波器的长度。16.根据权利要求15所述的方法，其特征在于，还包括：计算所述块的中心的运动矢量并执行平移运动补偿。17.根据权利要求1至16中任一项所述的方法，其特征在于，所述增强插值滤波器的所述子块的所述预定义尺寸等于4
×
4；其中，dX[0]对应于dHorX，dX[1]对应于dHorY，dY[0]对应于dVerX，dY[1]对应于dVerY；其中，根据所述CPMV的值确定具有预定义子块尺寸的子块
的参考区域包括：将变量eifSubblockSize的值设置为4；如下推导变量eifCanBeApplied：将eifCanBeApplied的值设置为TR...

【专利技术属性】
技术研发人员：蒂莫菲，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：