无滤波相依性的视频帧的并行编码制造技术

公开了用于使用多个处理核心来压缩图像的数据的技术。该技术包括：使用第一(第二等)处理核心获得近似图像的第一(第二等)部分的源像素的第一(第二等)多个重构块；以及使用所述第一处理核心对所述第一多个重构块进行滤波。该滤波包括启用一个或更多个滤波器到包括第一多个重构块的像素但不包括第二多个重构块的像素的第一多个区域的应用。所述滤波还包括禁用所述一个或更多个滤波器到包括所述第一多个重构块的像素和所述第二多个重构块的像素的第二多个区域的应用。像素的第二多个区域的应用。像素的第二多个区域的应用。

【技术实现步骤摘要】
【国外来华专利技术】无滤波相依性的视频帧的并行编码


[0001]至少一个实施例涉及用于执行和促进视频文件的有效压缩的计算技术。例如，至少一个实施例涉及由视频编解码器用于使用现代视频编码标准对高清视频文件进行有效编码的操作，在提供增强视频质量的大量工具和选项的同时，以增加的计算复杂度为代价。

技术介绍

[0002]原始(源)像素格式的视频文件可能占用非常大的存储器空间并且可能需要大的网络带宽和/或时间来用于其网络传输。这通常使得原始像素格式对于数据存储和/或实况流式传输是不切实际的。例如，典型的高清视频显示每秒约30帧，这通常彼此相当类似。此类帧中的许多信息必然是冗余的，从而允许有效压缩。一方面，在后续帧之间出现相对较小的变化(时间冗余)。另一方面，给定帧中的各个区域通常彼此相似(空间冗余)，例如，天空的图像可在帧的大部分上延伸。因此，代替传输每个像素的实际像素信息(亮度和色度)，编解码器可以识别类似于被编码(“预测”)的块的参考块并且将实际源块与预测块之间的差(“增量”或“残差”)的合适且紧凑的数学表示提供给解码器。参考块可为不同(例如，先前或甚至后续)帧的块、同一帧的块，或甚至为根据基于少量参考像素的某一预定方案(模式)生成的合成块。随后，代替存储或实况流式传输像素的实际帧，编解码器可以输出编码数据的比特流，该比特流主要包含到解码器的关于如何生成帧的近似的指令，该帧的视觉外观与源帧不可区分或非常相似。
附图说明
[0003]图1A是根据至少一些实施例的可以实施所公开的用于高效编码操作的技术的示例计算设备的示意性框图。<br/>[0004]图1B是描绘了根据至少一些实施例的用于高效编码操作的编解码器系统的滤波操作的示意图。
[0005]图2A是描绘了根据至少一些实施例的用于高效编码操作的编解码器系统的顺序处理的操作的示意图。
[0006]图2B是描绘了根据至少一些实施例的用于高效编码操作的编解码器系统的另一种可能的顺序处理的操作的示意图。
[0007]图3是根据至少一些实施例的用于高效编码操作的视频编码期间在视频帧的多核心处理期间对重构块进行滤波的示例方法的流程图。
[0008]图4A是根据至少一些实施例的用于高效编码操作的视频编码期间并行处理视频帧的示例方法的流程图。
[0009]图4B是根据至少一些实施例的用于高效编码操作的视频编码期间用于并行处理视频帧确定中间像素的示例方法的流程图。
[0010]图5示出了呈计算机系统形式的示例机器，在该计算机系统内，可以执行用于使该机器执行在此讨论的任何一个或更多个方法的一组指令。
具体实施方式
[0011]视频编解码器允许数字视频文件被压缩以便减少存储和传输文件所需的存储空间量和带宽。当源视频文件未压缩并显示给观看者时，压缩视频文件可看起来非常类似于源视频文件或与源视频文件不可区分。为了压缩数字视频文件，编解码器将视频的每个帧划分为一系列块。对于每一块，编解码器确定用于压缩的最佳大小和最佳模式。编解码器可确定使用帧内预测模式或帧间预测模式。然后，对于每个块，在进行大小选择和模式选择之后，编解码器可以将预测块的像素与源像素的相应块进行比较，计算差(残差)，并且在输出比特流中编码预测大小、预测模式和残差像素值。单个帧可以被划分成多个大小的块，并且每个块可以具有其唯一的预测模式。后续帧可以被划分成不同大小的块，并且每个块可以具有与先前帧的块的预测模式不同的预测模式。编解码器单独地处理每个帧，并且尝试最小化编码帧的成本。
[0012]帧的每个像素值可以包括多个分量，如指示像素的明亮度或强度的亮度分量和指示像素的一种或更多种颜色的色度分量(例如，红色、绿色、蓝色色度值或任何其他适合的颜色值)。
[0013]帧内预测块可使用来自相邻块的参考像素值来近似源块的像素值。例如，帧内预测块的像素值可基于来自其上方的块的下边界的像素值、从块的右边界到其左边的像素值、从块的右下角到其左上的像素值，或这些像素值的组合。帧内预测模式在具有跨越许多块(例如，蓝天)的类似色彩的视频帧的区域中是有效的。
[0014]帧间预测块可以使用来自先前帧或后续帧(在此称为参考帧)的像素值来近似源块的像素值。帧间预测对于视频中的移动对象特别有效。当对象移动时，当前帧中的对象可看起来与参考帧中的对象相似或相同，即使对象可处于新位置中。编解码器可使用来自参考帧中的对象的相同像素值来近似当前帧中的对象的像素值。因为编解码器使用来自参考帧的相同像素值且不需要为帧间预测块产生新的一组像素值，所以帧间预测块经常导致比帧内预测块高的压缩率。
[0015]存在已经定义的各种视频编解码器标准，诸如H.264(高级视频编码或AVC)、H.265(高效率视频编码或HEVC)、H.266(通用视频编码或VVC)、VP9和AV1(AO媒体视频1(AOMedia Video 1))。每一标准定义一组所辨识帧间预测模式和一组所辨识帧内预测模式。每个标准还定义可接受的一组块大小。例如，AV1允许58个帧内预测模式、多个帧间预测模式以及多种块大小，包括以下大小(以像素为单位)的正方形块：8x8、16x16、32x32、64x64、128x128以及矩形块64x32、32x64、32x16、16x32、16x8、8x16。
[0016]标准视频编解码器开始于帧的左上角，评估块大小和预测模式(帧内预测模式和帧间预测模式两者)的所有可能组合的成本，基于所计算的成本进行选择，并且前进到下一块(例如，左上块右侧的块)。因为帧内预测模式使用来自相邻块的像素值，所以每一块需要顺序处理，以便确保相邻块已经被处理且具有可用于当前块的处理的参考像素。
[0017]多个处理核心(物理或虚拟核心)可用于加速块的处理。每个核心可以与处理同一帧的一个或更多个不同分块的其他核心并行地处理视频帧的一个或更多个分块。例如，核心1可处理包括帧的上半部分的块的第一多个分块，而核心2可处理包括帧的下半部分的块的第二多个分块。每一核心获得相应多个分块内的预测块(例如，使用帧间预测模式或帧内预测模式)，且计算表示相应块的源像素与预测块的像素之间的差的残差块。然后使用合适
的离散变换(例如，离散傅里叶变换、离散余弦变换等)来处理残差块，并且执行量化以消除人眼难以辨别的经变换的表示的短波长(大频率)端。变换的剩余的(经量化的)系数被编码在比特流中，该比特流通过实况流或经由存储器存储被提供给接收设备(例如，解码器)。
[0018]另外，在编码器大小上，执行解码过程以确定待应用于经解码块的滤波器的参数以便改进视频帧的成像质量。具体地，通过使用量化的系数对离散变换进行反转来获得逆残差块。然后将逆残差块与预测块相加以获得重构块。然而，所获得的经重构视频帧(由重构块组成)可包括所执行的压缩程序的多种伪影。例如，经重构视频帧可沿着各个块的边界具有强度/颜色的不连续性，离散变换的经量化表示可导致视频帧中所描绘的对象的锐边界模糊(振铃伪影)，一些块可能已获得噪声等等。
[0019]为了减少压缩伪影，处理核心中的每本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于压缩图像的数据的方法，所述方法包括：使用第一处理核心获得近似所述图像的第一部分的源像素的第一多个重构块；使用第二处理核心获得近似所述图像的第二部分的源像素的第二多个重构块；以及使用所述第一处理核心对所述第一多个重构块进行滤波，所述滤波包括：启用一个或更多个滤波器到第一多个区域的应用，其中所述第一多个区域中的每一个包括所述第一多个重构块的像素并且不包括所述第二多个重构块的像素；以及禁用所述一个或更多个滤波器到第二多个区域的应用，其中所述第二多个区域中的每一个包括所述第一多个重构块的像素及所述第二多个重构块的像素。2.根据权利要求1所述的方法，其中，所述一个或更多个滤波器包括解块滤波器、约束定向增强滤波器、维纳滤波器或自引导滤波器中的至少一个。3.根据权利要求1所述的方法，其中，使用基于AV1、HEVC、VVC或VP9视频编码标准中的一种的压缩算法，获得所述第一多个重构块和所述第二多个重构块。4.根据权利要求1所述的方法，还包括：使用所述第二处理核心启用所述一个或更多个滤波器到第三多个区域的应用，其中所述第三多个区域中的每一个包括所述第二多个重构块的像素且不包括所述第一多个重构块的像素。5.根据权利要求1所述的方法，其中，禁用所述一个或更多个滤波器到所述第二多个区域的应用包括：识别所述第二多个区域中的每一个与将所述第一多个重构块和所述第二多个重构块分开的边界相交；以及针对所述第二多个区域中的每一个设置一个或更多个区域特定滤波器配置参数，以指示所述一个或更多个滤波器不应用于所述第二多个区域中的相应区域，其中所述一个或更多个区域特定滤波器配置参数具有在用于压缩所述图像的所述数据的视频编码器的规范中定义的格式。6.根据权利要求1所述的方法，其中，获得所述第一多个重构块包括：确定所述图像的中间像素；使用所述第一处理核心将所述图像的所述第一部分的每个位置与具有第一大小的多个块中的块和具有第二大小的多个块中的块相关联；使用所述第一处理核心，针对所述第一大小的每个块及针对所述第二大小的每个块，并行地使用所述中间像素确定用于第一模式的第一成本和用于第二模式的第二成本；使用所述第一处理核心，针对所述图像的所述第一部分的每个位置，使用与对应位置相关联的所述第一大小的相应块和所述第二大小的相应块中的每一个的所述第一成本和所述第二成本，i)从至少所述第一模式和所述第二模式中选择最终模式以及ii)从至少所述第一大小和所述第二大小中选择最终块大小；使用所述第一处理核心基于针对所述图像的所述第一部分的每个位置所选择的最终模式和所选择的最终块大小确定最终像素；以及使用所述第一处理核心并且基于所述最终像素获得所述第一多个重构块的像素。7.根据权利要求6所述的方法，其中，确定所述中间像素包括：使用所述第一处理核心将所述图像的所述第一部分分割为第三大小的多个块；
顺序地处理所述第三大小的每个块以确定所述第一模式的第三成本和所述第二模式的第四成本，其中确定所述第三成本和所述第四成本使用为先前处理的块获得的一组中间像素；基于所述第一模式的所述第三成本与所述第二模式的所述第四成本的比较，针对所述第三大小的每个块选择中间模式；以及使用所选择的中间模式来获得所述第三大小的对应块的一组中间像素。8.一种系统，包括：存储器设备，其用于存储图像的源像素；以及一个或更多个电路，其通信地耦合到所述存储器设备，所述一个或更多个电路被配置为：使用第一处理核心获得近似所述图像的第一部分的所述源像素的第一多个重构块；使用第二处理核心获得近似所述图像的第二部分的所述源像素的第二多个重构块；以及使用所述第一处理核心对所述第一多个重构块进行滤波，其中为了对所述第一多个重构块进行滤波，所述一个或更多个电路用于：启用一个或更多个滤波器到第一多个区域的应用，所述第一多个区域中的每一个包括所述第一多个重构块的像素并且不包括所述第二多个重构块的像素；以及禁用所述一个或更多个滤波器到第二多个区域的应用，所述第二多个区域中的每一个包括所述第一多个重构块的像素和所述第二多个重构块的像素。9.根据权利要求8所述的系统，其中，所述一个或更多个滤波器包括解块滤波器、约束定向增强滤波器、维纳滤波器或自引导滤波器中的至少一个。10.根据权利要求8所述的系统，其中，使用基于AV1、HEVC、VVC或VP9视频编码标准中的一种的压缩算法，获得所述第一多个重构块和所述第二多个重构块。11.根据权利要求8所述的系统，其中，所述一个或更多个电路进一步被配置为：使用所述第二处理核心启用所述一个或更多个滤波器到第三多个区域的应用，其中所述第三多个区域中的每一个包括所述第二多个重构块的像素且不包括所述第一多个重构块的像素。12.根据权利要求8所述的系统，其中，为了禁用所述一个或更多个滤波器到所述第二多个区域的应用，所述一个或更多个电路进一步被配置为：识别所述第二多个区域中的每一个与将所述第一多...

【专利技术属性】
技术研发人员：唐永茂，陈建军，冯炜，S，
申请(专利权)人：辉达公司，
类型：发明
国别省市：