视频处理系统技术方案

视频处理系统。视频处理系统(31)包括全部可使用外部存储器33的视频处理单元(VPU)(32)以及一个或更多个显示处理单元(34、35)。生成表示要显示的帧的视频数据。VPU(32)生成表示该帧的像素数据并将其存储在存储器(33)中。显示处理单元(34、35)接着读取该像素数据以显示该帧。VPU(32)被配置成生成并在存储器(33)中存储按照基准帧的全分辨率(L0)并且还按照与该全分辨率相比的至少一个较低分辨率(L1、L2)表示用于该系列视频帧的基准帧的像素数据。

【技术实现步骤摘要】

本专利技术涉及视频数据的处理，更具体地，本专利技术涉及处理视频数据的帧的方法和装置。
技术介绍
在针对视频处理系统的领域中已知的是，生成通常供给电子显示器的视频数据帧。视频帧通常被表示为表示图像的像素(像元)的矩形阵列，其中，要用于各个像素的颜色值利用适当的颜色空间(例如，RGB颜色空间)来表示。为大量视频帧存储像素数据需要大量存储器。因此，已经开发了许多视频编码方法，以允许按压缩形式来存储表示视频帧的像素数据。根据许多这种视频编码方法，一系列视频帧中的帧被相对于所谓的“基准帧”(针对该帧，存储了全分辨率像素数据，并且不是参照另一帧限定的)有差别地编码(即，从它们的差别方面)。通常，一系列视频帧中的多个帧关于单个基准帧相对地限定，并且这种安排在该系列视频帧上加以重复。一种这样的视频编码方法使用所谓的“运动估计”，其中，特定帧被划分成例如16×16像素的多个块，并且利用指向基准帧中的对应像素块的矢量值(所谓的“运动矢量”)和描述当前帧像素块与基准帧中的对应像素块之间的差别的数据(所谓的“残差”)来编码各个像素块。这由此允许根据由该运动矢量所指向的基准帧中的像素块的像素数据和描述该像素数据与当前视频帧的像素数据之间的差的残差数据来构造当前帧的像素块的像素数据。与针对一系列视频帧中的每个帧存储原始像素值相比，采用使用基准帧的视频编码方法可以导致存储器需求方面的显著缩减。通常，新的基准帧周期性地生成，例如，一系列帧中的每N个帧。接着，将该基准帧存储在存储器中以供系统使用。例如，生成并存储当前基准帧的像素数据，以供在编码一系列视频帧时使用，例如，用于根据该基准帧导出正在被编码的帧的运动矢量和残差值。(通常，新的基准帧将替换存储器中的现有基准帧)。在解码一系列视频帧(例如，显示一系列视频帧)时，当前基准帧将根据编码的视频数据生成，并且例如被显示而且还被存储，以供在解码该系列中的取决于该基准帧的其它帧时使用。(为了正确地解码差别编码的视频帧，生成全分辨率基准帧并存储在存储器中，以在解码处理期间使用)。申请人认为仍然存在改进用于在视频处理系统中处理视频数据帧的方法和装置的范围。
技术实现思路
根据本专利技术第一方面，提供了一种在视频处理系统中处理视频数据帧的方法，其中，相对于基准帧限定一系列视频帧中的一个或更多个帧的数据，所述方法包括以下步骤：当要在解码该一系列视频帧时使用用于所述一系列视频帧的基准帧的全部或部分时：生成并在存储器中存储按照第一分辨率表示所述基准帧的全部或部分的像素数据；以及生成并在存储器中存储按照与所述第一分辨率相比的至少一个不同分辨率表示所述基准帧的全部或部分的像素数据。根据本专利技术第二方面，提供了一种用于在视频处理系统中处理视频数据帧的装置，其中，相对于基准帧限定一系列视频帧中的一个或更多个帧的数据，所述装置包括：基准帧生成级，其被配置成当要在解码该一系列视频帧时使用用于所述一系列视频帧的基准帧的全部或部分时：生成并在存储器中存储按照第一分辨率表示所述基准帧的全部或部分的像素数据；并且生成并在存储器中存储按照与所述第一分辨率相比的至少一个不同分辨率表示所述基准帧的全部或部分的像素数据。本专利技术涉及这样一种用于在视频处理系统中处理视频数据帧的方法和装置，其采用差分编码，即，其中，相对于基准帧限定一系列视频帧中的一个或更多个帧。在本专利技术中，当需要基准帧的全部或部分来解码一系列视频帧时，例如生成以第一分辨率表示该基准帧的全部或部分的像素数据并存储在存储器中，以使所述像素数据可用于按其与该系列视频帧中的其它(例如，随后)帧的差别(残差)来限定和/或解码它们。然而，除了生成以第一分辨率表示所述基准帧的像素数据并存储以外，本专利技术还生成以相对于所述第一分辨率的一个或更多个不同分辨率表示同一基准帧(或其一部分)的全部或部分的像素数据并存储。在此描述的实施方式通常是指生成像素数据，尤其是针对整个基准帧。然而，这是不需要的。在本专利技术中，生成并存储在存储器中的所述像素数据可以(并且在某些实施方式中)仅按照第一分辨率和至少一个不同分辨率来表示所述基准帧的一部分。如下面将进一步讨论的，申请人已经认识到，提供按照至少两个不同分辨率表示同一基准帧的像素数据在视频处理系统的各个级可以是有益的，并且例如可以提供总体更有效的视频处理系统。例如，如下将进一步讨论的，生成不仅按照第一分辨率而且按照至少一个第二(例如较低的)分辨率表示所述基准帧的像素数据例如可用于促进随后生成的帧的更有效的压缩，或者减少在缩放特定帧以供显示时所需的存储器存取数。该系列视频帧包括相对于基准帧限定(编码)的一个或更多个帧。该系列中的帧可以采用任何合适且希望的次序。然而，在优选实施方式中，这些帧采用它们要被显示的次序。该基准帧本身可以是据以限定该系列视频帧中的一个或更多个帧的任何帧。在优选实施方式中，该基准帧可以是该系列视频帧中的任何帧。例如，该基准帧可以在相对于该基准帧限定的该系列帧中的帧或多个帧之前或之后。然而，在其它安排中，基准帧可以在相对于该基准帧限定的该系列帧中的一个或更多个帧之后并且在一个或更多个其它帧之前。如本领域技术人员应当清楚，可以存在要解码的许多视频帧的集合，包括多个基准帧和相对于相应的基准帧限定的相应的其它帧。在这种情况下，各个基准帧及其相关的帧可以并且优选地按本专利技术的方式处理为一系列帧。(对应地，特定的整个集合或系列视频帧可以由(并且处理为)具有本专利技术的形式的多个系列视频帧组成。要在解码该系列视频帧时使用的表示所述基准帧的像素数据在需要基准帧时生成(并存储在存储器中)。根据本专利技术的实施方式，解码所述系列视频帧的步骤包括：(优选地)利用所述基准帧像素数据来解码所述系列中的所述一个或更多个不独立编码的视频帧，例如，以提供所述帧以供显示。可以按任何合适和希望方式来生成按照第一分辨率表示所述基准帧的所述像素数据。在优选实施方式中，所述生成按照第一分辨率表示所述基准帧的像素数据的步骤包括：确定要用于所述基准帧的像素的合适值(例如，颜色值)。在一个优选实施方式中，所述生成按照第一分辨率表示所述基准帧的像素数据的步骤包括：例如，利用纹理图和/或其它的渲染(rendering)处理来渲染所述像素值。在另一优选实施方式中，所述生成所述基准帧的像素数据的步骤包括：解码表示所述基准帧的编码数据，并且据此生成按照第一分辨率表示所述基准帧的像素数据。这在当前基准帧被以编码形式存储在存储器中的情况下可以是适合的。因此，在优选实施方式中，所述生成按照第一分辨率表示所述基准帧的像素数据的步骤包括：首先从存储器读取现有的基准帧。应当清楚，所述基准帧的分辨率取决于该基准帧内的单个像素的数量，而单个像素的数量限定了可以用于表示所述基准帧的细节的量。所生成的像素数据表示所述基准帧的所述第一分辨率可以是任何合适或希望的分辨率。然而，申请人已经认识到，在正常情况下，通常有用的是，生成按照可能的最大细节量(最大分辨率)来表示所述基准帧的像素数据，以使其以后可以被视频处理系统用于例如解码目的。由此，根据本专利技术的优选实施方式，所述第一分辨率是生成所述基准帧的像素数据的最高分辨率。优选为最大可能分辨率，或者使用最大细节来表示所述基准帧的分辨率(例如，根据可用存储器等)。如果所述视频处理系本文档来自技高网...

【技术保护点】
一种在视频处理系统中处理视频数据帧的方法，其中，相对于基准帧限定用于一系列视频帧中的一个或更多个帧的数据，该方法包括以下步骤：当要在解码所述一系列视频帧时使用所述一系列视频帧的基准帧的全部或部分时：生成并在存储器中存储按照第一分辨率表示所述基准帧的全部或部分的像素数据；以及生成并在存储器中存储按照与所述第一分辨率相比的至少一个不同分辨率表示所述基准帧的全部或部分的像素数据。

【技术特征摘要】
2015.06.11 GB 1510168.61.一种在视频处理系统中处理视频数据帧的方法，其中，相对于基准帧限定用于一系列视频帧中的一个或更多个帧的数据，该方法包括以下步骤：当要在解码所述一系列视频帧时使用所述一系列视频帧的基准帧的全部或部分时：生成并在存储器中存储按照第一分辨率表示所述基准帧的全部或部分的像素数据；以及生成并在存储器中存储按照与所述第一分辨率相比的至少一个不同分辨率表示所述基准帧的全部或部分的像素数据。2.根据权利要求1所述的方法，该方法包括以下步骤：利用已经按照所述第一分辨率生成的所述基准帧的像素数据，生成按照与所述第一分辨率相比的所述至少一个不同分辨率表示所述基准帧的像素数据。3.根据权利要求1或2所述的方法，其中，与所述第一分辨率相比的所述至少一个不同分辨率中的各个分辨率都是比所述第一分辨率低的分辨率。4.根据权利要求1或2所述的方法，其中，被生成并存储并且按照所述第一分辨率和按照所述至少一个不同分辨率表示所述基准帧的像素数据采用表示所述基准帧的mipmap集的两个或更多个或全部级别的形式。5.根据权利要求1或2所述的方法，该方法还包括以下步骤：基于所述视频处理系统将如何使用所述基准帧的像素数据，配置所述基准帧的像素数据的生成。6.根据权利要求5所述的方法，该方法包括以下步骤：基于要显示视频序列的电子显示器或多个电子显示器的分辨率，选择生成所述基准帧所按照的与所述第一分辨率相比的所述至少一个不同分辨率中的一个或更多个或全部分辨率；和/或基于整个视频处理系统中要显示视频系列的不同显示器的数量，选择要表示所述基准帧所要按照的不同分辨率的数量。7.根据权利要求1或2所述的方法，该方法还包括以下步骤：利用按照与所述第一分辨率相比的所述至少一个不同分辨率表示所述基准帧的像素数据，处理所述一系列视频帧中的至少一个帧。8.根据权利要求7所述的方法，其中，所述处理所述一系列视频帧中的至少一个帧的步骤包括：利用按照与所述第一分辨率相比的至少一个较低分辨率表示所述基准帧的像素数据，生成表示用于显示的输出帧的像素数据。9.根据权利要求1或2所述的方法，其中，如果要显示所述基准帧，则：使用用于较低分辨率基准帧的像素数据作为用于显示的帧的像素数据。10.根据权利要求1或2所述的方法，该方法还包括以下步骤，当所述一系列视频帧中的当前帧相对于所述基准帧编码时：利用所述当前帧的编码的像素数据和按照所述第一分辨率表示所述基准帧的像素数据，解码所述当前帧；以及生成并在存储器中存储按照与所述第一分辨率相比的所述至少一个不同分辨率表示所述当前帧的像素数据。11.根据权利要求1或2所述的方法，该方法还包括以下步骤：从所述存储器读取按照与所述第一分辨率相比的所述至少一个不同分辨率表示所述基准帧的全部或部分的像素数据；在生成要显示的输出帧时利用该像素数据；以及向显示器输出生成的输出帧。12.根据权利要求1或2所述的方法，该方法还包括以下步骤：从存储器读取按照与所述第一分辨率相比的所述至少一个不同分辨率表示所述基准帧的全部或部分的像素数据；在针对所述一系列视频帧中的帧执行处理操作时使用该像素数据，以生成表示已处理的帧的像素数据；以及在存储器中存储表示已处理的帧的像素数据。13.根据权利要求1或2所述的方法，其中，按照所述第一分辨率和按照与所述第一分辨率相比的所述至少一个不同分辨率表示所述基准帧的全部或部分的像素数据以压缩的形式存储在存储器中。14.一种在视频处理系统中处理视频数据帧的装置，其中，相对于基准帧限定用于一系列视频帧中的一个或更多个帧的数据，该装置包括：基准帧生成级，其被配置成当要在解码所述一系列视频帧时使用用于所述一系列视频帧的基准帧的全部或部分时：生成并在存储器中存储按照第一分辨率表示所述基准帧的全部或部分的像素数据；以及生成并在存储器中存储按照与所述第一分辨率相比的至少一个不同分辨率表示所述基准帧的全部或部分的像素数据。15.根据权利要求14所述的装置，其中，所述基准帧生成级被配置成利用已经按照所述第一分辨率生成的所述基准帧的像素数据，生成按照与所述第一分辨率相比的所述至少一个不同分辨率表示所述基准帧的像素数据。16.根据权利要求14或15所述的装置，其中，与所述第一分辨率相比的所述至少一个不同分辨率中的各个分辨率都是比所述第一分辨...

【专利技术属性】
技术研发人员：T·安德松，O·霍格森，
申请(专利权)人：ARM有限公司，
类型：发明
国别省市：英国;GB