可缩放视频编码中的编码依赖指示制造技术

一种对包括基础层和至少一个增强层的可缩放视频数据流编码和解码的方法。对可缩放数据流编码，其中该数据流在层的时间位置包括至少一个非必需画面，其中在所述时间位置和按照解码顺序继所述时间位置之后对上层中的画面解码无需所述非必需画面；以及在可缩放视频数据流中用信号发送至少一个非必需画面的信息。在解码阶段中，对用信号发送的信息解码，而在不对所述非必需画面解码的情况下在所述时间位置和按照解码顺序继所述时间位置之后对在非必需画面以上的层中的画面解码。

【技术实现步骤摘要】
【国外来华专利技术】可缩放视频编码中的编码依赖指示
中指示编码依赖。
技术介绍
一些 一见频编码系统利用这样的可缩》文编码，其中可以去除—见频 序列的一些单元或者单元组而不影响视频序列其它部分的重建。可 缩放视频编码对于在利用具有宽范围处理能力的解码器的系统中使 用的许多多媒体应用和服务而言是合乎需要的特征。可缩放位流可 以例如用于在流服务器中预编码单播流的速率适配以及用于将单个 位流发送到具有不同能力和/或具有不同网络条件的终端。通常通过将图像帧分组成多个分级层来实施可缩放性。编码成 基础层图像帧的图像帧基本上仅包括在接收端对视频信息解码所必 需的图像帧。可以在基础层之上确定一个或者多个增强层，各增强 层较下层而言改进了解码视频的质量。然而，可以通过仅对可缩放 位流的某些部分解码来产生有意义的解码表示。增强层可以增强时间分辨率(即帧速率)、空间分辨率或者仅 增强质量。在一些情况下，可以在某一位置、甚至是任意位置截取 增强层的数据，由此具有 一 些附加数据的各截取位置代表了越发i曽 强的视觉质量。这样的可缩放性称为细颗粒化(颗粒度)可缩放性(FGS)。与FGS对照而言，没有提供细颗粒化可缩放性的质量增 强层所提供的可缩放性称为粗颗粒化可缩放性(CGS)。在可缩》文一见频编码领域中的当前开发项目之一是以后将称为 ITU-T H.264视频编码标准(也称为ISO/IEC MPEG-4 AVC )的可缩 放扩展的可缩放视频编码(SVC)标准。根据SVC标准草案，在空 间或者CGS增强层中的编码画面包括对层间预测基础的指示。层间预测包括对如下三个参数中一个或者多个参数的预测编码模式、运动信,氛、和采样残留。对层间预须'j的使用可以显著地改进增强层的 编码效率。层间预测总是来自下层，即在对下层解码时从不需要高 层。在可缩放视频位流中，对于增强层画面，针对层间预测而选揭: 来自任一个的画面。因而，如果视频流包括多个可缩放层，则它可能包括在对整个上层进行解码和回放时不需要的中间层上的画面。 这样的画面称为非必需画面(用于对整个上层进行的解码)。然而，现有技术的可缩放视频方法具有严重缺点，即在对非必 需画面进行解码之前没有用以指示这样的依赖信息的手段。因而， 解码器必须对非必须画面进行解码，这在计算量方面有所浪费，以 及必须緩存对应的解码画面，这在存储器消耗方面有所浪费。可选 地，如果在特定时间位置的非必需画面为非参考画面，则解码器可 以等待画面到达在需要回放的可缩放层的该时间位置、然后解析依 赖信息。然而，这一点造成端到端延迟增加，这是实时视觉应用所 无法冲妻受的。
技术实现思路
现在专利技术了一种改进方法和实施该方法的技术设备，通过该方 法和设备可以在非必需画面的解码之前向解码器指示它们。本专利技术 的各种方面包括编码和解码方法、编码器、解码器、视频编码设备、 视频解码设备、用于执行编码和解码的计算机程序以及数据结构， 这些方面的特征如下所述。7>开了本专利技术的各种实施例。根据第 一 方面，根据本专利技术的方法是基于对包括基础层和至少 一个增强层的可缩放视频数据流进行编码的思想，其中可缩放数据 流在层的时间位置包括至少一个非必需画面，其中在所述时间位置 和按照解码顺序继所述时间位置之后对上层中的画面进行的解码无需所述非必需画面；以及在可缩放视频数据流中用信号发送至少一个非必需画面的信息。根据 一 个实施例， 一 个或者多个增强层包括 一 个或者多个空间 增强层、质量增强层或者细颗粒度可缩放(FGS)增强层。根据 一 个实施例，在所述可缩放数据流的部分内执行所述信号 发送。根据一个实施例，在补充增强信息(SEI)消息中执行所述信号 发送。根据第二方面，提供一种对包括基础层和至少一个增强层的可 缩放视频数据流进行解码的方法，该方法包括对与可缩放数据流 一起接收的信号发送信息进行解码，所述信号发送信息包括与在层 的时间位置的至少一个非必需画面有关的信息；以及在不对非必需 画面进行解码的情况下在所述时间位置和按照解码顺序继所述时间 位置之后对在非必需画面以上的层中的画面进行解码。根据本专利技术的布置提供了显著优点。与可缩放视频流相结合地 用信号发送的非必需画面的指示信息使解码器能够在解码之前确疋 非必需画面，由此避免了对非必需画面的任何不必要的解码和缓存。这减少了解码过程的计算负荷和存储器消耗。另外，根据本专利技术的 布置实现了维持最小的端到端延'迟。本专利技术的更多方面包括布置用以实现上述方法的专利技术步骤的各 种装置。附图说明在下文中将参照附图更具体地描述本专利技术的各种实施例，在附 图中图1示出了 H.264设计的概念结构；图2示出了可缩i文^L频流的编码依赖分级的例子；图3示出了可缩放视频流的编码依赖分级的另一例子；图4示出了涉及到FGS层的可缩放视频流的编码依赖分级的例子；图5示出了作为图4依赖分级的一种变形的可缩放视频流的编码依赖分级的例子；图6示出了可缩放视频流的编码依赖分级的另一个例子；图7示出了根据一实施例的编码设备的筒化框图；图8示出了根据一实施例的解码设备的筒化框图；图9示出了根据一优选实施例的移动通信设备的框图；图IO示出了本专利技术所应用的视频通信系统。具体实施方式本专利技术适用于所有4吏用可缩放视频编码的视频编码方法。浮见频, 编码标准包括ITU-T H.261、 ISO/IEC MPEG國1 Visual、 ITU-T H.262 或者ISO/IEC MPEG隱2 Visual、 ITU-T H.263、 ISO/IEC MPEG-4 Visual 和ITU-TH.264 (也称为ISO/IEC MPEG-4 AVC)。此外，针对新的 视频编码标准也正在付诸努力。其中之一是将变为H.264/AVC的可 缩放扩展的可缩放视频编码(SVC)标准。当前正在JVT之下开发 SVC标准，JVT是由ITU-T VCEG和ISO/IEC MPEG形成的联合碎见 频团队。第二项努力是由中国音频视频编码标准工作组(AVS)组 织的对中国视频编码标准的开发。下文是以H.264 ^L频编码为例对本专利技术的示例性说明。将以i人 为满足于理解本专利技术及其优选实施例的细节程度来描述H.264编码。 至于对实施H.264的更具体描述可参见H.264标准，该标准的最新 规范在2005年1月18-21日中国香港第14届JVT会议的 N050d 1 Draft of Version 4 of H.264/AVC中有描述。根据图1, H.264/AVC区分视频编码层(VCL)和网络抽象层 (NAL )这两个不同的概念层。VCL和NAL是H.264/AVC标准的 部分。VCL指定了编码视频信号的高效表示。H.264/AVC的NAL定 义了在视频编码器本身与外界之间的接口 。它在NAL单元上进行操 作，这些NAL单元对多数现有网络的基于分组的方式给予支持。在 NAL解码器接口 ，假设以解码顺序递送NAL单元而分组要么被正确 地接收、被丟失或者如果净荷包含位错误则可以提高NAL单元寺艮头 中的错误标志。后一特征不是该标准的部分，因为该标志可以用于 不同目的。然而，它提供一种用以通过整个网络用信号发送错误指 示的方式。此外，对于将由责任标准化实体指定的不同传送协议而言需要接口规范。用于本文档来自技高网...

【技术保护点】
一种对包括基础层和至少一个增强层的可缩放视频数据流进行编码的方法，所述方法包括：　　　　对在层的时间位置包括至少一个非必需画面的可缩放数据流进行编码，其中在所述时间位置和按照解码顺序继所述时间位置之后对上层中的画面进行的解码无需所述非必需画面；以及　　　　在所述可缩放视频数据流中用信号发送所述至少一个非必需画面的信息。

【技术特征摘要】
【国外来华专利技术】US 2005-7-13 11/181,6901.一种对包括基础层和至少一个增强层的可缩放视频数据流进行编码的方法，所述方法包括对在层的时间位置包括至少一个非必需画面的可缩放数据流进行编码，其中在所述时间位置和按照解码顺序继所述时间位置之后对上层中的画面进行的解码无需所述非必需画面；以及在所述可缩放视频数据流中用信号发送所述至少一个非必需画面的信息。2. 根据权利要求1所述的方法，其中所述一个或者多个增强层 包括一个或者多个空间增强层、质量增强层或者细颗粒度可缩放(FGS)增强层。3. 根据权利要求1所述的方法，其中在所述可缩放数据流的部 分内执行所述信号发送。4. 根据权利要求3所述的方法，其中在补充增强信息(SEI) 消息中执行所述信号发送。5. —种对包括基础层和至少 一 个增强层的可缩放视频数据流进 行解码的方法，所述方法包括对与可缩放数据流一起接收的信号发送信息进行解码，所述信 号发送信息包括与在层的时间位置的至少一个非必需画面有关的信 息；以及在不对所述非必需画面进行解码的情况下在所述时间位置和按 照解码顺序继所述时间位置之后对在所述非必需画面以上的层中的画面进行解码。6. 根据权利要求5所述的方法，其中所述一个或者多个增强层 包括 一 个或者多个空间增强层、质量增强层或者细颗粒度可缩放(FGS)增强层。7. 根据权利要求5所述的方法，其中在所述可缩放数据流的部 分内接收所述信号发送信息。8. 根据权利要求7所述的方法，其中在补充增强信息(SEI)消息中接收所述信号发送信息。 '9. 一种用于对包括基础层和至少一个增强层的可缩放视频数据 流进行编码的视频编码器，所述视频编码器包括用于对在层的时间，位置包括至少 一 个非必需画面的可缩放数据 流进行编码的装置，其中在所述时间位置和按照解码顺序继所述时 间位置之后对上层中的画面进行的解码无需所述非必需画面；以及用于在所述可缩放视频数据流中包括所述至少 一个非必需画面 的信息的装置。10. 根据权利要求9所述的视频编码器，其中所述至少一个非 必需画面的信息被布置用以在所述可缩放数据流的部分内用信号来 发送。11. 根据权利要求10所述的视频编码器，其中所述至少一个非 必需画面的信息被布置用以在补充增强信息(SEI)消息中用信号来 发送。12. —种用于对包持基础层，至少 一 个增强层的可缩放视频数 据流进行解码的视频解码器，所述视频解码器包括用于对与可缩放数据流 一 起接收的信号发送信息进行解码的.装 置，所述信号发送信息包括与在层的时间位置的至少 一个非必t画 面有关的信息；以及用于在不对所述非必需画面进行解码的情况下在所述时间位置 和」按照解码顺序继所述时间位置之后对在所述非必需画面以上的层中的画面进行解码的装置。13. 根据权利要求12所述的视频解码器，其中所述信号发送信 息被布置用以从所述可缩放数据流的部分来解码。14. 根据权利要求13所述的视频解码器，其中所述信号发送信 息被布置用以从补充增强;信息(SEI)消息来进行解码。15. —种用于对包括基...

【专利技术属性】
技术研发人员：王业奎，鲍亦亮，
申请(专利权)人：诺基亚公司，
类型：发明
国别省市：FI[芬兰]