从音频/视频解码器中的时间同步中的中断中恢复制造技术

本发明专利技术涉及从音频/视频解码器中的时间同步中的中断中恢复。一种用于解码压缩视频和音频数据的解码器。解复用器提供在中断出现之后的呈现时间戳(PTS)的预测，该预测以在检测到中断时基本位流的数据是否仍然存在于解复用器和控制解码器模块中为条件。如果数据仍然存在，则该预测基于根据在中断之前接收的PTS使用基本位流中采样数据的持续时间的外推。如果数据不再存在于解复用器中，则该预测基于使用定义的延迟外推本地时钟所指示的当前时间。

【技术实现步骤摘要】

本专利技术针对数据压缩和解压缩，并且更特别地针对从音频/视频解码器中的时间同步中的中断中恢复。
技术介绍
数据压缩用于减少存储、发送或重建(解码和回放)的数据的量，尤其是对于视频内容。解码以适合于回放的格式从压缩数据中恢复音频和视频内容。可获得用于高效地编码和解码压缩信号的格式的各种标准。通常用于运动图像和关联的音频的一些标准是国际标准组织(ISO)、国际电工委员会(IEC)和运动图像专家组(MPEG)标准、以及诸如ITU-TH.262|ISO/IEC13818(MPEG2)和ITU-TH.264之类的国际电信联盟(ITU)建议、VPx标准和VC-1标准。在ISO/IEC13818(MPEG2)标准中，编码的视频位流的最高语法结构是视频序列。视频序列开始于序列报头，该序列报头可以可选地被一组图像报头跟随，并且然后被一个或多个编码帧跟随。编码的位流中编码帧的次序是解码器处理它们的次序，但不一定是用于显示的正确的次序。除其它信息之外，程序映射表指定哪些分组标识符(PID)与因此哪些基本流关联以形成每个程序。该表还为每个程序指示携带程序时钟恢复数据(PCR)的传输流分组的PID。用于各种视频压缩标准的解码过程包括：以接收不同的图像项的次序，为所述不同的图像项解码压缩数据，所述次序可通过在输入传输位流中的解码时间戳(DTS)来定义；根据运动矢量或帧内预测模式组合帧间编码项和帧内编码项；重新排序图像项并将视频数据与音频数据同步以用于呈现。为了实现音频和视频之间的时间同步，输入传输位流还通常包含呈现时间戳(PTS)。然而，中断可能出现在时间戳中，例如由于数据在从源开始的传输(流送或广播)期间被丢弃、回放循环期间的环绕、在创建或编码诸如拼接文件之类的源文件期间的时间戳跳跃、重新启动播放列表或源服务器、或者由PCR定义的位流时钟和时间戳之间的重新同步。在解码器处由丢失的PTS造成的中断可由解码器解复用器(demux)从传输流中检测。在解码器处使用PCR复位解码器中的本地系统时钟来从丢失的PTS中恢复将需要系统时钟控制器复位本地系统时钟和软件支持。在解码器处通过解码器渲染模块复位本地系统时钟来从丢失的PTS中恢复将需要运行时可配置的本地系统时钟和软件支持。在可变持续时间采样的情况下，在解码器处通过解码器解复用器基于在中断之前接收并通过视频或音频帧持续时间校正的PTS来使用丢失的PTS的预测来从丢失的PTS中恢复会提供错误的预测。具有下述音频/视频解码器将是有利的：其中从呈现时间戳中的中断中可靠恢复可通过预测一个或多个丢失的呈现时间戳来实现，而不复位解码器中的本地系统时钟。附图说明本专利技术连同其目的和优点可通过参考附图中所示的实施例的以下描述被最佳地理解。图中的要素是为了简明和清楚而被图示，并且不一定按比例绘制。图1是根据本专利技术的实施例的视频和音频解码器的示意性框图；图2是可在实现图1的多核视频解码器中使用的数据处理系统的示意性框图；图3是图1的解码器的操作的示例的流程图；图4是在图1的解码器的操作的一个场景中出现的信号的时序图；以及图5是在图1的解码器的操作的另一个场景中出现的信号的时序图。具体实施方式图1图示根据本专利技术的实施例的用于解码压缩音频和视频数据的解码器100。解码器100在下面被描述为用于解码根据ITU-TH.262|ISO/IEC13818(MPEG2)标准压缩的数据，但应该理解：解码器100可适于和用于解码根据其它标准压缩的数据。解码器100解码来自诸如调谐器之类的源102或来自网络的包含压缩视频图像和音频数据的广播分组化的基本位流(PES)。该PES还包含呈现时间戳(PTS)序列，用于同步音频和视频及音频数据的呈现。解码器100包括解复用器和控制解码器模块104，用于从分组化的基本位流(PES)恢复(retrieve)基本位流(ES)。解码器100还包括：本地时钟106；以及呈现解码器模块，解码恢复的基本位流以用于呈现。解复用器和控制解码器模块104通过视频缓冲器110向视频解码器108提供视频ES，并通过音频缓冲器114向音频解码器112提供音频ES。解复用器和控制解码器模块104还提供从PES解码的系统控制数据。视频解码器108的输出可以是YUV格式，而音频解码器112的输出可以是线性脉冲编码调制(LPCM)格式。视频和音频信号具有不同且变化的延迟(模块104的输入和来自视频及音频解码器108和112的输出之间的通过时间)，并且包含实现视频和音频呈现的同步的PTS。解码的视频和音频信号在视频渲染设备116和音频渲染设备118上被呈现给观看者，由从本地时钟106的时钟信号中识别渲染时间的PTS来同步，其中本地时钟106本身与由PCR信号表示的系统时钟同步。图2是可在实现解码器100中使用的数据处理系统200的示意性框图。数据处理系统200包括：耦合到存储器204的处理器202，其中存储器204可在并行解码器100中提供缓冲器；以及耦合到存储器204的另外的存储器或存储装置206。数据处理系统200还包括：呈现设备208、输入/输出接口210和软件212，呈现设备208可以是显示重建的图像数据以及播放音频数据的视频渲染设备116和音频渲染设备118。软件212包括操作系统软件214、应用程序216和数据218。除了用于实现上述压缩视频图像数据的解码的算法和其它软件之外，数据处理系统200通常在本领域中已知。当软件或程序正在处理器202上执行时，处理器变成用于进行在处理器202上运行的软件或应用代码的步骤或指令的“装置(menas-for)”。也就是说，如由本领域技术人员已知的，对于不同指令和与指令关联的不同数据，由于不同的寄存器值等等，处理器202的内部电路具有不同状态。因此，用于本文所述的结构的任何“装置(means-for)”涉及处理器202，因为它进行本文公开的方法的步骤。在解码器100中，如果中断出现在PTS序列中，则解复用器和控制解码器模块104提供在中断之后的PTS的预测TSP，该预测以在检测到中断时在基本位流的数据中的最后的PTS是否仍然有效为条件。在解码器100中，如果当中断出现在PTS序列中时来自基本位流的数据中的最后的PTS仍然有效，则解复用器和控制解码器模块104提供在中断之后的PTS的预测TSP，该预测基于根据在检测到中断之前接收的PTS使用基本位流中采样数据的定义的持续时间TDURATION的外推(extrapolation)。如果当检测到中断时来自基本位流的数据中的最后的PTS已经失效，在中断的检测之后的PTS的预测TSP基于使用定义的持续时间TLATENCY外推由本地时钟106所指示的当前时间TM。如果其指示的渲染时间TSMIN晚于由本地时钟106指示的当前时间TM(TSMIN＞TM)，则PTS仍然有效，并且如果由本地时钟106指示的当前时间TM已经晚于PTS指示的渲染时间TSMIN(TSMIN＜TM)，则PTS已经失效。PTS的有效性可由数据是否仍然存在于从解复用器和控制解码器模块104的输入到来自呈现解码器模块108的输出的流水线104、110、108中来定义。基于由本地时钟指示的当前时间TM的本文档来自技高网...

【技术保护点】
一种用于解码分组化的基本位流的解码器，所述分组化的基本位流包含压缩音频和视频数据以及用于同步音频和视频的呈现的呈现时间戳(PTS)序列，所述解码器包括：解复用器和控制解码器模块，用于从分组化的基本位流中恢复基本位流；本地时钟；以及呈现解码器模块，解码恢复的基本位流，以用于呈现，其中，如果当中断出现在PTS序列中时来自基本位流的数据中的最后的PTS有效，则解复用器和控制解码器模块提供对在中断之后的PTS的预测，所述预测基于根据在检测到中断之前接收的PTS使用基本位流中采样数据的定义的持续时间的外推，以及如果当检测到中断时来自基本位流的数据中的最后的PTS已经失效，则对在检测到中断之后的PTS的预测基于使用定义的持续时间外推由本地时钟所指示的当前时间。

【技术特征摘要】
1.一种用于解码分组化的基本位流的解码器，所述分组化的基本位流包含压缩音频和视频数据以及用于同步音频和视频的呈现的呈现时间戳(PTS)序列，所述解码器包括：解复用器和控制解码器模块，用于从分组化的基本位流中恢复基本位流；本地时钟；以及呈现解码器模块，解码恢复的基本位流，以用于呈现，其中，如果当中断出现在PTS序列中时来自基本位流的数据中的最后的PTS有效，则解复用器和控制解码器模块提供对在中断之后的PTS的预测，所述预测基于根据在检测到中断之前接收的PTS使用基本位流中采样数据的定义的持续时间的外推，以及如果当检测到中断时来自基本位流的数据中的最后的PTS已经失效，则对在检测到中断之后的PTS的预测基于使用定义的持续时间外推由本地时钟所指示的当前时间。2.根据权利要求1所述的解码器，其中，基于由本地时钟指示的当前时间的预测是使用从来自解复用器和控制解码器模块的输出至少到来自呈现解码器模块的输出的延迟的定义的持续时间来外推的。3.根据权利要求1所述的解码器，其中，解复用器和控制解码器模块基于使用定义的数据的外推来提供对在中断之后的第一个PTS的预测，并且基于对在中断之后的第一个PTS的预测来提供随后的PTS的调整。4.根据权利要求3所述的解码器，其中，随后的PTS的调整使用随后的PTS和在中断之后的第一个PTS的接收值之间的差来外推对第一个PTS的预测。5.根据权利要求1所述的解码器，其中，分组化的基本位流包含在不同轨道中的具有各自的PTS序列...

【专利技术属性】
技术研发人员：李剑，
申请(专利权)人：飞思卡尔半导体公司，
类型：发明
国别省市：美国;US