用于在MP4中支持AVC的方法和设备技术

创建定义多媒体数据每个抽样内的多个子抽样的子抽样元数据。进一步形成与多媒体数据有关的文件。所述文件包括所述子抽样元数据以及与多媒体数据有关的其它信息。（*该技术在2023年保护过期，可自由使用*）

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术通常涉及以多媒体文件格式存储和重现视听内容，尤其是与ISO媒体文件格式兼容的文件格式。通告/许可本专利文献的公开部分包含受到版权保护的材料(material)。版权所有者不反对当该专利文献或专利公开在专利和商标局的专利文档或记录上发表时，任何人对其进行传真或复制，然而，在别的方面却保留所有的版权权利。下述通告将适用于如下所述的软件和数据以及所附的附图中Copyright2001，索尼电子有限公司，版权所有不得翻印(Copyright2001，Sony Electronics，Inc.，All RightsReserved)。
技术介绍
在对网络、多媒体、数据库及其它数字容量的需求快速增长之后，演化出很多多媒体编码和存储方案。众所周知的用于编码和存储视听数据的文件格式的一种是由苹果计算机公司开发的QuickTime文件格式。Quick Time文件格式被用作创建国际标准化组织(ISO)信息技术(视听对象的编码)第12部分ISO/IEC 14496-12多媒体文件格式的出发点ISO媒体文件格式(又名ISO文件格式)进而又被用作两个标准文件格式的模板(1)用于被称为MP4(ISO/IEC14496-14，信息技术(视听对象的编码)第14部分MP4文件格式)由运动图像专家组开发的MPEG-4文件格式；和(2)用于由联合图像专家组(JPEG)开发的JPEG 2000文件格式(ISO/IEC 15444-1)。ISO媒体文件格式由被称为盒(box)(也被称为原子或对象)的面向对象结构组成。两个重要的顶层盒包含媒体数据或者元数据。大部分盒描述规定关于实际媒体数据结构和时间信息说明的元数据的层次。盒的这个收集被包含在被称为电影盒的盒中。媒体数据本身可以位于媒体数据盒内部或者外部。每个媒体数据流被称作轨道(track)(又名基本流或简单地称为流)。原始元数据是电影对象。电影盒包含轨道盒，其描述时间上呈现的媒体数据。轨道的媒体数据可以是各种类型(例如，视频数据、音频数据、二进制格式屏幕说明(BIFS)，等等)。每个轨道进一步被分成抽样(又名存取单元或画面)。一个抽样表示在特定时间点的一个媒体数据单元。抽样元数据被包含在一组抽样盒中。每个轨道盒包含一个抽样表盒元数据盒，其包含规定每个抽样时间、它在字节中的大小和对于它的媒体数据它的位置(文件的外部或内部的)等等的盒。抽样是可以表示时间、位置和其它元数据信息的最小数据实体。最近，MPEG的视频组和国际电信联盟(ITU)视频编码专家小组(VCEG)作为连接视频队(JVT))开始合作以便开发被认为是ITU建议H.264或MPEG-4-Part 10、高级视频信号编解码(AVC)或JVT编解码的新视频编/解码(codec)标准。诸如H.264、JVT和AVC之类的这些术语和它们的缩写在这里被可替交地使用。JVT编解码在两个不同概念层即视频编码层(VCL)和网络抽象层(NAL)之间有区别地设计。VCL包含有关编解码部分相关的编码，诸如运动补偿、系数的变换编码和熵编码之类的。VCL的输出是每个包含一系列宏块和相关的头信息的片段。NAL从用于承载VCL数据的传输层细节中提取VCL。它在片断级上定义信息的一般和传输无关的表示。NAL定义视频编解码本身和外部空间之间的接口。在内部，NAL使用NAL分组。NAL分组包括表明有效负载类型加一组位于有效负载中位的类型的类型字段。单个片段中的数据可以被进一步分为不同数据部分(部分)。在多个现有视频编码格式中，编码的数据流包括各类包含控制解码过程的参数的头。例如，MPEG-2视频标准包含序列头、图象的提高组(GOP)、和相应于那些项目的视频数据之前的图象头。在JVT中，解码VCL数据所要的信息被分组为参数集。每个参数集被给定一个随后被用作来自于片段的参考(reference)的标识符。代替发送流内部(带内的)的参数集，他们可以在流外部(带外)被发送。现有文件格式不提供用于存储与编码的元数据有关的参数集功能；也不提供用于有效地连接媒体数据(也就是抽样或子抽样)到参数集以便参数集可以被有效地重现和发送的手段。在ISO媒体文件格式中，在不必分析媒体数据的情况下可以被存取的最小单元是一个抽样，也就是AVC中的整个图象。在多个编码格式中，抽样可以被进一步分为称作子抽样(也称为抽样段(fragment)或存取单元段)的更小单元。在AVC的情况下，子抽样相应于一个片段。然而，现有文件格式不支持存取抽样的子部分。对于需要将存储在文件中的数据灵活地形成为分组以便流传送的系统，缺少对子抽样的存取阻碍了为流传送而对JVT媒体数据进行的灵活的分组化。现有存储格式的另一个限制是当流传送媒体数据时响应于变化的网络状态不得不处理具有不同带宽的存储流之间的切换。在典型的流传送情况中，键要求的之一是响应于变化的网络状态换算压缩数据的比特率。典型地，这是由编码多个具有用于表示网络状态的不同带宽和质量设置的流并且在一个或多个文件中存储它们来获得的。然后响应于网络状态所述服务器可以在这些预先编码的流之中进行切换。在现有文件格式中，流之间的切换仅仅在对于再建时不依赖在前抽样的抽样是可能的。这种抽样被称为I帧。当前没有提供对流之间的在依赖于用于再建的在前抽样的抽样上进行交换进行支持(也就是依赖于用于参考的多个抽样的P帧或B帧)。AVC标准提供一个被称为交换图象的工具(称作SI并且SP图象)从而使能有效地在流之间进行交换、随机访问、并且差错恢复以及其它特征。交换图象是一个其重构值正好等于它被期望切换到的图象的特殊型图象。交换图象可以使用不同于被用于预测他们匹配的图象的参考图像，因此提供比使用I帧更有效的编码。为了有效地使用保存在文件中的交换图象，必须知道哪组图像相等并且必须知道哪些图象被用于预测。现有文件格式不提供这些信息，因此这些信息必须通过分析编码流而被提取，这是低效并且缓慢的。因此，需要提高存储方法以便解决正在形成的视频编码标准提供的新的能力并且解决那些存储方法的现有局限。专利技术概述创建定义多媒体数据每个抽样中子抽样的子抽样元数据。进一步形成与多媒体数据有关的文件。这些文件包含子抽样元数据以及与多媒体数据有关的其它信息。 附图说明在附图中通过示例而不是限制的方式对本专利技术进行阐述，其中相同的参考数字是指相同的元件，其中图1是编码系统的一个实施例的框图；图2是解码系统的一个实施例的框图。图3是适合于实施本专利技术的计算机环境的框图；图4是一个用于在编码系统中存储子抽样元数据的方法的流程图；图5是一个用于在解码系统中应用子抽样元数据的方法的流程图；图6举例说明具有子抽样的扩展MP4媒体流模型；图7A-7K举例说明示用于存储子抽样元数据的示范性数据结构；图8是一个用于在编码系统中存储参数集元数据的方法的流程图；图9是一个用于在解码系统中应用参数集元数据的方法的流程图；图10A-10E举例说明用于存储参数集元数据的示范性数据结构；图11举例说明一个示范性的增强图像组(GOP)；图12是一个用于在编码系统中存储序列元数据的方法的流程图；图13是一个用于在解码系统中应用序列元数据的方法的流程图；图14A-14E举例说明用于存储序列元数据的示范性数据结构； 图15A和15B举例说本文档来自技高网...

【技术保护点】
一种方法，包括：创建定义多媒体数据每个抽样内的多个子抽样的子抽样元数据；和形成与多媒体数据有关的文件，所述文件包括子抽样元数据。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：MZ维沙拉姆，A塔巴塔拜，T瓦尔克，
申请(专利权)人：索尼电子有限公司，
类型：发明
国别省市：US[美国]