媒体容器文件管理制造技术

通过在文件(1)中组织由媒体轨道(12)所定义的媒体数据(2；3)来生成媒体容器文件(1)。针对媒体轨道(12)中定义的多个子轨道中的每一子轨道，组织标识媒体数据(2；3)的媒体数据部分(4，5；6，7，8)的子轨道信息(72，74)。给子轨道中的至少一个分配选择信息(62，64)，所述选择信息(62，64)定义了关于媒体容器文件(1)中组织的其它媒体数据的、由对子轨道所定义的媒体数据部分(4，5；6，7，8)的选择性处理。媒体数据(2，3)有利地与分层的媒体或定义被组织到子轨道(12)内的多个相机视图的媒体有关。选择信息(62，64)允许当建立媒体会话以及在该媒体会话期间在轨道(12)与子轨道之间进行切换时在轨道(12)和子轨道之中的选择。

【技术实现步骤摘要】
生成媒体容器文件的方法、媒体内容服务器、以及媒体处理方法和媒体处理服务器本申请是申请日为2009年11月6日、申请号为200980158568.3、专利技术名称为“媒体容器文件管理”的中国专利申请的分案申请。
本专利技术通常涉及媒体和多媒体管理，具体地涉及包含这种媒体或多媒体内容的媒体容器文件的创建和使用。
技术介绍
近年来通过不同网络对客户端的媒体和多媒体提供已经大大增加。如今，大量用户利用因特网从媒体服务器例如以视频和音频流或文件的形式访问并且下载或流传输媒体。配合对于在不同的有线和无线通信网络中媒体提供的这种增加需求，正在开发在用于将媒体内容提供给请求客户端的无线网络中可用的流传输和下载服务器。存在朝向透明和灵活的流传输/下载服务器的通常趋势，这意味着服务器应基本上包括执行不同媒体管理功能的大量“标准”模块或程序。然后连同模块/程序应如何处理内容的指令一起提供对这些功能的输入媒体内容。与服务器中固定、预定媒体处理的使用相比，这将提供更灵活的媒体提供。运动图像专家组(MPEG)已经标准化了文件格式，ISO基本媒体文件格式[1]，其符合流传输和下载服务器的开发中的趋势。ISO基本媒体文件格式指定用于充当用于多种更具体文件格式(例如先进视频编码(AVC)文件格式[2]、可扩缩视频编码(SVC)文件格式[3]和多视图视频编码(MVC)文件格式[4])的基础的多媒体呈现的存储和传输的通用文件格式。ISO基本媒体文件格式可以将轨道分组为替换组。属于相同的替换组的轨道被称为替换轨道并且充当对彼此的替换。它们可以例如表示相同的内容，但关于质量、编解码器、语言等不同。在媒体会话中一次应处理来自每一替换组的仅一个轨道，以给出完整呈现。除了替换组之外，ISO基本媒体文件格式还定义切换组。替换组中的所有轨道是用于媒体选择的候选，但其对于在正在进行的媒体会话期间在这些轨道中的一些之间进行切换可能无关紧要。例如，在保持帧大小但不允许不同帧大小、不同视频码或不同音频语言的轨道之间切换的同时，可以以不同比特率在视频轨道之间切换。替换组与切换组之间的区别在于：相同的切换组中的轨道是用于甚至在正在进行的媒体会话期间进行切换的候选，而相同的替换组中的、但在不同的切换组中的轨道在正在进行的媒体会话期间不会被切换。对于轨道中的媒体数据的现有组织以及将这些轨道分配给不同替换和切换组对于多数媒体类型工作良好。然而，结合特定媒体类型(例如SVC和MVC[5])产生问题。SVC是对良好建立的H.264/AVC视频编码标准[5]的标准化可扩缩扩展。SVC允许将视频的多个表示编码为单个比特流。特定空间分辨率、质量和帧速率的视频的每一这种编码的表示被表示为层。层构成分级关系，其中，最低层表示基本层(BL)，后续层表示增强层(EL)。MVC是以多视图的联合编码为目标的AVC/SVC标准的扩展。在这种情况下，多视图是表示利用不同相机拍摄的相同场景的视频序列。MVC视图的结构与SVC层的结构相似，不同之处在于，MVC视图通常具有相似分辨率、质量和帧速率。
技术实现思路
当将ISO基本媒体文件格式应用于SVC或MVC编码的内容时，每一轨道将包含采取多个层或视图形式的相同的内容的多个版本。然而，针对单个轨道，具体地设计替换组和切换组。这说明，在正在进行的媒体会话期间，切换可以发生在轨道定义的不同的层或视图之间，因为它们将固有地属于相同的替换组和相同的切换组。但是，存在高度期望在层或视图之间动态切换的情况。例如，基本层可以是免费的并且包含广告，而增强层包含内容的额外费用和无付费广告版本。因此，对于已经付费以避免广告的用户而言，不希望从额外费用内容无意地切换到免费内容。因此，需要一种将替换和/或切换组的构思应用于携带相同的内容的多个版本(例如SVC和MVC)的解决方案。通用目的在于提供一种可以在媒体会话中使用的媒体容器文件。特定目的在于提供可以用于包括构成相应子流的多个媒体数据部分的媒体数据的媒体容器文件。在此公开的实施例满足这些和其它目的。简单地，通过组织媒体容器文件中的媒体轨道所定义的媒体数据生成媒体容器文件。媒体数据包括关于与相同媒体内容的不同版本有关构成不同子流的部分。例如，媒体数据部分可以与SVC数据的不同的层或MVC数据的不同视图有关。针对媒体轨道所定义的每一子轨道，在媒体容器文件中提供子轨道信息。子轨道信息标识属于子轨道或由子轨道定义的媒体容器文件中的媒体数据部分。给子轨道中的至少一个分配选择信息，选择信息被包括在媒体容器文件中。选择信息定义了关于在媒体容器文件中组织的其它媒体数据的、对由子轨道所定义的媒体数据部分的选择性处理，并且与子轨道的媒体数据部分相同的内容有关。一方面还涉及对于生成这种媒体容器文件所设计的媒体内容服务器。媒体内容服务器包括用于在媒体容器文件中组织媒体数据的数据组织器。子轨道信息提供器在媒体容器文件中提供子轨道信息，选择信息提供器在媒体容器文件中提供选择信息。另一方面定义包括构成相应子流的媒体数据部分的媒体容器文件。在用于定义媒体数据的媒体容器文件中包括媒体轨道。媒体容器文件附加地包括子轨道信息，子轨道信息针对媒体轨道中定义的每一子轨道标识媒体数据的属于子轨道的媒体数据部分。在媒体容器文件中包括针对至少一个子轨道的选择信息，以定义关于在媒体容器文件中组织的其它媒体数据的、对与子轨道相关联的媒体数据部分的选择性处理，并且涉及与媒体数据部分相同的媒体内容。根据一方面的媒体处理方法结合建立媒体会话，通过基于分配给子轨道作为选择信息的替换组标识符选择子轨道来使用媒体容器文件。基于分配给选择的子轨道的子轨道信息，从媒体容器文件检索与选择的子轨道相关联的媒体数据。将所检索的媒体数据编译为数据分组，并在媒体会话期间发送到至少一个用户终端。媒体处理方法的另一方面在正在进行的媒体会话期间从当前轨道或子轨道切换到另一子轨道。基于分配给子轨道作为选择信息的切换组标识符来执行切换，因此切换出现在媒体容器文件中。分配给选择的子轨道、并且包括在媒体容器文件中的子轨道信息用于检索子轨道的媒体数据，并且将其编译为数据分组，数据分组被发送到至少一个用户终端，以在正在进行的媒体会话期间影响与相同的内容有关的媒体数据的切换。根据一方面，媒体处理服务器包括容器提供器，用于提供媒体容器文件。轨道选择器结合建立媒体会话选择媒体容器文件中定义的子轨道。在选择过程中，轨道选择器使用来自媒体容器文件、并且分配给子轨道的替换组标识符。分组编译器从媒体容器文件检索子轨道的媒体数据，并且基于与子轨道相关联的子轨道信息将媒体数据编译为数据分组。发射机在媒体会话期间将数据分组发送到至少一个用户终端。媒体处理服务器的另一方面在正在进行的媒体会话期间实现与相同的媒体内容有关的流与子流之间的切换。容器提供器提供媒体容器文件，在所述媒体容器文件中，定义了至少一个子轨道，并且至少一个子轨道包括关联的切换组标识符和子轨道信息。轨道选择器使用切换组标识符来选择与相同的媒体内容有关的子轨道作为当前轨道或子轨道。分组编译器基于子轨道信息来对携带选择的子轨道的媒体数据的数据分组进行编译。在正在进行的媒体会话期间将数据分组发送到至少一个用户终端，以影响媒体数据流或子流的切换。附图说明通过连同附图一起参照以下本文档来自技高网...

【技术保护点】
一种生成媒体容器文件的方法，所述方法包括：a)在所述媒体容器文件中组织媒体数据，其中，所述媒体容器文件包括在媒体会话期间待发送到客户端的媒体数据，所述媒体数据由所述媒体容器文件中的媒体轨道定义，并且包括构成相应子流的多个媒体数据部分；b)在所述媒体容器文件中提供子轨道信息，所述子轨道信息针对在所述媒体轨道中定义的多个子轨道中的每一个子轨道，标识所述媒体数据的属于所述子轨道的媒体数据部分；以及c)在所述媒体容器文件中并且针对所述多个子轨道中的至少一个子轨道提供选择信息，所述选择信息定义了关于在所述媒体容器文件中组织的其它媒体数据的、对由所述至少一个子轨道所定义的媒体数据部分的选择性处理，并且所述选择信息涉及与由所述至少一个子轨道所定义的所述媒体数据部分相同的内容；其中，由媒体服务器结合所述媒体会话来使用所述选择信息，以选择所述至少一个子轨道以及当开始所述媒体会话时使用的媒体数据部分或者在所述媒体会话期间切换的媒体数据部分。

【技术特征摘要】
2009.04.09 US 61/167,9981.一种生成媒体容器文件的方法，所述方法包括：a)在所述媒体容器文件中组织媒体数据，其中，所述媒体容器文件包括在媒体会话期间待发送到客户端的媒体数据，所述媒体数据是i)可扩缩视频编码数据或ii)多视图视频编码数据，由所述媒体容器文件中的媒体轨道定义，并且所述可扩缩视频编码数据包括构成基本层的第一媒体数据部分和构成至少一个增强层的至少一个第二媒体数据部分，构成相应子流；以及所述多视图视频编码数据包括构成第一视图的第一媒体数据部分和构成至少一个第二视图的至少一个第二媒体数据部分，构成相应子流；b)在所述媒体容器文件中并且针对第一子轨道，提供标识所述第一媒体数据部分的子轨道信息，以及在所述媒体容器文件中并且针对至少一个第二子轨道，提供标识所述至少一个第二媒体数据部分的子轨道信息；以及c)在所述媒体容器文件中并且针对所述第一子轨道和所述至少一个第二子轨道中的至少一个子轨道提供选择信息，所述选择信息定义了关于在所述媒体容器文件中组织的其它媒体数据的、对由所述至少一个子轨道所定义的媒体数据部分的选择性处理，并且所述选择信息涉及与由所述至少一个子轨道所定义的所述媒体数据部分相同的内容；其中，由媒体服务器结合所述媒体会话来使用所述选择信息，以选择所述至少一个子轨道以及当开始所述媒体会话时使用的媒体数据部分或者在所述媒体会话期间切换的媒体数据部分。2.如权利要求1所述的方法，其中，所述提供c)包括：在所述媒体容器文件中并且针对所述第一子轨道和所述至少一个第二子轨道中的所述至少一个子轨道提供子轨道信息，所述子轨道信息定义了关于由所述第一子轨道和所述至少一个第二子轨道中的其余子轨道所定义的其余媒体数据部分的、对由所述至少一个子轨道所定义的所述媒体数据部分的选择性处理。3.如权利要求1所述的方法，其中，所述提供c)包括：在所述媒体容器文件中并且针对所述第一子轨道和所述至少一个第二子轨道中的所述至少一个子轨道，提供当选择在媒体会话期间待处理的子流时能够结合用于建立所述媒体会话的替换组标识符。4.如权利要求1所述的方法，其中，所述提供c)包括：在所述媒体容器文件中并且针对所述第一子轨道和所述至少一个第二子轨道中的所述至少一个子轨道，提供当在正在进行的媒体会话期间在不同的流和/或子流之间切换时能够应用的切换组标识符。5.如权利要求1所述的方法，还包括：在所述媒体容器文件中，提供轨道选择信息，所述轨道选择信息定义了对由所述媒体轨道所定义的所述媒体数据的选择性处理，所述轨道选择信息具有指示所述媒体轨道包括多个子轨道的预定值。6.如权利要求1所述的方法，其中，针对所述第一子轨道和所述至少一个第二子轨道的第一部分执行所述提供c)，所述方法还包括：在所述媒体容器文件中，提供轨道选择信息，所述轨道选择信息定义了对由所述媒体轨道所定义的所述媒体数据的选择性处理，所述轨道选择信息能够应用于所述第一子轨道和所述至少一个第二子轨道的第二其余部分。7.如权利要求1所述的方法，其中，所述媒体轨道还包括与所述媒体数据的传送有关的分组化信息。8.一种旨在生成媒体容器文件的媒体内容服务器，所述媒体内容服务器包括处理器和存储器，并且还包括：数据组织器，被配置为在所述媒体容器文件中组织媒体数据，其中，所述媒体容器文件包括在媒体会话期间待发送到客户端的媒体数据，所述媒体数据是i)可扩缩视频编码数据或ii)多视图视频编码数据，由所述媒体容器文件中的媒体轨道定义，所述可扩缩视频编码数据包括构成基本层的第一媒体数据部分和定义至少一个增强层的至少一个第二媒体数据部分，定义了相应子流；所述多视图视频编码数据包括构成第一视图的第一媒体数据部分和构成至少一个第二视图的至少一个第二媒体数据部分，定义了相应子流；子轨道信息提供器，被配置为在所述媒体容器文件中并且针对第一子轨道，提供标识所述第一媒体数据部分的子轨道信息，以及在所述媒体容器文件中并且针对至少一个第二子轨道，提供标识所述至少一个第二媒体数据部分的子轨道信息；以及选择信息提供器，被配置为在所述媒体容器文件中并且针对所述第一子轨道和所述至少一个第二子轨道中的至少一个子轨道提供选择信息，所述选择信息定义了关于在所述媒体容器文件中组织的其它媒体数据的、对由所述至少一个子轨道所定义的媒体数据部分的选择性处理，并且所述选择信息涉及与由所述至少一个子轨道所定义的所述媒体数据部分相同的内容；其中，由所述选择信息提供器结合所述媒体会话来使用所述选择信息，以选择所述至少一个子轨道以及当开始所述媒体会话时使用的媒体数据部分或者在所述媒体会话期间切换的媒体数据部分。9.如权利要求8所述的媒体内容服务器，其中，所述选择信息提供器包括替换组标识符提供器，被配置为在所述媒体容器文件中并且针对所述第一子轨道和所述至少一个第二子轨道中的所述至少一个子轨道，提供当选择在所述媒体会话期间待处理的子流时能够结合用于建立媒体会话的替换组标识符。10.如权利要求8所述的媒体内容服务器，其中，所述选择信息提供器包括切换组标识符提供器，被配置为在所述媒体容器文件中并且针对所述第一子轨道和所述至少一个第二子轨道中的所述至少一个子轨道，提供当在正在进行的媒体会话期间在不同的流和/或子流之间切换时能够应用的切换组标识符。11.如权利要求8所述的媒体内容服务器，还包括：轨道选择信息提供器，被配置为在所述媒体容器文件中提供轨道选择信息，所述轨道选择信息定义了对由所述媒体轨道所定义的所述媒体数据的选择性处理，所述信息具有指示所述媒体轨道包括多个子轨道的预定值。12.如权利要求8所述的媒体内容服务器，其中，所述选择信息提供器被配置为分配定义了针对所述第一子轨道和所述至少一个第二子轨道的第一部分的选择性处理的相应选择信息，所述媒体内容服务器还包括：轨道选择信息提供器，被配置为在所述媒体容器文件中提供轨道选择信息，所述轨道选择信息定义了对由所述媒体轨道所定义的所述媒体数据的选择性处理，所述轨道选择信息能够应用于所述第一子轨道和所述至少一个第二子轨道的第二其余部分。13.如权利要求8所述的媒体内容服务器，其中，所述媒体轨道还包括与所述媒体...

【专利技术属性】
技术研发人员：克林顿·普里德尔，珀·福罗德亨，安德烈·诺金，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：瑞典;SE