在多个网络客户端上同步渲染经拆分的多媒体内容制造技术

本公开的实施例涉及在多个网络客户端上同步渲染经拆分的多媒体内容。披露了一种用于在多个联网的播放设备中彼此同步地渲染与单个节目相关联的经拆分的多媒体内容流的系统。拆分多媒体内容允许例如同一电影的两个观看者听到不同语言的音轨或者在第二屏幕上呈现相关的节目信息。所披露的呈现方法确保了同一节目在多个设备上完全地或部分地播放而维持这些设备之间的音频和视频同步。在一个实施例中，通过监测网络时延和客户端系统时延实现同步，并且然后将时延信息结合到节目时钟基准(PCR)信号中以传输至次播放设备。

【技术实现步骤摘要】

本披露总体上涉及多媒体呈现，并且具体地涉及管理在多个客户端设备上的多个多媒体流的同步呈现。
技术介绍
大约半个世纪以来，多媒体新闻和娱乐包括接收广播信号以在电视上显示。逐渐地，针对多媒体信号的娱乐和新闻订阅的附加提供商出现，如有线提供商、卫星提供商和之后的互联网提供商。这些多媒体信号由包括以下各项的机顶盒接收：调谐器/解调器、用于解码信号的解复用器以及显示器输出端口。因此，虽然新闻和娱乐内容源拓展了，内容的目的地仍然是电视或者可能多个电视。然而，近几年来，替代性显示设备已经成为配备有能够预先接收旨在TV上显示的多媒体信号的硬件和软件。这些目的设备包括交互式游戏控制台、计算机、膝上计算机、平板计算机和移动设备(如，例如，智能电话)。现在，所有这些设备被用作媒体播放器以渲染来自互联网连接的电视节目分销商和提供商的视听内容。此外，许多这些媒体播放器是移动的并且在无线客户端-服务器网络环境中接收多媒体内容。
技术实现思路
所披露的系统用于拆分与单个节目相关联的多媒体内容流以在多个目的设备中进行同步渲染。例如，当同一电影的两个观看者希望听到不同语言的音轨时，拆分多媒体内容会是令人期望的。在这种情况下，媒体服务器针对单个节目处理多媒体流以提供与该节目相关联的视频数据和音频数据以用于在不同媒体播放器上基本上同步呈现。例如，媒体服务器可以提供视频以用于在电视屏幕上显示，而英语音轨经由电视声音系统呈现。同时，法语音轨可以从多媒体流中拆分并在同一时间呈现于分开的设备(例如，智能电话)上，从而使得当观看TV上的视频时第二用户可以通过耳机听到法语的电影声道。此外，视频信息可以在两个或者更多个设备之间被拆分从而使得当电影在电视屏幕上显示时，包含字幕的视频版本以同步的方式也在平板计算机上显示。在另一个场景中，纪录片电影可以被提供为一对视频流，其中，一个流仅包括图像，而另一个流包括补充信息如叠加在图像上的历史事实。替代性地，体育赛事可以连同包括运动员信息、比赛统计、比赛详情注释等等的第二视频流被呈现。附图说明在附图中，完全相同的参考号标识类似的元件。附图中元件的大小和相对位置不一定成比例地绘制。图1是示出了根据在此所描述的一个实施例的家庭多媒体娱乐系统的部件的框图。图2是示出了根据在此所描述的实施例在图1中示出的以无线网络配置安排的家庭多媒体娱乐系统的部件的布局。图3是根据在此所描述的实施例包括媒体服务器、主客户端和次客户端的基本多客户端媒体呈现安排的示图。图4是示出了根据在此所描述的一个实施例的在图3中所描绘的媒体服务器的内部部件的框图。图5示出了如在本领域中所惯用的节目时钟基准(PCR)值的数据表示。图6是展示了根据在此所描述的实施例操作网络时延计算器的包图。图7是示出了根据在此所描述的一个实施例将多媒体内容从媒体服务器流式传输至不同媒体播放器的方法中的一般化步骤的流程图。图8是根据在此所描述的一个实施例作为时间的函数的PTS的图。图9是展示了根据在此所描述的实施例的同步化方法的图画示意图。图10是示出了根据在此所描述的一个实施例将多媒体内容从媒体服务器流式传输至不同媒体播放器的示例性方法中的一系列步骤的流程图。具体实施方式在以下说明中，陈述了某些具体细节以便提供对所披露的主题的不同方面的全面理解。然而，所披露的主题可以在没有这些具体细节的情况下实施。在一些实例中，尚未具体描述包括在此披露的主题的实施例的公知结构和方法以免模糊本披露的其它方面的描述。除非上下文另有要求，否则贯穿说明书和所附权利要求书，“包括(comprise)”一词及其多种变体(诸如，“包括(comprises)”和“包括(comprising)”)将以一种开放式的和包含性的意义来进行解释，也就是作为“包括，但不限于(including,butnotlimitedto)”。贯穿本说明书对“一个实施例”或“一种实施例”的引用意味着关于实施例所描述的特定的特征、结构、或特性是包括在至少一个实施例中的。因此，在贯穿本说明书的各种地方出现的短语“在一个实施例中”或“在一种实施例中”不一定都是指相同的方面。此外，可以将这些特定的特征、结构、或特性以任何适当的方式在本披露的一个或多个方面中进行组合。在此说明书中，本披露的实施例展示了订户卫星电视服务作为示例。此详细描述不旨在将本披露限制于任何特定的实施例。本披露同样可适用于有线电视系统、广播电视系统、互联网流媒体系统、网络文件播放、本地文件播放或者包括用户硬件(典型地以由媒体提供商或由第三方维护服务提供商支持的接收器或机顶盒的形式)的其他电视分发系统或视频分发系统。此类硬件还可以包括例如数字视频记录器(DVR)设备和/或数字视频光盘(DVD)记录设备或者机顶盒内侧的或与其分离的其他附属设备。贯穿本说明书，术语“订户”指作为媒体服务提供商的消费者并且具有与媒体服务提供商相关联的账户的终端用户。订户设备驻留在该订户的住址处。术语“用户”和“观看者”指使用在此所描述的家庭娱乐系统部件中的部分或全部部件的任何人。术语“消费者”指发出服务呼叫的人。本披露在各种地方使用了术语“信号”。本领域的技术人员将认识到信号可以是任何数字信号或模拟信号。那些信号可以包括但不限于：位、规定的位集、A/C信号、D/C信号、分组或者流。在本描述中使用术语“信号”可以包括这些不同解释的任何一种。本领域的技术人员还将理解的是术语“连接”不限于物理连接而是可以指通信地或操作地耦接两个设备的任何方式。作为一般情况，本披露使用术语“电视转换器”、“接收器”、“机顶盒”、“电视接收设备”、“电视接收器”、“电视记录设备”、“卫星机顶盒”、“卫星接收器”、“有线机顶盒”、“有线接收器”和“内容接收器”来可互换地指能够采集、处理和分发由广播分销商、有线分销商、电话分销商或卫星分销商传输的一个或多个电视信号的转换器设备或电子设备。DVR和“个人录像机(PVR)”可互换地指可以记录和播放电视信号并且可以实现包括但不限于播放、快进、倒退和暂停的播放功能的设备。如本说明书以及与其相关的附图中所陈述的，DVR和PVR功能性或设备可以与电视转换器组合。由这些广播分销商、有线分销商、电话分销商、卫星分销商或其他分销商传输的信号可以单独地或者以任何组合包括互联网数据、无线电数据、电视数据或电话数据以及流媒体。本领域的技术人员将认识到电视转换器设备可以被实现为例如一个外部自闭合单元、多个外部自闭合单元或者封装在电视内的内部单元。本领域的技术人员将进一步认识到本披露可以应用于模拟或数字卫星机顶盒。作为另一个一般情况，本领域的技术人员将理解术语“电视”指电视机或视频显示器，该电视或视频显示器可以包含集成电视转换器设备，例如，容纳在电视内的内部可接收有线电视的电视调谐器或者替代地连接到外部电视转换器设备的电视调谐器如经由线缆连接至电视的外部机顶盒。外部电视转换器设备的进一步实施例是艾科斯达霍珀(EchoStarHopper)组合卫星机顶盒和DVR。显示器可以包括但不限于：电视显示器、监视器显示器、交织视频显示器、非交织视频显示器、逐行倒相制式(PAL)显示器、国家电视系统委员会(NTSC)系统显示器、逐行扫描本文档来自技高网...

【技术保护点】
一种多媒体系统，包括：媒体服务器，所述媒体服务器通信地耦接至网络和多个客户端媒体播放器，所述媒体服务器被配置成用于对经由所述网络接收到的多个多媒体信号进行解调和解码，以输出至所述多个客户端媒体播放器；主媒体播放器，所述主媒体播放器被配置成用于接收来自所述媒体服务器的节目，所述节目包括用于在显示设备上渲染的视频数据和用于向第一扬声器渲染的一组音频数据；次媒体播放器，所述次媒体播放器被配置成用于接收来自所述媒体服务器的、用于向第二扬声器渲染的一组音频数据；以及存储多个指令的存储器，当由微处理器执行时，所述多个指令导致所述媒体服务器将与所述节目相关联的多媒体信号拆分为分开的视频流和音频流；将视频流和音频流传输至所述主媒体播放器；将音频流传输至所述次媒体播放器；协调与同一节目相关联的视频流和音频流在不同的媒体播放器上基本上同时显示；并且协调与同一节目相关联的不同组音频数据在所述第一扬声器和所述第二扬声器上基本上同时显示。

【技术特征摘要】
2015.06.30 US 14/788,2891.一种多媒体系统，包括：媒体服务器，所述媒体服务器通信地耦接至网络和多个客户端媒体播放器，所述媒体服务器被配置成用于对经由所述网络接收到的多个多媒体信号进行解调和解码，以输出至所述多个客户端媒体播放器；主媒体播放器，所述主媒体播放器被配置成用于接收来自所述媒体服务器的节目，所述节目包括用于在显示设备上渲染的视频数据和用于向第一扬声器渲染的一组音频数据；次媒体播放器，所述次媒体播放器被配置成用于接收来自所述媒体服务器的、用于向第二扬声器渲染的一组音频数据；以及存储多个指令的存储器，当由微处理器执行时，所述多个指令导致所述媒体服务器将与所述节目相关联的多媒体信号拆分为分开的视频流和音频流；将视频流和音频流传输至所述主媒体播放器；将音频流传输至所述次媒体播放器；协调与同一节目相关联的视频流和音频流在不同的媒体播放器上基本上同时显示；并且协调与同一节目相关联的不同组音频数据在所述第一扬声器和所述第二扬声器上基本上同时显示。2.如权利要求1所述的系统，其中，所述客户端媒体播放器包括电视、游戏控制台、DVR、计算机、膝上计算机、平板计算机或智能电话中的一者或多者。3.如权利要求1所述的系统，其中，所述媒体服务器是加强型广播媒体机顶盒。4.如权利要求1所述的系统，其中，所述次媒体播放器进一步被配置成用于接收用于在第二显示器上渲染的视频流，并且所述多个指令进一步导致所述媒体服务器用节目时钟信号在所述第二显示器上同步渲染所述视频流。5.如权利要求4所述的系统，其中，所述音频流之一是将另一个音频流翻译成不同的语言。6.如权利要求5所述的系统，其中，用说明性本文、字幕、注释、图形和叠加图像中的一者或多者增强视频流。7.如权利要求1所述的系统，其中，所述媒体服务器包括被配置成用于执行时延调整的主系统。8.如权利要求7所述的系统，其中，所述媒体服务器进一步包括扩展系统，所述扩展系统配置有节目时钟基准生成器和传输流复用器。9.一种由媒体服务器协调与多媒体节目相关联的视频流和音频流在不同媒体播放器上基本上同时显示的方法，所述方法包括：确定联网到所述媒体服务器的主客户端设备和次客户端设备的网络时延；将视频帧数据流式传输至所述...

【专利技术属性】
技术研发人员：G·杰拉斯，AK·斯利瓦斯塔瓦，D·潘戴，
申请(专利权)人：意法半导体国际有限公司，
类型：发明
国别省市：荷兰;NL