将远程音频与固定视频同步制造技术

一种多媒体设备（１００）包括：分割实体，其被配置为将多媒体流分割为音频帧和视频帧；排序实体，其被配置为向至少一个音频帧添加序号；收发信机，其被配置为向远程音频设备发射音频帧；控制器，其耦合到视频播放器，所述控制器被配置为根据所述序号来确定与向远程音频设备发射音频帧相关联的延迟，并且根据所述延迟来控制在视频播放器的视频帧的呈现。

【技术实现步骤摘要】
【国外来华专利技术】
本公开总体上涉及无线通信，具体地涉及将在独立的设备上——例如在手持电子设备和无线耳机上——播放的音频信号和视频信号同步。
技术介绍
当前，许多具有蓝牙功能的移动电话支持一系列基本功能，诸如用于实现免提呼叫的耳机/免提模式，用于推入、拉出和传送文件的特定OBEX功能和用于一般访问的某种类型的串行连接。这些电话的大多数也在一定程度上支持诸如MP3和其他格式的音频片段之类的媒体内容。一些具有蓝牙功能的电话也能够播放MP4型媒体内容，其在同一文件中组合视频、音频和元数据。然而，当在蜂窝电话显示器或者其他主设备上观看视频内容并且在无线耳机上播放伴随的音频内容时，音频和视频同步问题可能发生。例如，从诸如蜂窝电话或者个人计算机的媒体设备经由蓝牙到立体声耳机的流立体声音质音频要求使用通用音频视频访问简档(GAVDP)、高级音频源简档(A2DP)和音频视频源传送协议(ADVTP)。A2DP要求使用子频带编码(SBC)方案来保证在所有蓝牙设备之间的互操作性。如果以MP3格式在电话上存储了音乐文件，则它们一般被译码为SBC，以便使用A2DP来流送音频。音频内容的转码及其向无线耳机的传输引入了影响同步的等待时间。在主设备和耳机之间的数据的重传和在耳机上的音频内容的随后处理也可能影响同步。通过仔细地考虑下面的其详细说明与下述的附图，本公开的各个方面、特征和优点将对于本领域内的普通技术人员变得更清楚。附图可能为了清楚而已经被简化，并且不必然是按照比例绘制的。附图说明图1是多媒体设备和远程音频设备的示意方框图。图2是用于确定延迟的处理流程图。图3是用于确定估计的延迟的处理流程图。图4是用于同步音频帧和视频帧的处理流程图。图5是用于确定远程音频设备是否支持主多媒体设备原有的音频格式的处理流程图。具体实施方式图1图解了可通信地耦合到远程音频设备102的手持多媒体设备100，其中，在多媒体设备上呈现视频内容，并且在远程音频设备上呈现相关的音频内容。示例性多媒体设备是移动电话，其包括能够播放视频内容的至少一个视频播放器。然而，更一般而言，设备100包括多媒体播放器104，其能够呈现音频和视频内容。在其他实施例中，多媒体设备是能够至少呈现视频内容并且与能够呈现伴随的音频内容的远程音频设备通信的任何主机设备。在一种实现方式中，多媒体设备支持MP4多媒体内容或者某种其他多媒体格式内容。-->MP4是组合视频、音频和元数据的容器格式。远程音频设备102可以被实现为音频耳机或者能够与所述主机设备通信的某种其他的音频设备。在一个实施例中，远程音频设备与主机设备无线地通信，尽管在其他实施例中，所述设备经由有线线路来通信。远程音频设备一般支持由主机设备提供的音频格式，如下进一步所述。在一个实施例中，多媒体设备按照蓝牙协议与远程音频设备无线地通信。然而，在其他实施例中，这些设备按照某种其他的开放或者专有无线或者有线通信协议来通信。在一些情况下，当在多媒体设备的用户界面上呈现多媒体文件的视频分量和在远程设备上呈现伴随的音频分量时，可能出现同步问题。如所述，与从多媒体设备到远程音频设备的音频分量的传输相关联的传播延迟可能导致不可接受的同步缺失。在主机设备和远程音频设备之间的不良重传或者丢失数据也可能影响传播延迟。例如，在其中主机设备与远程音频设备无线地通信的移动应用中，通过改变信道条件也可能影响传播延迟。在多媒体设备和/或在远程音频设备处的音频内容的本地处理也可能不利地影响同步。在一些实现方式中，例如，从多媒体设备经由蓝牙向立体声耳机的流立体声音质音频要求使用通用音频视频访问简档(GAVDP)、高级音频分发简档(A2DP)和音频视频分发传送协议(ADVTP)。A2DP要求子频带编码(SBC)来保证在蓝牙设备之间的互操作性。在多媒体设备上存储的例如MP3的一些音频文件格式一般被译码为SBC，以便使用A2DP。在其他实施例中，可以使用其他音频和视频协议。不论什么原因引起的在主机设备上的音频内容的转码都仍然引入可能不利地影响音频和视频同步的等待时间。通过在远程音频设备处理音频也可以影响同步。在图1中，多媒体设备包括耦合到多媒体播放器的分割实体106。分割实体被配置为将多媒体流分割为音频帧和视频帧。在一种实现方式中，从多媒体设备上的存储设备读取输入到分割实体的多媒体内容。在其他实现方式中，从远程源流送多媒体内容。在后一种实现方式中，可以通过有线或者无线网络流送多媒体内容。流送的内容可以始发自任何源，例如DVB-H或者其他广播源，或者其可以从连接到因特网的内容服务器或者通过某个其他网络被流送。在其他实现方式中，可以从某个其他源——例如从可通信地耦合到多媒体设备的记录设备——获得多媒体内容。本公开不意欲限于特定的多媒体内容源。在图1中，多媒体设备100也包括排序实体108，其具有耦合到分割实体的输出的输入。在一个实施例中，排序实体108被配置为向至少一个音频帧添加序号。在其他实施例中，也向至少一个视频帧添加序号。更一般而言，可以向每第n个音频帧和向每第n个视频帧添加序号，其中，n是大于0的某个整数值。在一些实施例中，被添加到音频帧和视频帧的序号可以用于评估在重放期间的在音频帧和视频帧之间的同步，如下更全面所述。在图1中，视频播放器104耦合到分割实体106，其中，视频播放器被配置为在设备的用户界面——例如在其视频显示器——呈现从分割实体接收的视频帧。在图1中，视频播放器104耦合到排序实体108，其中，排序实体经由缓冲器实体114向视频播放器104传送视频帧。在其他实现方式中，视频播放器直接耦合到分割实体106，其中，分割实体经由缓冲器实体114向视频播放器传送视频帧。在其中经由排序实体将视频帧路由到视频播放器的实施例中，排序实体根据特定实现方式而可以或者可以不向视频帧添加序号。在一些实施例中，多媒体设备包括转码实体，用于其中可能需要转码的实现方式。在一些实例中，例如，在多媒体设备上存储的音频文件格式被传输到远程音频设备之前可-->以被转码为另一个格式。在一些实施例中，如上所述，MP3格式音频帧被转码为SBC，以便使用A2DP。在其他实施例中，译码器实体译码其他音频格式。在图1中，示例性主机设备包括译码实体109，用于译码音频帧。下面进一步说明与在主机设备和远程音频设备上的译码相关联的延迟。在图1中，主机设备100包括收发信机110，其耦合到排序实体108。在一个实施例中，收发信机是无线收发信机，例如蓝牙或者某种其他协议无线收发信机。然而，更一般而言，收发信机可以是有线收发信机。收发信机一般被配置为向远程音频设备发射音频帧。在接收时，远程音频设备在其用户界面上——例如在耳机换能器上——呈现音频帧。在一些实施例中，可以在向用户呈现之前在远程音频设备处理音频帧。在主机多媒体设备的用户界面上呈现的视频帧优选地与在远程音频设备的用户界面上呈现的音频帧同步。在本公开中，同步表示在指定的时间间隔中出现音频帧和伴随的视频帧的呈现。指定的时间间隔是主观的，因为对于同步的敏感度在用户之间可能在一定程度上有所不同。指定时间间隔一般被选择使得至少对于大多数用户而言没有可感知的用户感知的同步缺失。在指定时间间隔之外的视频帧和伴随的音频帧的呈现之间的任何延迟是不同步的。根据本文档来自技高网...

【技术保护点】
一种在手持多媒体设备中的方法，所述方法包括：将多媒体流分割为音频帧和视频帧；在所述多媒体设备的用户界面上呈现所述视频帧；向远程音频设备发射所述音频帧；根据向至少一个所述音频帧添加的序号来确定与向所述远程音频设备发射所述音频帧相关联的延迟；根据所述延迟来控制在所述用户界面上的所述视频帧的呈现。

【技术特征摘要】
【国外来华专利技术】US 2007-10-8 11/868,6431.一种在手持多媒体设备中的方法，所述方法包括：将多媒体流分割为音频帧和视频帧；在所述多媒体设备的用户界面上呈现所述视频帧；向远程音频设备发射所述音频帧；根据向至少一个所述音频帧添加的序号来确定与向所述远程音频设备发射所述音频帧相关联的延迟；根据所述延迟来控制在所述用户界面上的所述视频帧的呈现。2.根据权利要求1所述的方法，通过延迟所述视频帧的呈现来控制在所述用户界面上的所述视频帧的呈现。3.根据权利要求1所述的方法，在确定与向所述远程音频设备发射所述音频帧相关联的延迟之前，确定在所述音频帧和视频帧之间的估计延迟，在补偿所述延迟之前，根据所述估计延迟来延迟在所述多媒体设备的用户界面上的所述视频帧的呈现。4.根据权利要求3所述的方法，根据在所述多媒体设备的查找表中存储的估计延迟信息来确定所述估计延迟。5.根据权利要求1所述的方法，确定在所述多媒体设备上所述音频帧的原有代码化方案是否被所述远程音频设备和被所述多媒体设备支持，只有在所述原有代码化方案被所述远程音频设备和被所述多媒体设备均支持的情况下，才以所述原有代码化方案而不是以强制的编码方案来发射所述音频帧。6.根据权利要求1所述的方法，向所述远程音频设备发射所述音频帧，以在所述远程音频设备上呈现，确定与处理在所述远程音频设备上的音频帧相关联的远程延迟，根据所述远程延迟来控制在所述多媒体设备上的所述视频帧的呈现。7.根据权利要求6所述的方法，确定与在所述多媒体设备上处理音频帧相关联的本地延迟，根据所述本地延迟来控制在所述多媒体设备上的所述视频帧的呈现。8.根据权利要求1所述的方法，确定所述延迟的步骤包括：测量具有所述序号的所述音频帧到所述远程音频设备的传输时间。9.根据权利要求1所述的方法，根据在共同的时间间隔期间所消耗的视频帧数量与所消耗的音频帧数量的比较来确定所述延迟。10.一种多媒体设备，包括：分割实体，所述分割实体被配置为将多媒体流分割为音频帧和视频帧；耦合到所述分割实体的排序实体，所述排序实体被配置为向至少一个音频帧添加序号；耦合到所述分割实体的视频播放器，...

【专利技术属性】
技术研发人员：迈克尔E拉塞尔，阿诺德谢因曼，
申请(专利权)人：摩托罗拉公司，
类型：发明
国别省市：US[美国]