一种显示设备及流媒体视频音画同步方法技术

本申请提供一种显示设备及流媒体视频音画同步方法，所述方法可以在获取播放数据后，对播放数据进行解码，并计算解码后相邻两帧视频数据之间的相邻帧时间差，从而根据相邻帧时间差修改当前帧视频数据的播放参数。其中，对播放参数的修改，可以实现在当前帧与前一帧时间戳不连续时，调节播放起始时间或播放系统时间，从而实现多帧视频数据间的连续播放。

【技术实现步骤摘要】
一种显示设备及流媒体视频音画同步方法
本申请涉及智能电视
，尤其涉及一种显示设备及流媒体视频音画同步方法。
技术介绍
智能电视是基于Internet应用技术，具备开放式操作系统与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体的电视产品，用于满足用户多样化和个性化需求。通过智能电视可以播放音视频文件，形成流媒体。为了输出更好的流媒体影音效果，智能电视需要保证多媒体的音画同步功能。多媒体的同步功能是，让多个流中具有相同时间戳(presentationtimestamp，pts)的媒体数据在同一时刻被播放出来，即实现音画同步。例如，基于gstreamer的开源多媒体框架中，可支持三种不同的音视频同步方式：音频作为主时钟、视频作为主时钟、系统时钟作为主时钟。其中，多数播放器是以音频作为主时钟的同步方式，但对于一些特殊的播放器或者在播放没有音频的多媒体时，需要使用系统时钟作为主时钟的同步方式，此时音视频帧均需要根据pts向系统时钟对齐。如果相邻帧的pts不连续，则流媒体的播放过程中会出现卡住、卡顿等异常情况，降低用户体验。
技术实现思路
本申请提供了一种显示设备及流媒体视频音画同步方法，以解决传统流媒体视频音画同步方法容易出现卡顿的问题。一方面，本申请提供一种显示设备，包括：显示器、音频输出接口以及控制器。其中，显示器被配置为显示播放数据中的视频画面；音频数据接口被配置为输出播放数据中的音频信号；所述控制器被配置为执行以下程序步骤：获取播放数据，所述播放数据包括视频数据和/或音频数据；对所述播放数据执行解码，以获得多帧视频数据；根据当前帧视频数据与前一帧视频数据的时间戳，计算相邻帧时间差；按照所述相邻帧时间差，修改当前帧视频数据的播放参数，所述播放参数包括播放起始时间或播放系统时间，所述播放起始时间为播放数据的播放起始时间，所述播放系统时间为播放器的起播时间。另一方面，基于上述显示设备，本申请还提供一种流媒体视频音画同步方法，应用于显示设备，所述显示设备包括显示器、音频输出接口以及控制器；所述方法包括以下步骤：获取播放数据，所述播放数据包括视频数据和/或音频数据；对所述播放数据执行解码，以获得多帧视频数据；根据当前帧视频数据与前一帧视频数据的时间戳，计算相邻帧时间差；按照所述相邻帧时间差，修改当前帧视频数据的播放参数，所述播放参数包括播放起始时间或播放系统时间，所述播放起始时间为播放数据的起始时间，所述播放系统时间为播放器的起播时间。由以上技术方案可知，本申请提供的显示设备及流媒体视频音画同步方法可以在获取播放数据后，对播放数据进行解码，并计算解码后相邻两帧视频数据之间的相邻帧时间差，从而根据相邻帧时间差修改当前帧视频数据的播放参数。其中，调节播放参数可以实现在当前帧与前一帧时间戳不连续时，调节播放起始时间或播放系统时间，从而保证多帧视频数据间的连续播放。附图说明为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例中显示设备与控制装置之间操作场景的示意图；图2为本申请实施例中显示设备的硬件配置框图；图3为本申请实施例中控制设备的硬件配置框图；图4为本申请实施例中显示设备软件配置示意图；图5为本申请实施例中显示设备应用程序的图标控件界面显示示意图；图6为本申请实施例中系统时间轴示意图；图7为本申请实施例中一种流媒体视频音画同步方法流程示意图；图8为本申请实施例中修改播放参数的流程示意图；图9为本申请实施例中生成相邻帧时间差的流程示意图；图10为本申请实施例中输出视频数据的流程示意图；图11为本申请实施例中解码模块的内部处理流程示意图；图12为本申请实施例中显示模块的内部处理流程示意图。具体实施方式下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(Unlessotherwiseindicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。本申请中使用的术语“遥控器”，是指电子设备(如本申请中公开的显示设备)的一个组件，通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接，也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如：手持式触摸遥控器，是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。本申请中使用的术语“手势”，是指用户通过一种手型的变化或手部运动等动作，用于表达预期想法、动作、目的/或结果的用户行为。图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图1中示出，用户可通过移动终端300和控制装置100操作显示设备200。在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式等，通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键，语音输入、控制面板输入等输入用户指令，来控制显示设备2本文档来自技高网...

【技术保护点】
1.一种显示设备，其特征在于，包括：/n显示器；/n音频输出接口；/n控制器，被配置为：/n获取播放数据，所述播放数据包括视频数据和/或音频数据；/n对所述播放数据执行解码，以获得多帧视频数据；/n根据当前帧视频数据与前一帧视频数据的时间戳，计算相邻帧时间差；/n按照所述相邻帧时间差，修改当前帧视频数据的播放参数，所述播放参数包括播放起始时间或播放系统时间，所述播放起始时间为播放数据的播放起始时间，所述播放系统时间为播放器的起播时间。/n

【技术特征摘要】
1.一种显示设备，其特征在于，包括：
显示器；
音频输出接口；
控制器，被配置为：
获取播放数据，所述播放数据包括视频数据和/或音频数据；
对所述播放数据执行解码，以获得多帧视频数据；
根据当前帧视频数据与前一帧视频数据的时间戳，计算相邻帧时间差；
按照所述相邻帧时间差，修改当前帧视频数据的播放参数，所述播放参数包括播放起始时间或播放系统时间，所述播放起始时间为播放数据的播放起始时间，所述播放系统时间为播放器的起播时间。


2.根据权利要求1所述的显示设备，其特征在于，根据当前帧视频数据与前一帧视频数据的时间戳，计算相邻帧时间差的步骤中，所述控制器被进一步配置为：
提取当前帧视频数据的时间戳和前一帧视频数据的时间戳；
通过当前帧视频数据的时间戳减前一帧视频数据的时间戳，获得相邻帧时间差；
如果所述相邻帧时间差的绝对值大于预设判断阈值，则执行按照所述相邻帧时间差，修改当前帧视频数据的播放参数的步骤；
如果所述相邻帧时间差的绝对值小于或等于预设判断阈值，则控制输出当前帧视频数据。


3.根据权利要求2所述的显示设备，其特征在于，如果所述相邻帧时间差的绝对值大于预设判断阈值，所述控制器被进一步配置为：
计算当前帧视频数据的播放起始时间和播放系统时间；
如果所述相邻帧时间差大于0，修改当前帧视频数据的播放起始时间提前所述相邻帧时间差的值；
如果所述相邻帧时间差小于0，修改当前帧视频数据的播放系统时间增加调节值，所述调节值为相邻帧时间差的绝对值与播放速度的比值。


4.根据权利要求1所述的显示设备，其特征在于，所述控制器被进一步配置为：
控制所述显示器和/或音频输出接口输出当前帧视频数据；
更新上一帧视频数据的时间戳等于当前帧视频数据的时间戳。


5.根据权利要求4所述的显示设备，其特征在于，所述控制器被进一步配置为：
提取修改后的播放参数；
使用修改后的播放参数，计算当前帧视频数据的实际播放时间；
在所述实际播放时间控制所述显示器和/或音频输出接口...

【专利技术属性】
技术研发人员：王统华，
申请(专利权)人：海信视像科技股份有限公司，
类型：发明
国别省市：山东;37