流媒体数据的传输方法、装置、设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种流媒体数据的传输方法、装置、设备和存储介质。其中，传输方法包括：发送端将流媒体数据中的视频数据采样编码，生成由I帧和多个P帧组成的视频码流；发送端将流媒体数据中的音频数据采样编码，生成音频码流；发送端按设定交织均匀度，将视频码流与音频码流交织成传输码流；发送端按先I帧后P帧的顺序，向接收端发送传输码流。本技术方案降低了多屏互动场景中，流媒体数据从发送端传输编码到接收端解码播放之间的延时，提高了流媒体数据的播放流畅度。

Transmission methods, devices, devices and storage media for streaming media data

An embodiment of the invention discloses a transmission method, a device, a device and a storage medium for streaming media data. The transmission method comprises: sending video data stream media data sampling encoding, formed from a plurality of P frames and frames of video stream; sending audio data stream media data sampling encoding, generating an audio stream; the sending end according to the set interleaving uniformity, video stream and audio stream will be intertwined a transport stream; the sending end according to the order of the P frame after the first I-frame, is transmitted to the receiving terminal transmission stream. The technical scheme reduces the delay between streaming media data transmission from the sending end to the decoding and playback of the receiver in the multi screen Interaction scenario, and improves the fluency of streaming media data.

【技术实现步骤摘要】
流媒体数据的传输方法、装置、设备和存储介质
本专利技术实施例涉及互联网
，尤其涉及一种流媒体数据的传输方法、装置、设备和存储介质。
技术介绍
近年来，随着互联网的迅速发展，多媒体的内容也越来越丰富，通过智能手机或平板电脑观看在线视频、玩在线游戏已经十分普遍，大屏电视也越来越普及，这使得多屏互动成为一种比较实用的功能。例如，在智能手机上观看在线视频或玩在线游戏时，通过多屏互动技术可以将智能手机上的屏幕数据编码传送到大屏电视端进行解码播放，用户的体验感能得到很大提升。但由于流媒体数据在编码传输到解码播放时延时较大，经常会导致手机端的屏幕画面和电视端的屏幕画面不同步，以及电视端屏幕画面卡顿、花屏等问题。
技术实现思路
为解决相关技术问题，本专利技术实施例提供一种流媒体数据的传输方法、装置、设备和存储介质，降低了多屏互动场景中流媒体数据从编码传输到解码显示之间的延时，提高了基于多屏互动的流媒体数据的播放流畅度。为实现上述目的，本专利技术实施例采用如下技术方案：第一方面，本专利技术实施例提供了一种流媒体数据的传输方法，包括：发送端将流媒体数据中的视频数据采样编码，生成由I帧和多个P帧组成的视频码流；发送端将流媒体数据中的音频数据采样编码，生成音频码流；发送端按设定交织均匀度，将所述视频码流与所述音频码流交织成传输码流；发送端按先I帧后P帧的顺序，向接收端发送所述传输码流。第二方面，本专利技术实施例提供了一种流媒体数据的传输装置，配置于基于多屏互动的发送端，所述传输装置包括：视频编码单元，用于将流媒体数据中的视频数据采样编码，生成由I帧和多个P帧组成的视频码流；音频编码单元，用于将流媒体数据中的音频数据采样编码，生成音频码流；音视频交织单元，用于按设定交织均匀度，将所述视频码流与所述音频码流交织成传输码流；传输码流发送单元，用于按先I帧后P帧的顺序，向接收端发送所述传输码流。第三方面，本专利技术实施例提供了一种设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术任一实施例提供的流媒体数据的传输方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术任一实施例提供的流媒体数据的传输方法。本专利技术实施例提供的技术方案带来的有益效果：本专利技术实施例提供一种流媒体数据的传输方法、装置、设备和存储介质，基于多屏互动的发送端和接收端之间，发送端在视频编码时不生成B帧，减少了编码缓冲延迟，接收端进行视频解码时只需解码I帧和P帧，不需解码B帧，降低了帧间参考引起的解码延时；发送端按照设定均匀度交织视频码流和音频码流，保证了传输码流中音视频严格同步均匀，接收端则无需再对音视频做同步处理，播放时不需要为音视频同步再做缓冲，降低了同步延时。本技术方案降低了多屏互动场景中，流媒体数据从发送端传输编码到接收端解码播放之间的延时，提高了流媒体数据的播放流畅度。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对本专利技术实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本专利技术实施例的内容和这些附图获得其他的附图。图1是本专利技术实施例提供的一种基于多屏互动的数据交互场景示意图；图2是本专利技术实施例提供的一种流媒体数据的传输方法的流程示意图；图3是标准视频编码协议下I帧、B帧和P帧的编码示意图；图4是标准视频编码协议下视频码流的结构示意图；图5是本专利技术实施例提供的另一种流媒体数据的传输方法的流程示意图；图6是本专利技术实施例提供的另一种流媒体数据的传输方法的流程示意图；图7是本专利技术实施例提供的一种流媒体数据的传输装置的架构示意图；图8是本专利技术实施例提供的一种设备的结构示意图。具体实施方式为使本专利技术解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本专利技术实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参考图2，本实施例的方法可适用于如图1所示的基于多屏互动编码传输流媒体数据并解码播放的场景，其中，发送端和接收端可以采用基于在线网络的无线投屏技术相连，该方法可以由图1中的发送端来执行，具体可以由配置于该发送端的软件和/或硬件来执行。如图2所示，本实施例提供的技术方案可以包括：S210、发送端将流媒体数据中的视频数据采样编码，生成由I帧和多个P帧组成的视频码流。示例性的，流媒体数据中包括视频数据和音频数据，在对流媒体数据进行编码传输时，发送端是对视频数据和音频数据分别进行采样编码，即同时进行视频编码和音频编码。对于视频编码，如图3所示，一般编码的帧类型包括I帧、P帧和B帧。其中，I帧又称帧内编码帧，是一种自带全部信息的独立帧，无需参考其他图像帧便可独立进行编码及解码，视频序列中的第一个帧始终都是I帧，因为它是关键帧；P帧又称帧间预测编码帧，需要参考前面的I帧才能进行编码及解码；B帧又称双向预测编码帧，B帧记录的是本帧与前后帧的差别，也就是说要解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面，B帧压缩率较高。在一个实施例中，发送端的视频编码器在进行视频编码时，控制编码的帧类型，视频编码器输出的视频码流仅包括I帧和多个P帧，不输出B帧，各P帧之间只发生前向参考。发送端编码器不做双向参考减少了帧缓冲减少编码延时，同时接收端在视频解码时，解码器只需处理向前参考的I帧和P帧，不需要缓冲多帧来处理双向参考的B帧，这样降低了帧间参考引起的解码延时。优选的，所述视频码流的每一帧均设置有帧结束符。在一个实施例中，发送端通过视频编码器在进行视频编码时，为每一帧设置帧结束符，帧结束符用以表示一帧数据传输结束。相应的，接收端在接收视频码流解码时，收到帧结束符时即可开始解码当前帧，而不必等到接收下一帧的帧头再开始解码，可进一步降低帧间解码延时。优选的，所述视频码流的最小可解码颗粒度为片或宏块。示例性的，如图4所示，一般视频码流由起始码和NALUnit(NetworkAbstractionLayerUnit，网络抽象层单元)构成，其中，NALUnit进一步包括NALUHeader(网络抽象层单元头数据)和NALU主体，NALU主体由Slice(片)构成，Slice进一步包括SliceHeader(片头数据)和SliceData(片数据)，SliceData由flags(标识)和多个MacroblockLayer(宏块)构成。在一个实施例中，发送端设置视频编码器输出的视频码流的最小可解码颗粒度为Slice(片)或宏块，Slice和宏块之间无耦合，并以Slice或宏块为单位在网络上发送。相应的，接收端在接收到视频码流时，可以对单个Slice或宏块进行解码，无需等到接收完整的一帧再解码，可以降低帧内解码的延时。S220、发送端将流媒体数据中的音频数据采样编码，生成音频码流。需要说明的是，发送端是同时执行S210本文档来自技高网...

【技术保护点】
一种流媒体数据的传输方法，其特征在于，包括：发送端将流媒体数据中的视频数据采样编码，生成由I帧和多个P帧组成的视频码流；发送端将流媒体数据中的音频数据采样编码，生成音频码流；发送端按设定交织均匀度，将所述视频码流与所述音频码流交织成传输码流；发送端按先I帧后P帧的顺序，向接收端发送所述传输码流。

【技术特征摘要】
1.一种流媒体数据的传输方法，其特征在于，包括：发送端将流媒体数据中的视频数据采样编码，生成由I帧和多个P帧组成的视频码流；发送端将流媒体数据中的音频数据采样编码，生成音频码流；发送端按设定交织均匀度，将所述视频码流与所述音频码流交织成传输码流；发送端按先I帧后P帧的顺序，向接收端发送所述传输码流。2.如权利要求1所述的方法，其特征在于，所述视频码流的每一帧均设置有帧结束符。3.如权利要求1所述的方法，其特征在于，所述视频码流的最小可解码颗粒度为片或宏块。4.如权利要求1所述的方法，其特征在于，所述方法还包括：发送端接收所述接收端返回的带宽监控信息；发送端根据所述带宽监控信息，动态调整编码码率、帧率和/或分辨率。5.如权利要求4所述的方法，其特征在于，所述发送端根据所述带宽监控信息，动态调整编码码率、帧率和/或分辨率，包括：若传输带宽不支持当前传输码率，则发送端减小编码码率、帧率和/或分辨率；若传输带宽支持当前传输码率，且传输带宽的利用率低于设定值，则发送端增大编码码率、帧率和/或分辨率。6.如权利要求1所述的方法，其特征在于，所述方法还包括：发送端接收所述接收端返回的视频解码异...

【专利技术属性】
技术研发人员：薛震，
申请(专利权)人：深圳创维RGB电子有限公司，
类型：发明
国别省市：广东,44