多屏协同音频传输服务端、客户端、系统及其处理方法技术方案

本发明专利技术涉及智能设备技术。本发明专利技术是要解决现需要将音频文件下载或拷贝到智能设备端进行播放的问题，提供了一种多屏协同音频传输服务端、客户端、系统及其处理方法，其技术方案可概括为：多屏协同音频传输服务端包括服务端会话模块及发送模块，服务端会话模块与发送模块连接，多屏协同音频传输客户端包括客户端会话模块、接收模块、传输质量控制模块及播放器，所述接收模块与客户端会话模块连接，传输质量控制模块与接收模块连接，播放器与传输质量控制模块连接，传输质量控制模块与客户端会话模块连接。本发明专利技术的有益效果是，方便用户，适用于智能设备的多屏协同。

Multi screen coordinated audio transmission service side, client side, system and processing method thereof

The invention relates to intelligent equipment technology. The present invention is to solve the current audio files need to be downloaded or copied to the smart device end playback problems, provides a multi screen collaboration server, client, audio transmission system and its processing method, the technical scheme can be summarized as follows: multi screen cooperative audio transmission server includes server session module and a sending module, server session module connected with the sending module, multi screen cooperative audio transmission client includes a client session module, receiving module, transmission quality control module and the player, the receiving module is connected with the client session module, transmission quality control module connected with the receiving module, the control module is connected with the player and the transmission quality, transmission quality control module is connected with the client session module. The invention has the advantages that the user is convenient, and the utility model is suitable for the multi screen coordination of the intelligent equipment.

【技术实现步骤摘要】
多屏协同音频传输服务端、客户端、系统及其处理方法
本专利技术涉及智能设备技术，特别涉及智能设备的多屏协同技术。
技术介绍
随着网络通信技术的发展和家庭智能设备的普及，智能电视在家庭娱乐方面的地位日益突出，利用无线网络，实现智能电视与智能设备的交互应用，使用传统方式需将音频文件下载或拷贝到智能电视端进行播放，传统的方式已无法满足交互应用中快捷、方便的原则。
技术实现思路
本专利技术的目的是要解决目前需要将音频文件下载或拷贝到智能设备端进行播放的问题，提供了一种多屏协同音频传输服务端、客户端、系统及其处理方法。本专利技术解决其技术问题，采用的技术方案是，多屏协同音频传输服务端，其特征在于，包括服务端会话模块及发送模块，所述服务端会话模块与发送模块连接，所述服务端会话模块用于与客户端通过网络连接，提供服务端与客户端之间的通信，包括RTSP报告、RTP数据包及传输流量控制管理数据包；所述发送模块用于将对应的音频数据流封装成RTP包并发送给客户端，并接收及处理客户端发送来的传输流量控制管理数据包。具体的，所述传输流量控制管理数据包为RTCP数据包。进一步的，所述RTSP报告中包含播放指令和/或暂停指令和/或停止指令。多屏协同音频传输客户端，其特征在于，包括客户端会话模块、接收模块、传输质量控制模块及播放器，所述接收模块与客户端会话模块连接，传输质量控制模块与接收模块连接，播放器与传输质量控制模块连接，传输质量控制模块与客户端会话模块连接，所述客户端会话模块用于与服务端通过网络连接，提供服务端与客户端之间的通信，包括RTSP报告、RTP数据包及传输流量控制管理数据包；所述接收模块用于接收并解析服务端发送来的RTP包；所述传输质量控制模块用于根据接收模块接收的RTP包进行传输流量控制管理，向服务端发送传输流量控制管理数据包；所述播放器用于播放解析后得到的音频数据流。具体的，所述传输流量控制管理数据包为RTCP数据包。进一步的，所述RTSP报告中包含播放指令和/或暂停指令和/或停止指令。多屏协同音频传输系统，其特征在于，包括上述多屏协同音频传输服务端及上述多屏协同音频传输客户端，所述服务端会话模块与客户端会话模块通过网络连接。多屏协同音频传输系统的处理方法，应用于上述多屏协同音频传输系统，其特征在于，包括以下步骤：步骤1、多屏协同音频传输客户端通过RTSP协议向多屏协同音频传输服务端发送建立会话连接请求，多屏协同音频传输服务端建立会话连接；步骤2、多屏协同音频传输客户端通过RTSP协议向多屏协同音频传输服务端发送音频数据传输请求；步骤3、多屏协同音频传输服务端将对应的音频数据流封装成RTP包，并打上相应的时间戳信息及序号并发送给多屏协同音频传输客户端；步骤4、多屏协同音频传输客户端根据接收到的RTP包中时间戳信息对其中的音频数据流解码并存入数据缓冲池；步骤5、多屏协同音频传输客户端的传输质量控制模块从数据缓冲池中提取音频数据流，将其按照序号进行排序后传输给播放器进行播放，并将播放同步信息通过传输流量控制管理数据包反馈给多屏协同音频传输服务端，多屏协同音频传输服务端根据接收到的传输流量控制管理数据包调整发送RTP包的策略以实现音频同步；步骤6、播放时，多屏协同音频传输服务端及多屏协同音频传输客户端均时刻监测接收到的RTSP报告，并对其进行相应处理。具体的，步骤1包括以下具体步骤：步骤101、多屏协同音频传输服务端启动，创建一个传输流量控制实时服务线程、RTP实时服务线程及一个RTSP实时服务线程；步骤102、多屏协同音频传输服务端创建一个UDP套接字并将其绑定到所提供的服务的地址之上，RTP包使用一个偶数号□，则相应的传输流量控制数据包使用其后的奇数号端口；步骤103、多屏协同音频传输服务端时刻监听并接收来自多屏协同音频传输客户端的RTSP报告，若接收到多屏协同音频传输客户端发送来的RTSP报告中是会话连接请求，则进入步骤104，否则进入步骤6；步骤104、多屏协同音频传输服务端响应该会话连接请求，与多屏协同音频传输客户端建立会话连接，进入步骤2。进一步的，步骤3包括以下步骤：步骤301、多屏协同音频传输服务端判断对应的音频数据流中各音频数据帧大小，若一帧的长度超过最大传输单元时，则对该帧进行分片封包；步骤302、多屏协同音频传输服务端将音频数据帧转换为RTP包，并在RTP包头中根据每帧信息设置序号及时间戳信息，用于播放同步及丢包处理；步骤303、多屏协同音频传输服务端将RTP包存入发送缓冲池按照发送策略发送给多屏协同音频传输客户端；步骤4包括以下步骤：步骤401、多屏协同音频传输客户端接收到RTP包，对其进行解析，去掉RTP包头信息，并将解析得到的音频数据帧、序号及时间戳信息存入数据缓冲池；步骤5包括以下步骤：步骤501、多屏协同音频传输客户端的传输质量控制模块从数据缓冲池中提取音频数据流；步骤502、将所提取的音频数据流按照对应序号进行排序，同时分析在UPD传输中丢掉的RTP包，通过传输流量控制管理数据包反馈给多屏协同音频传输服务端；步骤503、利用所提取的音频数据流对应的时间戳信息建立绝对时间轴信息，将当前时间信息同绝对时间信息比对并传输给播放器进行播放，将比对差值通过传输流量控制管理数据包反馈给多屏协同音频传输服务端；步骤504、多屏协同音频传输服务端根据接收到的传输流量控制管理数据包调整发送RTP包的策略以实现音频同步。本专利技术的有益效果是，在本专利技术方案中，通过上述多屏协同音频传输服务端、客户端、系统及其处理方法，可以通过网络实现多屏协同音频传输服务端与多屏协同音频传输客户端之间采用数据流传输音频数据，不需要客户端再对需要播放的音频文件进行下载或拷贝到本地，方便用户，处理快捷。附图说明图1为本专利技术多屏协同音频传输服务端的系统框图。图2为本专利技术多屏协同音频传输客户端的系统框图。图3为多屏协同音频传输系统的系统框图。具体实施方式下面结合附图及实施例，详细描述本专利技术的技术方案。本专利技术的多屏协同音频传输服务端，其系统框图参见图1，包括服务端会话模块及发送模块，服务端会话模块与发送模块连接，其中，服务端会话模块用于与客户端通过网络连接，提供服务端与客户端之间的通信，包括RTSP报告、RTP数据包及传输流量控制管理数据包；发送模块用于将对应的音频数据流封装成RTP包并发送给客户端，并接收及处理客户端发送来的传输流量控制管理数据包。本专利技术的多屏协同音频传输客户端，其系统框图参见图2，包括客户端会话模块、接收模块、传输质量控制模块及播放器，接收模块与客户端会话模块连接，传输质量控制模块与接收模块连接，播放器与传输质量控制模块连接，传输质量控制模块与客户端会话模块连接，其中，客户端会话模块用于与服务端通过网络连接，提供服务端与客户端之间的通信，包括RTSP报告、RTP数据包及传输流量控制管理数据包；接收模块用于接收并解析服务端发送来的RTP包；传输质量控制模块用于根据接收模块接收的RTP包进行传输流量控制管理，向服务端发送传输流量控制管理数据包；播放器用于播放解析后得到的音频数据流。本专利技术的多屏协同音频传输系统，其系统框图参见图3，包括上述多屏协同音频传输服务端及上述多屏协同音频传输客户端，所述服务端会话模块与客户端会话模块通过网本文档来自技高网...

【技术保护点】
多屏协同音频传输服务端，其特征在于，包括服务端会话模块及发送模块，所述服务端会话模块与发送模块连接，所述服务端会话模块用于与客户端通过网络连接，提供服务端与客户端之间的通信，包括RTSP报告、RTP数据包及传输流量控制管理数据包；所述发送模块用于将对应的音频数据流封装成RTP包并发送给客户端，并接收及处理客户端发送来的传输流量控制管理数据包。

【技术特征摘要】
1.多屏协同音频传输服务端，其特征在于，包括服务端会话模块及发送模块，所述服务端会话模块与发送模块连接，所述服务端会话模块用于与客户端通过网络连接，提供服务端与客户端之间的通信，包括RTSP报告、RTP数据包及传输流量控制管理数据包；所述发送模块用于将对应的音频数据流封装成RTP包并发送给客户端，并接收及处理客户端发送来的传输流量控制管理数据包。2.如权利要求1所述的多屏协同音频传输服务端，其特征在于，所述传输流量控制管理数据包为RTCP数据包。3.如权利要求1所述的多屏协同音频传输服务端，其特征在于，所述RTSP报告中包含播放指令和/或暂停指令和/或停止指令。4.多屏协同音频传输客户端，其特征在于，包括客户端会话模块、接收模块、传输质量控制模块及播放器，所述接收模块与客户端会话模块连接，传输质量控制模块与接收模块连接，播放器与传输质量控制模块连接，传输质量控制模块与客户端会话模块连接，所述客户端会话模块用于与服务端通过网络连接，提供服务端与客户端之间的通信，包括RTSP报告、RTP数据包及传输流量控制管理数据包；所述接收模块用于接收并解析服务端发送来的RTP包；所述传输质量控制模块用于根据接收模块接收的RTP包进行传输流量控制管理，向服务端发送传输流量控制管理数据包；所述播放器用于播放解析后得到的音频数据流。5.如权利要求4所述的多屏协同音频传输客户端，其特征在于，所述传输流量控制管理数据包为RTCP数据包。6.如权利要求5所述的多屏协同音频传输客户端，其特征在于，所述RTSP报告中包含播放指令和/或暂停指令和/或停止指令。7.多屏协同音频传输系统，其特征在于，包括如权利要求1或2或3所述的多屏协同音频传输服务端及如权利要求4或5或6所述的多屏协同音频传输客户端，所述服务端会话模块与客户端会话模块通过网络连接。8.多屏协同音频传输系统的处理方法，应用于如权利要求7所述的多屏协同音频传输系统，其特征在于，包括以下步骤：步骤1、多屏协同音频传输客户端通过RTSP协议向多屏协同音频传输服务端发送建立会话连接请求，多屏协同音频传输服务端建立会话连接；步骤2、多屏协同音频传输客户端通过RTSP协议向多屏协同音频传输服务端发送音频数据传输请求；步骤3、多屏协同音频传输服务端将对应的音频数据流封装成RTP包，并打上相应的时间戳信息及序号并发送给多屏协同音频传输客户端；步骤4、多屏协同音频传输客户端根据接收到的RTP包中时间戳信息对其中的音频数据流解码并存入数据缓冲池；步骤5、多屏协同音频传输客户端的传输质量控制模块从数据缓冲池中提取音频...

【专利技术属性】
技术研发人员：龚翔，
申请(专利权)人：四川长虹电器股份有限公司，
类型：发明
国别省市：四川,51