多方会议系统及其实现多方会议的方法和装置制造方法及图纸

本文公开了一种多方会议系统及其实现多方会议的方法和装置，包括应用服务器，用于多方会议功能的控制，以及指示对音频服务器和视频分发服务器的控制；视频分发服务器，用于按照AS的指示，对来自终端的视频流进行处理和传送；音频服务器，用于按照AS的指示，对来自终端的音频流进行处理并传送；终端包括第一类终端、和/或第二类终端、和/或第三类终端，其中，第一类终端支持多方视频应用下接收多个视频流并自行进行混屏处理；第二类终端为普通的支持视频通话的终端；第三类终端为传统的仅支持音频通话的终端。本发明专利技术提供的架构，无需在网络侧集中进行混屏处理，简化了网络侧处理，并有利于推广普及。而且由于不需要MCU，也降低了硬件成本。

Multi-party conference system and method and device for implementing multi-party conference

Method and apparatus are disclosed a multi-party conference system and its implementation of the conference, including the application server, for controlling the multi-party conferencing, and control instructions to the audio server and video server; video distribution server for AS according to the indication, processing and transmission of video streaming audio from a terminal server; according to AS, the instructions for processing and transmission of the audio stream from the terminal; the terminal comprises a first terminal, terminal, and / or second and / or third terminal, the first terminal support flow and self mixing screen processing receives a plurality of video multi video applications; second terminal as the common terminal support video calls; third terminal for the traditional support only terminal audio calls. The architecture provided by the invention does not need to carry out mixed screen processing in the network side, simplifies network side processing, and is favorable for popularizing and popularizing. And because it does not require MCU, hardware costs are also reduced.

【技术实现步骤摘要】

本专利技术涉及但不限于IP多媒体子系统(IMS，IPMultimediaSubsystem)技术，尤指一种多方会议系统及其实现多方会议的方法和装置。
技术介绍
多媒体通信一直是通信领域的追求目标，并在不断完善。4G背景下，基于IP多媒体子系统(IMS，IPMultimediaSubsystem)的语音业务(VoLTE，VoiceoverLTE)为移动用户普及使用多媒体通信带来了机遇窗，多方视频，在VoLTE和IMS背景下，也成为可能。因为VoLTE的核心控制使用的是IMS，下文将针对IMS展开描述。多方视频的关键在于视频混屏。目前，IMS使用的视频混屏方式为：使用网络侧集中的媒体服务器(MCU)进行视频混屏的方式。典型的应用如企业级视频会议、IMS媒体资源控制器(MRFC，MediaResourceFunctionController)/媒体资源处理器(MRFP，MediaResourceFunctionProcessor)。目前由网络侧集中进行视频混屏的实现方式，对于传统企业级视频会议模式迁移到IMS领域使用，技术相对成熟，但是，MCU使用硬解码或软解码处理，均存在过程复杂、成本高等问题；而且，统一在MCU实现编解码，存在使用不同厂商的VoLTE手机会有业务体验不一致的问题如由于操作界面的不同而存在的差异或多方视频画面的布局存在差异等，难以得到推广普及。
技术实现思路
为了解决上述技术问题，本专利技术实施例提供一种多方会议系统及其实现多方会议的方法和装置，能够简化网络侧处理，并有利于推广普及。为了达到本专利技术目的，本专利技术实施例提供了一种多方会议系统，包括；应用服务器AS、视频分发服务器、音频服务器，以及终端；其中，AS，用于多方会议功能的控制，以及指示对音频服务器和视频分发服务器的控制；视频分发服务器，用于按照AS的指示，对来自终端的视频流进行处理和传送；音频服务器，用于按照AS的指示，对来自终端的音频流进行处理并传送；终端包括第一类终端、和/或第二类终端、和/或第三类终端，其中，第一类终端支持多方视频应用下接收多个视频流，并支持混屏处理；第二类终端为支持视频通话的终端；第三类终端为仅支持音频通话的终端。可选地，所述第一类终端与所述AS之间的控制接口使用会话初始协议SIP，信令采用SIP信令；所述第一类终端与所述视频分发服务器之间的视频媒体流接口，上行包含采集的视频信号的一条视频流，下行包含非自身的多个远端用户的视频信号的多条视频流；所述第一类终端与所述音频服务器之间的音频媒体接口包括包含从用户侧采集的视频信号的一路上行音频，以及一路下行音频。可选地，对于信令面屏蔽多流的模式，所述多个视频流封包在一个实时传输协议RTP流中；对于信令面识别多流的模式，所述多个视频流分别独立封装在多个RTP流中。可选地，所述第二类终端与所述AS之间的控制接口使用SIP协议，信令采用SIP信令；所述第二类终端与所述视频分发服务器之间的视频媒体接口，上行包含从用户侧采集的视频信号的一条视频流，下行包含当前发言者的视频信号的一条视频流；所述第二类终端与所述音频服务器的音频媒体接口包括包含从用户侧采集的视频信号的一路上行音频，以及一路下行音频。可选地，所述第三类终端与所述AS之间的控制接口使用SIP协议，信令采用现有SIP信令；所述第三类终端与所述音频服务器的音频媒体接口包括从用户侧采集的音频信号的一路上行音频，以及一路下行音频。可选地，所述视频分发服务器至少包括第二接收模块，第二处理模块；其中，第二接收模块，用于接收来自AS的视频信息；第二处理模块，用于根据接收到的视频信息实现视频的媒体协商并返回给AS；与终端之间传递视频媒体流；其中，视频媒体流包括上行实时传输协议RTP流、下行RTP流，其中，下行的RTP流中会承载多路视频流；可选地，所述第二接收模块还用于：接收来自所述AS的需要信令面指示的参数；当接收来自所述AS的信令面指示时，相应地，所述第二处理模块还用于：在所述下行RTP流中加入新增终端对应的视频流。可选地，所述在下行RTP流中加入新用户对应的视频流具体包括：在一路所述下行RTP流中包括所述多方视频中所有用户的视频流；或者，所述多方会议中各用户的视频流分别对应一路所述下行RTP流。可选地，所述第二接收模块还用于：接收来自所述AS的将所有终端接收的视频内容切换为当前发言人对应的上行视频的内容的请求；所述第二处理模块还用于：完成相应的转发关系变换，以使当前多方会议中所有的终端接收的视频内容被切换至当前发言人对应的上行视频的内容。可选地，所述第二处理模块还用于：在有新增终端加入时，直接在所述下行RTP流中加入新用户对应的视频流。可选地，所述第二处理模块还用于：根据所述多方会议的用户数调整用户上行视频分辨率。可选地，所述第二处理模块还用于：接收来自各终端的上行视频流，按照终端类型和模式进行转发。可选地，所述按照终端类型和模式进行转发具体包括：对于第一类终端，当采用信令面屏蔽多流的模式时，将所述来自各终端的多个视频封装在一个RTP流中发送给所述第一类终端；当采用信令面识别多流的模式时，将所述来自各终端的多个视频分别封装在各自的RTP流中发送给所述第一类终端；对于第二类终端，根据所述AS最新指示的当前发言人，选定对应当前发言人的一路视频流进行转发。可选地，所述视频分发服务器为视频中继VideoRelay。本专利技术实施例还提供了一种实现多方会议的方法，包括：AS接收来自终端的加入多方会议的请求；将请求中的音频信息发送给音频服务器，以实现音频的媒体协商；和/或将视频信息发送给视频分发服务器，以实现视频的媒体协商；将协商好的视频和/或音频进行处理后返回给终端。可选地，该方法还包括：所述在向视频分发服务器发送视频信息时，同时将需要信令面指示的参数发送给视频分发服务器。可选地，当接收到来自音频服务器的需要将多方视频切换至当前发言人的请求消息，该方法还包括：所述AS根据当前发言人的信息，向视频分发服务器请求将所有终端接收的视频内容切换为当前发言人对应的上行视频的内容；并接收来自视频分发服务器的完成相应的转发关系变换的响应。可选地，如果有新的用户加入，该方法还包括：所述AS向终端请求重协商视频参数，并携带单个视频流，或者所有视频流；接收到来自终端的完成媒体协商的响应，向视频分发服务器发送信令面指示，以指示信令面更新完成。本专利技术实施例再提供了一种实现多方会议的方法，包括：视频分发服务器接收到来自AS的视频信息，根据接收到的视频信息实现视频的媒体协商并返回给AS；与终端之间传递视频媒体流；其中，视频媒体流包括上行RTP流、下行RTP流，其中，下行的RTP流中会承载多路视频流。可选地，如果所述视频分发服务器接收来自AS的需要信令面指示的参数，则当接收来自AS的信令面指示，该方法还包括：所述视频分发服务器在所述下行RTP流中加入新用户对应的视频流。可选地，在下行RTP流中加入新用户对应的视频流具体包括：一路所述下行RTP流中包括多方会议中所有用户的视频流；或者，多方视频会中各用户的视频流分别对应一路所述下行RTP流。可选地，当接收到来自AS的将所有终端接收的视频内容切换为当前发言人对应的上行视频的内容的请求消本文档来自技高网...

【技术保护点】
一种多方会议系统，其特征在于，包括；应用服务器AS、视频分发服务器、音频服务器，以及终端；其中，AS，用于多方会议功能的控制，以及指示对音频服务器和视频分发服务器的控制；视频分发服务器，用于按照AS的指示，对来自终端的视频流进行处理和传送；音频服务器，用于按照AS的指示，对来自终端的音频流进行处理并传送；终端包括第一类终端、和/或第二类终端、和/或第三类终端，其中，第一类终端支持多方视频应用下接收多个视频流，并支持混屏处理；第二类终端为支持视频通话的终端；第三类终端为仅支持音频通话的终端。

【技术特征摘要】
1.一种多方会议系统，其特征在于，包括；应用服务器AS、视频分发服务器、音频服务器，以及终端；其中，AS，用于多方会议功能的控制，以及指示对音频服务器和视频分发服务器的控制；视频分发服务器，用于按照AS的指示，对来自终端的视频流进行处理和传送；音频服务器，用于按照AS的指示，对来自终端的音频流进行处理并传送；终端包括第一类终端、和/或第二类终端、和/或第三类终端，其中，第一类终端支持多方视频应用下接收多个视频流，并支持混屏处理；第二类终端为支持视频通话的终端；第三类终端为仅支持音频通话的终端。2.根据权利要求1所述的多方会议系统，其特征在于，所述第一类终端与所述AS之间的控制接口使用会话初始协议SIP，信令采用SIP信令；所述第一类终端与所述视频分发服务器之间的视频媒体流接口，上行包含采集的视频信号的一条视频流，下行包含非自身的多个远端用户的视频信号的多条视频流；所述第一类终端与所述音频服务器之间的音频媒体接口包括包含从用户侧采集的视频信号的一路上行音频，以及一路下行音频。3.根据权利要求2所述的多方会议系统，其特征在于，对于信令面屏蔽多流的模式，所述多个视频流封包在一个实时传输协议RTP流中；对于信令面识别多流的模式，所述多个视频流分别独立封装在多个RTP流中。4.根据权利要求1所述的多方会议系统，其特征在于，所述第二类终端与所述AS之间的控制接口使用SIP协议，信令采用SIP信令；所述第二类终端与所述视频分发服务器之间的视频媒体接口，上行包含从用户侧采集的视频信号的一条视频流，下行包含当前发言者的视频信号的
\t一条视频流；所述第二类终端与所述音频服务器的音频媒体接口包括包含从用户侧采集的视频信号的一路上行音频，以及一路下行音频。5.根据权利要求1所述的多方会议系统，其特征在于，所述第三类终端与所述AS之间的控制接口使用SIP协议，信令采用现有SIP信令；所述第三类终端与所述音频服务器的音频媒体接口包括从用户侧采集的音频信号的一路上行音频，以及一路下行音频。6.根据权利要求1所述的多方会议系统，其特征在于，所述视频分发服务器至少包括第二接收模块，第二处理模块；其中，第二接收模块，用于接收来自AS的视频信息；第二处理模块，用于根据接收到的视频信息实现视频的媒体协商并返回给AS；与终端之间传递视频媒体流；其中，视频媒体流包括上行实时传输协议RTP流、下行RTP流，其中，下行的RTP流中会承载多路视频流。7.根据权利要求6所述的多方会议系统，其特征在于，所述第二接收模块还用于：接收来自所述AS的需要信令面指示的参数；当接收来自所述AS的信令面指示时，相应地，所述第二处理模块还用于：在所述下行RTP流中加入新增终端对应的视频流。8.根据权利要求7所述的多方会议系统，其特征在于，所述在下行RTP流中加入新用户对应的视频流具体包括：在一路所述下行RTP流中包括所述多方视频中所有用户的视频流；或者，所述多方会议中各用户的视频流分别对应一路所述下行RTP流。9.根据权利要求6所述的多方会议系统，其特征在于，所述第二接收模块还用于：接收来自所述AS的将所有终端接收的视频内容切换为当前发言人对应的上行视频的内容的请求；所述第二处理模块还用于：完成相应的转发关系变换，以使当前多方会议中所有的终端接收的视频内容被切换至当前发言人对应的上行视频的内
\t容。10.根据权利要求6、7或9所述的多方会议系统，其特征在于，所述第二处理模块还用于：在有新增终端加入时，直接在所述下行RTP流中加入新用户对应的视频流。11.根据权利要求6所述的多方会议系统，其特征在于，所述第二处理模块还用于：根据所述多方会议的用户数调整用户上行视频分辨率。12.根据权利要求6所述的多方会议系统，其特征在于，所述第二处理模块还用于：接收来自各终端的上行视频流，按照终端类型和模式进行转发。13.根据权利要求12所述的多方会议系统，其特征在于，所述按照终端类型和模式进行转发具体包括：对于第一类终端，当采用信令面屏蔽多流的模式时，将所述来自各终端的多个视频封装在一个RTP流中发送给所述第一类终端；当采用信令面识别多流的模式时，将所述来自各终端的多个视频分别封装在各自的RTP流中发送给所述第一类终端；对于第二类终端，根据所述AS最新指示的当前发言人，选定对应当前发言人的一路视频流进行转发。14.根据权利要求1或6所述的多方会议系统，其特征在于，所述视频分发服务器为视频中继VideoRelay。15.一种实现多方会议的方法，其特征在于，包括：AS接收来自终端的加入多方会议的请求；将请求中的音频信息发送给音频服务器，以实现音频的媒体协商；和/或将视频信息发送给视频分发服务器，以实现视频的媒体协商；将协商好的视频和/或音频进行处理后返回给终端。16.根据权利要求15所述的方法，其特征在于，该方法还包括：所述在向视频分发服务器发送视频信息时，同时将需要信令面指示的参数发送给视频分发服务器。17.根据权利要求15所述的方法，其特征在于，当接收到来自音频服务器的需要将多方视频切换至当前发言人的请求消息，该方法还包括：所述AS根据当前发言人的信息，向视频分发服务器请求将所有终端接收的视频内容切换为当前发言人对应的上行视频的内容；并接收来自视频分发服务器的完成相应的转发关系变换的响应。18.根据权利要求16所述的方法，其特征在于，如果有新的用户加入，该方法还包括：所述AS向终端请求重协商视频参数，并携带单个视频流，或者所有视频流；接收到来自终端的完成媒体协商的响应，向视频分发服务器发送信令面指示，以指示信令面更新完成。19.一种实现多方会议的方法，其特征在于，包括：视频分发服务器接收到来自AS的视频信息，根据接收到的视频信息实现视频的媒体协商并返回给AS；与终端之间传递视频媒体流；其中，视频媒体流包括上行RTP流、下行RTP流，其中，下行的RTP流中会承载多路视频流。20.根据权利要求19所述的方法，其特征在于，如果所述视频分发服务器接收来自AS的需要信令面指示的参数，则当接收来自AS的信令面指示，该方法还包括：所述视频分发服务器在所述下行RTP流中加入新用户对应的视频流。21.根据权利要求20所述的方法，其特征在于，在下行RTP流中加入新用户对应的视频流具体包括：一路所述下行RTP流中包括多方会议中所有用户的视频流；或者，多方视频会中各用户的视频流分别对应一路所述下行RTP流。22.根据权利要求19所述的方法，其特征在于，当接收到来自AS的将所有终...

【专利技术属性】
技术研发人员：高扬，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44