用于多路复用数据的方法和设备技术

多个数据流经由端到端或进程到进程信道而从发送设备被发送至接收设备。在发射设备处，生成媒体数据流。针对另一数据流的最大分组大小是基于所确定的端到端或进程到进程带宽并且使用与媒体数据相关的播出信息而确定的，其传达媒体数据的期望播出速率。在发送设备处，基于所确定的最大分组大小，生成所述另一数据流的多个数据分组，每个数据分组具有不超过所确定的最大值的大小。所述媒体数据流和所述另一数据流在发送设备处被复用到信道上，由此经由同一信道将这两个数据流从发送设备发送至接收设备。发送至接收设备。发送至接收设备。

【技术实现步骤摘要】
用于多路复用数据的方法和设备
[0001]本申请是申请日为2016年10月21日、申请号为201680063113.3、专利技术名称为“用于多路复用数据的方法和设备”的中国专利申请的分案申请。

技术介绍

[0002]通信系统允许用户通过通信网络相互通信，例如通过在网络上进行通信事件。该网络可以是例如互联网或公共交换电话网络(PSTN)。在通话期间，可以在网络的节点之间传输音频和/或视频信号，从而允许用户通过该通信网络在通信会话中相互发送和接收音频数据(例如，话音)和/或视频数据(例如，网络摄像头视频)。
[0003]这样的通信系统包括互联网协议语音或视频(VoIP)系统。为了使用VoIP系统，用户在用户设备上安装并执行客户端软件。该客户端软件建立VoIP连接并且提供诸如注册和用户认证之类的其他功能。除了语音通信之外，该客户端还可以针对诸如即时消息传送(“IM”)、屏幕共享、或白板会话之类的通信事件而建立连接。
[0004]通信事件的数据可以被封装在数据流中。即，数据分组的流，它们可以在被生成时被例如实时地发送，以使得从流的数据在发送设备处被生成到在接收设备处被接收之间仅存在短的延迟(例如，大约两秒或更少)。换句话说，较早生成的流的数据分组可以在较晚生成的流的数据分组被生成之前被发送。不同类型的数据可以在不同的、分离的流中实施，例如音频数据可以在音频数据流中实施(即，封装在音频流的音频数据分组中)，与实施视频数据的视频数据流(即，封装在视频流的视频数据分组中)分离且不同。在通话时，还可以在发送设备处生成额外的流，例如控制数据流；和/或额外的音频数据流，例如，可以存在针对使用发送设备的相机捕获的通话视频的通话视频数据流，针对屏幕共享视频数据的屏幕共享视频数据流，针对白板视频数据的白板视频数据流等。数据流例如可以由例如包括在该流的数据分组的标头中的流标识符来标识；和/或分离的数据流可以在它们在发送设备处被生成和管理的方式方面彼此区别。为了同时将多个流发送至接收设备，可以例如通过使用时分复用来将它们多路复用在发送设备与接收设备之间的网络的信道上。

技术实现思路

[0005]提供了该
技术实现思路
以用简化的形式引入在以下的具体实施方式中所进一步描述的概念的选择。该
技术实现思路
不旨在标识所要求保护的主题的关键特征或本质特征，也不旨在用于限制所要求保护的主题的范围。
[0006]本主题的各种方面涉及多个数据流经由端到端或进程到进程信道而从发送设备被发送至接收设备。所述流经由发送设备与接收设备之间在网络层的传输层的端到端信道而被发送，或者经由发送设备与接收设备之间在网络层的应用层的进程到进程信道而被发送。
[0007]在发射设备处生成媒体数据流，其包括要以期望的播出速率在接收设备处播出的音频或视频数据。确定针对媒体流和另一数据流可用的端到端信道的端到端带宽或者进程到进程信道的进程到进程带宽。针对另一数据流的最大分组大小是基于所确定的可用带宽
并且使用与媒体数据流的音频或视频数据相关的播出信息而确定的，其传达音频或视频数据的期望播出速率。在发送设备处，基于所确定的最大分组大小，生成所述另一数据流的多个数据分组，每个数据分组具有不超过所确定的最大值的大小。所述媒体数据流和所述另一数据流在发送设备处被复用到信道上，由此经由同一信道将这两个数据流从发送设备发送至接收设备。
附图说明
[0008]为了更好地理解本主题并且示出如何实行本主题，现在将仅仅作为示例对以下的附图进行参考，其中：
[0009]图1示出了通信系统的框图；
[0010]图2示出了作为用户设备的发送设备的框图；
[0011]图3示出了从发送设备经由网络到接收设备的应用层信道；
[0012]图4示出了发送设备的功能模块；
[0013]图5示出了经多路复用的音频和视频数据流。
具体实施方式
[0014]本主题涉及一种解决方案，其中，作为包括音频或视频数据(“媒体数据”)的数据流的媒体数据流与至少一个其他数据流(其可以是另一媒体数据流，或者某一其他类型的数据流)在同一信道(端到端，即传输层信道，或者进程到进程，即应用层信道)上被多路复用。即，其中媒体流和其他流共享信道的可用带宽(BW)，例如信道的总带宽或者向它们分配的总带宽的一部分。
[0015]针对其他数据流的最大分组大小是基于传达音频或视频数据的播出速率(例如，帧速率R)的帧信息以及对可用带宽BW(其是端到端或进程到进程带宽估计)的确定两者确定的，以便防止其他数据流在媒体流中产生抖动(jitter)(见下文)。
[0016]“端到端”和“进程到进程”通信的概念是在网络化系统的上下文中公知的，特别是(但非排他地)在通过公共互联网的通信的上下文中，并且更加一般地在TCP/IP协议组的上下文中。
[0017]对端到端或进程到进程带宽估计的使用意味着视频分组大小是将发送设备与接收设备之间的完整通信路径考虑在内而调节的。
[0018]端到端或进程到进程带宽可能受到发送设备与接收设备之间的通信路径中任何地方的瓶颈的限制。例如，端到端或进程到进程带宽可以是经由多个较低层信道建立的，例如网络层(对应于OSI模型的第3层)或链路层(例如，MAC层，即OSI模型的第二层，或者物理层，即OSI模型的第1层)信道，例如，发送设备与中间节点(例如，路由器、交换机、或蜂窝基站)之间的一个或多个较低层信道，加上中间节点、任何其他中间节点、以及接收设备之间的一个或多个较低层信道。在该情况下，瓶颈例如可以出现在发送设备与例如蜂窝基站之间的通信路径的部分中，但等同地，其可以出现在蜂窝基站与接收设备之间的通信路径的部分中(例如，蜂窝网络中的其他地方，互联网或其他基于分组的网络内，诸如家庭或公司局域网之类的接收设备本地的网络内，或者在可用的情况下接收设备自身的网络)。使用端到端或进程到进程带宽估计意味着可以通过降低最大媒体分组大小而无论瓶颈出现在通
信路径中的哪里而将瓶颈考虑在内。
[0019]视频数据例如可以是一系列视频帧(即，图像)，其通过以播出速率R接连地显示以使得每一帧在显示下一帧之前被显示1/R的持续时间而被播出，播出速率R在该上下文中被称为帧速率。音频数据也可以采用要以播出速率(帧速率)被播出的一系列音频帧的形式，或者采用要以播出速率(采样速率)被播出的一系列个体音频数据采样的形式。音频帧是要在期望的持续时间(其是帧速率的相反数，即在R是帧速率的情况下为1/R)上播出的一组多音频数据采样。例如，有时音频数据被划分成帧以便以每帧为基础应用音频压缩。
[0020]在下文中，描述是在媒体帧及其帧速率方面表达的，然而如将理解的那样，关于帧速率的所有描述通常适用于其他类型的播出速率，例如，在可用的情况下个体音频采样的采样率(例如，不一定总要将音频数据划分成帧)。
[0021]本公开注意到，其他数据流的数据分组可能在接收设备处播出媒体帧时引起媒体帧中的“抖动”。抖动是在最后接收的媒体帧在已经接收了要播出的下一媒体帧之前已经在接收设备处完全被本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于防止音频流中的抖动的方法，所述方法包括：在发送计算设备处，使用一个或多个计算机处理器：确定在所述发送计算设备和接收计算设备之间的可用端到端网络带宽，所述接收计算设备是所述音频流的接收方；确定针对视频流的视频分组的最大分组大小，所述最大分组大小是基于所述可用端到端网络带宽和所述音频流的音频采样速率来计算的，所述最大分组大小被确定以便允许所述发送计算设备在第一音频分组和第二音频分组的传输之间传输至少一个视频分组，使得在所述第一音频分组能够以所述音频采样速率被完全播出之前由所述接收计算设备接收所述第二音频分组；根据视频流来创建视频分组，所述视频分组的大小小于或等于所述最大分组大小；以及使得所述视频分组在与所述音频流相对应的连续的音频分组之间被发送给所述接收计算设备。2.根据权利要求1所述的方法，其中，所述音频流和所述视频流是所述发送计算设备和所述接收计算设备之间的双向网络通信的部分。3.根据权利要求2所述的方法，其中，所述双向网络通信是呼叫，以及其中，所述方法还包括：使用通信地耦合到所述发送计算设备的相机来捕获所述视频流；以及使用通信地耦合到所述发送计算设备的麦克风来捕获所述音频流。4.根据权利要求1所述的方法，其中，所述接收计算设备是媒体中继服务器。5.根据权利要求1所述的方法，其中，所述最大分组大小被限制在预定最大大小和预定最小大小之间。6.根据权利要求1所述的方法，其中，确定针对所述视频流的视频分组的所述最大分组大小包括：基于所述可用端到端网络带宽和所述音频流的所述音频采样速率来计算所述最大分组大小，所述最大分组大小被确定以便允许所述发送计算设备在所述第一音频分组和所述第二音频分组的传输之间传输所述至少一个视频分组，使得在所述第一音频分组能够以所述音频采样速率被完全播出之前所述第二音频分组被所述接收计算设备全部接收到。7.根据权利要求1所述的方法，其中，确定针对所述视频流的视频分组的所述最大分组大小包括：基于所述可用端到端网络带宽和所述音频流的所述音频采样速率来计算所述最大分组大小，所述最大分组大小被确定以便允许所述发送计算设备在所述第一音频分组和所述第二音频分组的传输之间传输所述至少一个视频分组，使得在所述第一音频分组能够以所述音频采样速率被完全播出之前所述第二音频分组被所述接收计算设备部分接收到。8.一种第一计算设备，包括：一个或多个计算机处理器；存储器，其存储指令，所述指令在被所述一个或多个计算机处理器执行时使得所述第一计算设备执行包括以下的操作：确定在所述第一计算设备和第二计算设备之间的可用端到端网络带宽，所述第二计算设备是音频流的接收方；确定针对视频流的视频分组的最大分组大小，所述最大分组大小是基于所述可用端到
端网络带宽和所述音频流的音频采样速率来计算的，所述最大分组大小被确定以便允许所述第一计算设备在第一音频分组和第二音频分组的传输之间传输至少一个视频分组，使得在所述第一音频分组能够以所述音频采样速率被完全播出之前由所述第二计算设备接收所述第二音频分组；根据视频流来创建视频分组，所述视频分组的大小小于或等于所述最大分组大小；以及使得所述视频分组在与所述音频流相对应的连续的音频分组之间被发送给所述第二计算设备。9.根据权利要求8所述的第一计算设备，其中，所述音频流和所述视频流是所述第一计算设备和所述第二计算设备之间的双向网络通信的部分。10.根据权利要求9所述的第一计算设备，其中，所述双向网络通信是呼叫，以及其中，所述操作还包括：使用通信地耦合到所述第一计算设备的相机来捕获所述视频流；以及使用通信地耦合到所述第一计算设备的麦克风...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：