一种视频通话方法及装置制造方法及图纸

本申请公开一种视频通话方法及装置，在双方视频通话的场景或者多方视频会议的场景中，支持在视频画面内容上实时的绘制与标注的功能，其它视频通话的参与方能够实时观看到绘制者所绘制的内容，达到“边看边画”的效果，有助于提高信息传递的质量。通话的发送方的终端设备实时采集绘制点数据和多媒体数据，并且实时采集实时封装数据包并通过媒体服务器发送给接收方。数据包中封装时间戳和/或序列号，接收方能够根据时间戳和/或序列号对绘制点数据和多媒体数据进行同步，使得接收方能够实时观看到绘制图案和听到发送方用户的语音，提高信息传递的质量和效率。传递的质量和效率。传递的质量和效率。

【技术实现步骤摘要】
一种视频通话方法及装置


[0001]本申请实施例涉及通信
，尤其涉及一种视频通话方法及装置。

技术介绍

[0002]目前，视频通话是一种有效的交流互动的方式。视频通话技术除了提供每个视频通话的参与方的声音和视频画面内容以外，还可以提供白板绘制功能。但是，目前绘制者开始落笔以及绘制过程中，其它视频通话的参与方无法实时的观看到绘制的结果，只有在绘制者停笔后，绘制的结果才会被其它视频通话的参与方观看到。即绘制者与其它视频通话的参与方无法同步观看到绘制的结果，因此会导致其它视频通话的参与方无法及时了解到绘制者所要表达的内容，降低交流互动的质量，效率较低。

技术实现思路

[0003]本申请实施例提供一种视频通话方法及装置，以提高交流互动质量，提高效率。
[0004]第一方面，本申请实施例提供一种视频通话方法，包括：媒体服务器接收来自第一终端设备的第一数据流，第一数据流中的数据包包括第一终端设备采集的用户绘制图案的绘制点数据；媒体服务器接收来自第一终端设备的第二数据流，第二数据流中的数据包包括第一终端设备的用户音频数据和/或用户视频数据；媒体服务器根据第一数据流中的数据包的时间参数和第二数据流中的数据包的时间参数，对第一数据流和第二数据流进行同步得到同步处理结果；当第二数据流中的数据包包括用户音频数据时，媒体服务器根据同步处理结果渲染第一数据流的数据包中的绘制点数据得到用户绘制图案，并向第二终端设备发送用户绘制图案以及第二数据流；或者，当第二数据流中的数据包包括用户视频数据时，第二终端设备根据同步处理结果渲染第一数据流的数据包中的绘制点数据得到用户绘制图案，以及渲染第二数据流的数据包中的用户视频数据得到用户视频图像，将用户绘制图案叠加在用户视频图像上得到第三视频流，并向第二终端设备发送第三视频流。
[0005]上述方案中，媒体服务器实时接收来自终端设备的绘制点数据、用户音频数据、用户视频数据，然后对绘制点数据、音频数据和视频数据进行同步，由媒体服务器对用户视频数据和绘制点数据进行渲染，从而无需终端设备执行渲染，降低对终端设备的硬件需求。另外，终端设备实时向媒体服务器发送绘制点数据和音频数据、视频数据，媒体服务器执行同步处理后，发送给第二终端设备，使得第二终端设备能够实时同步显示绘制点数据和视频数据以及播放音频数据，使得第二终端设备的用户看到的画面与听到的声音达到同步，进而提高用户交流互动的质量，并提高交流的效率。
[0006]在一种可能的设计中，所述媒体服务器渲染所述用户绘制图案的绘制点的速率与第一终端设备采集用户绘制图案的绘制点的速率相同。通过上述方案，进一步使得用户听到的声音与看到的绘制图案达到同步。
[0007]在一种可能的设计中，当所述第一数据流的采样频率与所述第二数据流的采样频率不同时，所述媒体服务器根据所述第一数据流中的数据包的时间参数和所述第二数据流
中的数据包的时间参数对所述第一数据流和所述第二数据流进行同步，包括：
[0008]所述时间参数包括时间戳时，所述媒体服务器根据所述第一数据流的数据包的时间戳和第一时间戳增量、所述第二数据流的数据包的时间戳以及第二时间戳增量对所述第一数据流的数据包和所述第二数据流的数据包进行同步，其中，所述第一时间戳增量为属于第一数据流的相邻两个数据包的时间戳的差值，所述第二时间戳增量为属于第二数据流的相邻两个数据包的时间戳的差值；或者，
[0009]所述时间参数包括序列号时，所述媒体服务器根据第一数据流的数据包的序列号、所述第二数据流的数据包的序列号以及序列号增量对所述第一数据流的数据包和所述第二数据流的数据包进行同步，其中，所述序列号增量是根据所述第一数据流的采样频率和所述第二数据流的采样频率确定的。
[0010]上述设计提供两种可行的同步方式。
[0011]在一种可能的设计中，所述方法还包括：所述媒体服务器将接收到的属于第一数据流的数据包存储在接收缓存中；渲染第一数据流的数据包中的绘制点数据得到用户绘制图案，包括：所述媒体服务器从接收缓存获取属于第一数据流的第一数据包，并将所述第一数据包的绘制点数据渲染为用户绘制图案的第一绘制点；按照所述媒体服务器渲染所述用户绘制图案的绘制点的速率从所述接收缓存中未获取到属于第一数据流的第二数据包时，按照已经执行渲染的前N个数据包预测所述第二数据包的绘制点数据；其中，所述第二数据包的序列号与所述第一数据包相邻且第二数据包的序列号大于第一数据包或者所述第二数据包的时间戳与所述第一数据包的时间戳间隔时间阈值，所述时间阈值根据所述第一数据流的采样频率和所述第二数据流的采样频率确定；将预测的第二数据包的绘制点数据渲染为所述用户绘制图案的第二绘制点。
[0012]通过数据预测方式，通过数据预测方式，预测丢失的绘制点数据，进而在绘制图案时，利用预测的绘制点数据替补丢失的绘制点数据包，防止绘制结果出现偏差。
[0013]在一种可能的设计中，将预测的第二数据包的绘制点数据渲染为所述用户绘制图案的第二绘制点，所述方法还包括：当接收到所述第二数据包时，将根据接收到的第二数据包的绘制点数据渲染的绘制点替换所述第二绘制点。
[0014]上述设计中，通过数据预测方式，预测延迟到达的绘制点数据，保证渲染绘制点数据的速率与采集绘制点的速率相同。进而在绘制图案时，先渲染预测的绘制点数据，待后续接收到延迟到达的绘制点数据时，可以对出现偏差的预测的绘制点数据进行矫正处理。
[0015]在一种可能的设计中，所述第一数据流为实时流媒体传输协议RTP流，所述第二数据流为RTP流；或者，所述第一数据流为实时流媒体传输控制协议RTCP流，所述第二数据流为RTCP流。
[0016]第二方面，本申请实施例提供一种视频通话方法，包括：第二终端设备接收来自媒体服务器的第一数据流，所述第一数据流中的数据包包括第一终端设备采集的用户绘制图案的绘制点数据；第二终端设备接收来自媒体服务器的第二数据流，所述第二数据流的数据包包括所述第一终端设备的用户音频数据和/或用户视频数据；所述第二终端设备根据所述第一数据流中的数据包的时间参数和所述第二数据流中的数据包的时间参数，对所述第一数据流和所述第二数据流进行同步得到同步处理结果；当所述第二数据流中的数据包包括用户音频数据时，所述第二终端设备根据同步处理结果渲染第一数据流中的数据包得
到用户绘制图案并显示所述用户绘制图案，以及播放所述用户音频；或者，当所述第二数据流中的数据包包括用户视频数据时，第二终端设备根据同步处理结果渲染第一数据流的数据包中的绘制点数据得到用户绘制图案，以及渲染第二数据流中的数据包中的用户视频数据得到用户视频图像，并将所述用户绘制图案叠加在所述用户视频图像上显示。
[0017]上述方案中，第二终端设备实时接收来自第一终端设备的绘制点数据、用户音频数据、用户视频数据，然后对绘制点数据、音频数据和视频数据进行同步，使得第二终端设备能够实时同步显示绘制点数据和视频数据以及播放音频数据，使得第二终端设备的用户看到的画面与听到的声音达到同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频通话方法，其特征在于，包括：媒体服务器接收来自第一终端设备的第一数据流，所述第一数据流中的数据包包括第一终端设备采集的用户绘制图案的绘制点数据；所述媒体服务器接收来自第一终端设备的第二数据流，所述第二数据流中的数据包包括所述第一终端设备的用户音频数据和/或用户视频数据；所述媒体服务器根据所述第一数据流中的数据包的时间参数和所述第二数据流中的数据包的时间参数，对所述第一数据流和所述第二数据流进行同步得到同步处理结果；当所述第二数据流中的数据包包括用户音频数据时，所述媒体服务器根据同步处理结果渲染第一数据流的数据包中的绘制点数据得到用户绘制图案，并向所述第二终端设备发送所述用户绘制图案以及所述第二数据流；或者，当所述第二数据流中的数据包包括用户视频数据时，所述媒体服务器根据同步处理结果渲染第一数据流的数据包中的绘制点数据得到用户绘制图案，以及渲染第二数据流的数据包中的用户视频数据得到用户视频图像，将所述用户绘制图案叠加在用户视频图像上得到第三视频流，并向所述第二终端设备发送所述第三视频流。2.如权利要求1所述的方法，其特征在于，所述媒体服务器渲染所述用户绘制图案的绘制点的速率与第一终端设备采集用户绘制图案的绘制点的速率相同。3.如权利要求2所述的方法，其特征在于，当所述第一数据流的采样频率与所述第二数据流的采样频率不同时，所述媒体服务器根据所述第一数据流中的数据包的时间参数和所述第二数据流中的数据包的时间参数对所述第一数据流和所述第二数据流进行同步，包括：所述时间参数包括时间戳时，所述媒体服务器根据所述第一数据流的数据包的时间戳和第一时间戳增量、所述第二数据流的数据包的时间戳以及第二时间戳增量对所述第一数据流的数据包和所述第二数据流的数据包进行同步，其中，所述第一时间戳增量为属于第一数据流的相邻两个数据包的时间戳的差值，所述第二时间戳增量为属于第二数据流的相邻两个数据包的时间戳的差值；或者，所述时间参数包括序列号时，所述媒体服务器根据第一数据流的数据包的序列号、所述第二数据流的数据包的序列号以及序列号增量对所述第一数据流的数据包和所述第二数据流的数据包进行同步，其中，所述序列号增量是根据所述第一数据流的采样频率和所述第二数据流的采样频率确定的。4.如权利要求2或3所述的方法，其特征在于，所述方法还包括：所述媒体服务器将接收到的属于第一数据流的数据包存储在接收缓存中；渲染第一数据流的数据包中的绘制点数据得到用户绘制图案，包括：所述媒体服务器从接收缓存获取属于第一数据流的第一数据包，并将所述第一数据包中的绘制点数据渲染为用户绘制图案的第一绘制点；按照所述媒体服务器渲染所述用户绘制图案的绘制点的速率从所述接收缓存中未获取到属于第一数据流的第二数据包时，按照已经执行渲染的前N个数据包预测所述第二数据包的绘制点数据；其中，所述第二数据包的序列号与所述第一数据包相邻且第二数据包的序列号大于第一数据包或者所述第二数据包的时间戳与所述第一数据包的时间戳间隔时间阈值，所述时间阈值根据所述第一数据流的采样频率和所述第二数据流的采样频率确定；
将预测的第二数据包的绘制点数据渲染为所述用户绘制图案的第二绘制点。5.如权利要求4所述的方法，其特征在于，将预测的第二数据包渲染为所述用户绘制图案的第二绘制点，所述方法还包括：当接收到所述第二数据包时，将根据接收到的第二数据包的绘制点数据渲染的绘制点替换所述第二绘制点。6.如权利要求1-5任一项所述的方法，其特征在于，所述第一数据流为实时流媒体传输协议RTP流，所述第二数据流为RTP流；或者，所述第一数据流为实时流媒体传输控制协议RTCP流，所述第二数据流为RTCP流。7.一种视频通话方法，其特征在于，包括：第二终端设备接收来自媒体服务器的第一数据流，所述第一数据流中的数据包包括第一终端设备采集的用户绘制图案的绘制点数据；第二终端设备接收来自媒体服务器的第二数据流，所述第二数据流的数据包包括所述第一终端设备的用户音频数据和/或用户视频数据；所述第二终端设备根据所述第一数据流中的数据包的时间参数和所述第二数据流中的数据包的时间参数，对所述第一数据流和所述第二数据流进行同步得到同步处理结果；当所述第二数据流中的数据包包括用户音频数据时，所述第二终端设备根据同步处理结果渲染第一数据流的数据包的绘制点数据得到用户绘制图案并显示所述用户绘制图案，以及播放所述用户音频；或者，当所述第二数据流中的数据包包括用户视频数据时，第二终端设备根据同步处理结果渲染第一数据流的数据包中的绘制点数据得到用户绘制图案，以及渲染第二数据流中的数据包中的用户视频数据得到用户视频图像，并将所述用户绘制图案叠加在所述用户视频图像上显示。8.如权利要求7所述的方法，其特征在于，所述第二终端设备渲染所述用户绘制图案的绘制点的速率与第一终端设备采集用户绘制图案的绘制点的速率相同。9.如权利要求7或8所述的方法，其特征在于，当所述第一数据流的采样频率与所述第二数据流的采样频率不同时，所述第二终端设备根据所述第一数据流中的数据包的时间参数和所述第二数据流中的数据包的时间参数对所述第一数据流和所述第二数据流进行同步，包括...

【专利技术属性】
技术研发人员：高扬，梁运恺，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：