多方视频数据混屏实现方法、装置、系统和混屏服务器制造方法及图纸

本发明专利技术公开了一种多方视频数据混屏实现方法、装置、系统和混屏服务器，用以在服务器端实现多方视频数据混屏，从而降低混屏服务器向终端传输视频数据时所需的带宽，并同时减少终端处理视频数据时对处理资源和电量的消耗。多方视频数据混屏实现方法，包括：接收参与多方视频通话的每一用户终端发送的视频图像数据；将每一视频图像数据分别绘制在预先定义的内存图所包含的任一视频图像数据绘制区域上；根据每一用户终端的视频展示区域信息，分别向对应的用户终端发送所述视频展示区域信息对应的内存图，所述视频展示区域信息用于指示所述用户终端待显示的视频图像数据。

【技术实现步骤摘要】

本专利技术涉及视频数据处理
，尤其涉及一种多方视频数据混屏实现方法、装置、系统和混屏服务器。
技术介绍
随着移动互联网的飞速发展，在移动终端上提供多方视频通话业务成为移动互联网热点业务之一。现有的在移动终端上实现的多方视频通话业务均采用传统分流视频混屏的方式，即在网络侧的服务器端将多方视频通话内每一用户的视频数据分别分发给当前通话的每一用户，然后由终端设备自行完成混屏操作。以三方进行视频通话为例，如图1所示，其为现有的网络侧视频数据处理方式，位于网络侧的视频服务器接收用户1、用户2和用户3发送的视频数据，并将用户2和用户3的视频数据发送给用户1，将用户1和用户3的视频数据发送给用户2，将用户1和用户2的视频数据发送给用户3，用户1、用户2和用户3在接收到视频数据之后，进行视频数据混屏处理。在多方视频通话中，视频服务器需要为每个多方视频通话中的用户终端下发其他所有人的视频数据，从而导致随着视频通话中的用户增加，针对向每个终端传输数据所需的带宽也相应的增加。其中，视频服务器下行带宽消耗如下，其中m为通话个数，n为通话人数：BW=Σ0m(n*(n-1))*Avg(Kbps))]]>上述视频数据处理方法中，用户终端在接收到视频服务器下发的其他用户的视频数据之后，自行进行混屏处理，如图2所示，为用户终端对接收到的视频数据进行处理的示意图，由于终端需要接收视频通话中其他用户终端的视频数据，这无疑还会带来用户终端对下行数据传输带宽需求的增加，而且由于终端需要为每一路视频数据进行解码操作，从而导致对用户终端的性能要求较高。其中，用户终端所需的下行带宽、CPU与电量消耗如下所示：终端需要的下行带宽如下，其中n为通话人数：终端产生的耗电量如下，其中，n为通话人数，Q为对单路视频进行解码所消耗电量：BW=Σ0n-1(Avg(Q))]]>终端的CPU(中央处理单元)消耗如下，n为通话人数，CPU为对单路视频进行解码CPU的消耗率:由此可见，现有的视频数据混屏技术中，一方面，由于视频服务器需要针对每一用户，向该用户传输除自身以外其他通话视频参与用户的视频数据，增加了对视频数据传输所需的带宽要求；另一方面，每一用户终端在接收到视频服务器发送的多路视频数据之后需要自行进行混屏，既增加了终端数据传输带宽需求，又增加终端处理资源和电量的消耗。
技术实现思路
本专利技术实施例提供一种多方视频数据混屏实现方法、装置、系统和混屏服务器，用以在服务器端实现多方视频数据混屏，从而降低混屏服务器向终端传输视频数据时所需的带宽，并同时减少终端处理视频数据时对处理资源和电量的消耗。本专利技术实施例提供一种多方视频数据混屏实现方法，包括：接收参与多方视频通话的每一用户终端发送的视频图像数据；将每一视频图像数据分别绘制在预先定义的内存图所包含的任一视频图像数据绘制区域上；根据每一用户终端的视频展示区域信息，分别向对应的用户终端发送所述视频展示区域信息对应的内存图，所述视频展示区域信息用于指示所述用户终端待显示的视频图像数据。其中，使用矩形RECT表示每一视频图像数据在所述内存图中的区域信息，其中，所述RECT包括表示矩形左上角的横坐标的LEFT，表示矩形左上角的纵坐标TOP，表示矩形右下角的横坐标RIGHT和表示矩形右下角的纵坐标的BOTTOM；以及按照以下方法确定每一视频图像数据在所述内存图中的区域信息：为每一视频图像数据建立图像索引；针对每一视频图像数据，判断该视频图像数据对应的用户索引是否大于预先定义的用户终端一屏所能够显示的、参与视频通话的用户数量；如果是，则按照以下公式确定LEFT：LEFT＝UI％2*DW；如果否，则按照以下公式确定LEFT：LEFT＝UI％2*DW+SW/2；针对每一视频图像数据，判断该视频数据对应的图像索引是否位于所述内存图的上区域；如果是，则按照以下公式确定TOP：TOP＝SH；如果否，则按照以下公式确定TOP：TOP＝SH/2；针对每一视频图像数据，分别按照以下公式确定RIGHT和BOTTOM：RIGHT＝LEFT+DW；BOTTOM＝TOP-DH；其中：UI表示每一视频图像数据对应的图像索引；DW表示每一视频图像数据的宽度；DH表示每一视频图像数据的高度；SW表示所述内存图的宽度；SH表示所述内存图的高度。向对应的用户终端发送所述视频展示区域信息对应的内存图之前，还包括：按照预设的用户终端每一屏显示的、参与视频通话的用户数量对所述内存图进行划分；将划分得到的每一部分内存图按照用户终端支持显示的视频图像大小进行处理。根据每一用户终端的视频展示区域信息，分别向对应的用户终端发送所述视频展示区域信息对应的内存图，具体包括：根据每一用户终端的视频展示区域信息，将所述视频展示区域信息对应的内存图封装为实时传输协议RTP数据包发送给对应的用户终端；以及在发送RTP数据包过程中，使用实时传输控制协议RTCP进行数据包发送控制。将所述视频展示区域信息对应的内存图封装为RTP数据包时需满足以下至少一个条件：RTP数据包中的最大传输单元MTU的大小不超过预设值；不对所述RTP数据包中包含的任一RTP分组内的视频图像数据解码；无需解码整个数据流便能够检测所述RTP数据包中的数据类型；支持将一个网络抽象层单元类型NALU拆分为多个RTP包；支持将多个NALU汇集在一个RTP分组中。还包括：接收任一用户终端发送的视频展示区域切换指示，所述视频展示区域切换指示中携带有切换到的至少一个视频展示区域信息；针对所述视频展示区域切换指示，将所述视频展示区域信息对应的内存图发送给该用户终端。本专利技术实施例提供一种多方视频数据混屏实现装置，包括：用户数据处理单元，用于接收参与多方视频通话的每一用户终端发送的视频图像数据；以及根据每一用户终端的视频展示区域信息，分别向对应的用户终端发送所述视频展示区域信息对应的内存图，所述视频展示区域信息用于指示所述用户终端待显示的视频图像数据；混屏单元，用于将每一视频图像数据分别绘制在预先定义的内存图所包含的任一视频图像数据绘制区域上。所述混屏单元，包括：视频过滤器，用于在所述用户数据处理单元向对应的用户终端发送所述视频展示区域信息对应的内存图之前，按照预设的用户终端每一屏显示的、参与视频通话的用户数量对所本文档来自技高网...

【技术保护点】
一种多方视频数据混屏实现方法，其特征在于，包括：接收参与多方视频通话的每一用户终端发送的视频图像数据；将每一视频图像数据分别绘制在预先定义的内存图所包含的任一视频图像数据绘制区域上；根据每一用户终端的视频展示区域信息，分别向对应的用户终端发送所述视频展示区域信息对应的内存图，所述视频展示区域信息用于指示所述用户终端待显示的视频图像数据。

【技术特征摘要】
1.一种多方视频数据混屏实现方法，其特征在于，包括：
接收参与多方视频通话的每一用户终端发送的视频图像数据；
将每一视频图像数据分别绘制在预先定义的内存图所包含的任一视频图
像数据绘制区域上；
根据每一用户终端的视频展示区域信息，分别向对应的用户终端发送所述
视频展示区域信息对应的内存图，所述视频展示区域信息用于指示所述用户终
端待显示的视频图像数据。
2.如权利要求1所述的方法，其特征在于，使用矩形RECT表示每一视
频图像数据在所述内存图中的区域信息，其中，所述RECT包括表示矩形左上
角的横坐标的LEFT，表示矩形左上角的纵坐标TOP，表示矩形右下角的横坐
标RIGHT和表示矩形右下角的纵坐标的BOTTOM；以及
按照以下方法确定每一视频图像数据在所述内存图中的区域信息：
为每一视频图像数据建立图像索引；
针对每一视频图像数据，判断该视频图像数据对应的用户索引是否大于预
先定义的用户终端一屏所能够显示的、参与视频通话的用户数量；
如果是，则按照以下公式确定LEFT：LEFT＝UI％2*DW；
如果否，则按照以下公式确定LEFT：LEFT＝UI％2*DW+SW/2；
针对每一视频图像数据，判断该视频数据对应的图像索引是否位于所述内
存图的上区域；
如果是，则按照以下公式确定TOP：TOP＝SH；
如果否，则按照以下公式确定TOP：TOP＝SH/2；
针对每一视频图像数据，分别按照以下公式确定RIGHT和BOTTOM：
RIGHT＝LEFT+DW；
BOTTOM＝TOP-DH；其中：
UI表示每一视频图像数据对应的图像索引；
DW表示每一视频图像数据的宽度；
DH表示每一视频图像数据的高度；
SW表示所述内存图的宽度；
SH表示所述内存图的高度。
3.如权利要求1所述的方法，其特征在于，向对应的用户终端发送所述
视频展示区域信息对应的内存图之前，还包括：
按照预设的用户终端每一屏显示的、参与视频通话的用户数量对所述内存
图进行划分；
将划分得到的每一部分内存图按照用户终端支持显示的视频图像大小进
行处理。
4.如权利要求1所述的方法，其特征在于，根据每一用户终端的视频展
示区域信息，分别向对应的用户终端发送所述视频展示区域信息对应的内存
图，具体包括：
根据每一用户终端的视频展示区域信息，将所述视频展示区域信息对应的
内存图封装为实时传输协议RTP数据包发送给对应的用户终端；以及
在发送RTP数据包过程中，使用实时传输控制协议RTCP进行数据包发送
控制。
5.如权利要求4所述的方法，其特征在于，将所述视频展示区域信息对
应的内存图封装为RTP数据包时需满足以下至少一个条件：
RTP数据包中的最大传输单元MTU的大小不超过预设值；不对所述RTP
数据包中包含的任一RTP分组内的视频图像数据解码；无需解码整个数据流便
能够检测所述RTP数据包中的数据类型；支持将一个网络抽象层单元类型
NALU拆分为多个RTP包；支持将多个NALU汇集在一个RTP分组中。
6.如权利要求1～5任一权利要求所述的方法，其特征在于，还包括：
接收任一用户终端发送的视频展示区域切换指示，所述视频展示区域切换
指示中携带有切换到的至少一个视频展示区域信息；
针对所述视频展...

【专利技术属性】
技术研发人员：乔玮，
申请(专利权)人：中国移动通信集团公司，
类型：发明
国别省市：北京;11