投屏方法及相关设备技术

本公开提供一种投屏方法，包括：收到会议信息后，视频会议客户端依据会议信息初始化一个实时通信(RTC)引擎，并加入与会议信息中会议标识对应的RTC房间；在接收到RTC客户端回调的用户加入事件后，视频会议客户端创建视图，并创建渲染器；在接收到RTC客户端回调的流加入事件后，视频会议客户端依据其中的屏幕流标识将屏幕流与已创建的视图进行绑定，并将渲染器设置到RTC客户端；视频会议客户端刷新共享屏幕，将已绑定屏幕流的视图显示在屏幕上；在RTC客户端回调出帧之后，视频会议客户端进行上屏渲染，得到显示在显示设备上的首帧图像。基于上述投屏方法，本公开还提供了一种投屏装置、电子设备、存储介质以及程序产品。存储介质以及程序产品。存储介质以及程序产品。

【技术实现步骤摘要】
投屏方法及相关设备


[0001]本公开涉及互联网
，尤其涉及一种投屏方法、投屏装置、电子设备、存储介质及程序产品。

技术介绍

[0002]投屏已经成为目前生活、学习以及工作中分享信息的重要手段，例如，企业内部可以通过投屏系统进行企业会议；学校可以通过投屏系统进行交互式在线教学等等。通过投屏可以将个人电脑、平板或移动终端等终端设备采集的屏幕流通过网络传输到其他终端，并显示在与这些终端连接的例如电视机或显示器等显示设备上。可以理解，出于实时性和互动性的需要，投屏过程中的时延，特别是首帧时延，是影响使用者体验的重要指标之一。因此，如何尽可能地降低投屏过程的首帧时延，是当前需要解决的关键问题之一。

技术实现思路

[0003]有鉴于此，本公开的实施例提供一种投屏方法，可以减小建立投屏过程的时延，也就是投屏首帧时延，从而提高2s投屏成功率。
[0004]根据本公开的一些实施例，上述方法可以包括：收到会议信息后，视频会议客户端依据所述会议信息初始化一个实时通信(RTC)引擎，并加入与会议信息中会议标识对应的RTC房间；在接收到RTC客户端回调的用户加入事件后，所述视频会议客户端创建视图，并创建渲染器；在接收到所述RTC客户端回调的流加入事件后，所述视频会议客户端依据其中的屏幕流标识将屏幕流与创建的视图进行绑定，并将所述渲染器设置到所述RTC客户端；所述视频会议客户端刷新共享屏幕，将绑定过屏幕流的视图显示在屏幕上；在所述RTC客户端回调出帧之后，所述视频会议客户端进行上屏渲染，得到显示在显示设备上的首帧图像。
[0005]基于上述方法，本公开的实施例提供了一种投屏装置，包括：
[0006]第一会议设置模块，用于在收到会议信息后，依据所述会议信息初始化一个实时通信RTC引擎，并加入与会议信息中会议标识对应的RTC房间；
[0007]视图及渲染器设置模块，用于在接收到RTC客户端回调的用户加入事件后，创建视图，并创建渲染器；
[0008]绑定模块，用于在接收到所述RTC客户端回调的流加入事件后，依据其中的屏幕流标识将屏幕流与创建的视图进行绑定，并将所述渲染器设置到所述RTC客户端；
[0009]第一屏幕刷新模块，用于刷新共享屏幕，将绑定过屏幕流的视图显示在屏幕上；以及
[0010]渲染模块，用于在所述RTC客户端回调出帧之后，所述视频会议客户端进行上屏渲染，得到显示在显示设备上的首帧图像。
[0011]此外，本公开的实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述投屏方法。
[0012]本公开的实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可
读存储介质存储计算机指令，所述计算机指令用于使计算机执行上述投屏方法。
[0013]本公开的实施例还提供了一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行上述投屏方法。
[0014]通过上述投屏方法或者投屏装置，在建立投屏过程中，视频会议客户端创建视图，创建渲染器以及将创建的视图显示在屏幕上的操作可以不依赖于RTC客户端的首帧回调，而可以提前执行，也即与RTC客户端的内部操作以及首包事件等操作并行执行，从而大大地压缩了投屏过程从初始化RTC引擎到首帧渲染完毕的时间，降低了建立投屏过程的时延，或者说首帧时延，从而大大提高了2s投屏成功率。
附图说明
[0015]为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1显示了本公开一个实施例所述的用于投屏的系统100的内部结构示意图；
[0017]图2显示了现有建立投屏过程的交互示意图；
[0018]图3显示了现有在建立投屏的过程中第二终端104内部的具体操作流程；
[0019]图4显示了本公开一些实施例所述投屏方法的内部交互示意图；
[0020]图5显示了本公开另一些实施例所述投屏方法的内部交互示意图；
[0021]图6显示了本公开一些实施例所述投屏装置的内部结构示意图；
[0022]图7显示了本公开另一些实施例所述投屏装置的内部结构示意图；以及
[0023]图8示出了本公开一些实施例所述的一种更为具体的电子设备硬件结构示意图。
具体实施方式
[0024]为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
[0025]需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
[0026]如前所述，如何尽可能地降低投屏过程中的时延是当前需要解决的关键问题之一。为此，本申请的实施例提供一种投屏方法，可以有效降低建立投屏过程的时延。
[0027]在描述本申请实施例之前先对本申请实施例的描述中即将出现的部分名词或者术语进行如下简要说明：
[0028]1.实时通信(Real
‑
time Communications，RTC)，狭义上一般将RTC称为实时音视
频，其典型的应用为直播连麦、实时音视频通话、视频会议、交互式在线教育等等。RTC从功能流程上来说，一般包含音视频采集端(采集、前处理以及编码)、传输端(音视频采集端至服务器、服务器之间、服务器至播放端的传输)、音视频播放端(解码、缓冲以及渲染)等很多环节。投屏也是RTC的一种应用。在投屏业务中，音视频采集端一般是指投屏操作的发起端，音视频播放端一般是指投屏内容的显示端。
[0029]2.RTC引擎，是指基于RTC技术建立的音视频引擎，负责进行媒体流的编解码和媒体流传输。在投屏业务中，分别在投屏端和播放端建立的RTC引擎主要负责进行投屏端和播放端屏幕流的编解码和屏幕流传输。
[0030]3.首帧时延，也可称为建立投屏过程的时延，通常指从投屏端请求投屏开始直至播放端渲染完成第一个图像帧也就是渲染完成首帧图像的时间间隔。
[0031]4.2s投屏成功率，在投屏业务中是指建立投屏过程的时延小于等于2秒的概率，也就是指从投屏端请求本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种投屏方法，包括：收到会议信息后，视频会议客户端依据所述会议信息初始化实时通信RTC引擎，并加入与所述会议信息中会议标识对应的RTC房间；在接收到RTC客户端回调的用户加入事件后，所述视频会议客户端创建视图，并创建渲染器；在接收到所述RTC客户端回调的流加入事件后，所述视频会议客户端依据其中的屏幕流标识将屏幕流与已创建的视图进行绑定，并将所述渲染器设置到所述RTC客户端；所述视频会议客户端刷新共享屏幕，将已绑定屏幕流的视图显示在屏幕上；以及在所述RTC客户端回调出帧之后，所述视频会议客户端进行上屏渲染，得到显示在显示设备上的首帧图像。2.根据权利要求1所述的投屏方法，其中，所述创建视图包括：所述视频会议客户端调用RTC客户端封装的创建视图的接口，由所述RTC客户端封装执行初始化渲染实例的方法创建所述视图。3.根据权利要求1所述的投屏方法，其中，所述创建渲染器包括：所述视频会议客户端调用所述RTC客户端封装的建立远端屏幕的接口，由所述RTC客户端封装执行创建渲染器的方法创建所述渲染器。4.根据权利要求1所述的投屏方法，其中，所述视频会议客户端进行上屏渲染包括：调用所述RTC客户端封装开放图形库提供的渲染方法进行所述上屏渲染。5.根据权利要求1所述的投屏方法，在收到会议信息后，进一步包括：所述视频会议客户端根据所述会议信息确定用于提供待投放屏幕流的第一终端的类型，响应于确定所述第一终端是计算机，所述视频会议客户端依据所述会议信息初始化实时通信RTC引擎，并加入与所述会议信息中会议标识对应的RTC房间；所述视频会议客户端创建视图层组件；在接收到所述RTC客户端回调的流加入事件后，所述视频会议客户端刷新共享屏幕；响应于确定所述视图层组件已创建成功，所述视频会议客户端将创建的视图层组件以及所述流加入事件中的流标识设置到所述RTC客户端的视频媒体解码模块；所述视频会议客户端向所述RTC客户端订阅与所述流标识对应的屏幕流；以及在接收到所述RTC客户端回调的屏幕流首帧后，所述视频会议客户端调整视图比例，得到显示在显示设备上的首帧图像；其中，所述屏幕流首帧是由RTC客户端使用已设置所述平面视图以及所述流标识的视频媒体解码模块对所述屏幕流的首帧进行解码以及渲染后得到的。6.根据权利要求5所述的投屏方法，其中，所述视频会议客户端创建视图层组件包括：所述视频会议客户端根据所述会议信息中的参会人标识拼接出流标识；所述视频会议客户端依据所述流标识调用所述RTC客户端封装的创建RTC视图层组件的接口，由所述RTC客户端封装指令操作系统创建所述视图层组件。7.根据权利要求5所述的投屏方法，其中，所述视频会议客户端将创建的视图层组件以及所述流加入事件中的流标识设置到所述RTC客户端的视频媒体解码模块包括：所述RTC客户端封装调用RTC客户端提供的设置视图层组件方法将所述视图层组件以及所述流标识设置到所述RTC客户端的视频媒体解码模块。8.根据权利要求5所述的投屏方法，其中，所述视频会...

【专利技术属性】
技术研发人员：任思锜，杜成立，夏正冬，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：