视频处理方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种视频处理方法、装置、电子设备及存储介质。其中方法包括：获取生产端发送的流发布信令信息；根据流发布信令信息，获取多个消费端发送的流订阅信令信息；基于流发布信令信息和流订阅信令信息，确定多个消费端的目标子流值集合；将目标子流值集合发送到生产端，令生产端基于目标子流值集合编码子流集合；将生产端上传的子流集合，发送到多个消费端。本申请的方法，通过收集消费端的需求，进而控制生产端按需推流，实现动态调整生产端所需发布的视频流，从而节约生产端的带宽资源、减少功耗损失，提高视频流的处理效率。提高视频流的处理效率。提高视频流的处理效率。

【技术实现步骤摘要】
视频处理方法、装置、电子设备及存储介质


[0001]本申请涉及计算机
，尤其涉及视频处理方法、装置、电子设备及存储介质。

技术介绍

[0002]多播Simulcast是视频会议的一种技术方案，它的核心流程是生产端对采集到的视频帧进行多次编码，从而产生分辨率不同、质量不同的多个视频流，然后将视频流推送到服务端，服务端则根据消费端的网络带宽、用户需求等选择一个合适的视频流转发到消费端。生产端会固定发布多个视频流，无论该视频流有没有人订阅。

技术实现思路

[0003]本申请提供了一种视频处理方法、装置、电子设备及存储介质，以提升流媒体的处理效率。本申请的技术方案如下：
[0004]第一方面，本申请实施例提供了一种视频处理装置，包括：
[0005]生产端获取模块，用于获取生产端发送的流发布信令信息；
[0006]消费端获取模块，用于根据所述流发布信令信息，获取多个消费端发送的流订阅信令信息；
[0007]需求汇集模块，用于基于所述流发布信令信息和所述流订阅信令信息，确定所述多个消费端的目标子流值集合；
[0008]生产控制模块，用于将所述目标子流值集合发送到所述生产端，令所述生产端基于所述目标子流值集合编码子流集合；
[0009]流发送模块，用于将所述生产端上传的子流集合，发送到所述多个消费端。
[0010]第二方面，本申请实施例提供了一种视频处理装置，包括：
[0011]生产端获取模块，用于获取生产端发送的流发布信令信息；
[0012]消费端获取模块，用于根据所述流发布信令信息，获取多个消费端发送的流订阅信令信息；
[0013]需求汇集模块，用于基于所述流发布信令信息和所述流订阅信令信息，确定所述多个消费端的目标子流值集合；
[0014]生产控制模块，用于将所述目标子流值集合发送到所述生产端，令所述生产端基于所述目标子流值集合编码子流集合；
[0015]流发送模块，用于将所述生产端上传的子流集合，发送到所述多个消费端。
[0016]第三方面，本申请实施例提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请第一方面实施例所述的视频处理方法。
[0017]第四方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储
介质，所述计算机指令用于使所述计算机执行本申请第一方面实施例所述的视频处理方法。
[0018]第五方面，本申请实施例提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现本申请第一方面实施例所述的视频处理方法的步骤。
[0019]本申请实施例提供的技术方案至少带来以下有益效果：
[0020]可通过收集消费端的需求，进而控制生产端按需推流。
[0021]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0022]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理，并不构成对本申请的不当限定。
[0023]图1是SFU架构多播Simulcast模式的架构图。
[0024]图2是根据一示例性实施例示出的视频处理方法的流程图。
[0025]图3是根据一示例性实施例示出的扩展RTCP消息的结构图。
[0026]图4是根据另一示例性实施例示出的视频处理方法的流程图。
[0027]图5是根据一示例性实施例示出的采用视频处理方法的系统的架构图。
[0028]图6是根据又一示例性实施例示出的视频处理方法的流程图。
[0029]图7是根据又一示例性实施例示出的视频处理方法的流程图。
[0030]图8是根据一示例性实施例示出的视频处理装置的框图。
[0031]图9是根据另一示例性实施例示出的视频处理装置的框图。
[0032]图10是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
[0033]为了使本领域普通人员更好地理解本申请的技术方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
[0034]需要说明的是，本申请中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0035]SFU(Selective Forwarding Unit，选择性转发单元)，一种音视频会议系统架构，SFU服务器主要负责视频流的收集和转发，不对多媒体数据进行编解码处理。SFU像是一个视频流路由器，接收终端的音视频流，根据需要转发给其他终端。SFU在音视频会议中应用非常广泛，尤其是WebRTC(Web Real
‑
Time Communication，网页即时通信)普及以后，支持WebRTC多方通信的媒体服务器基本都是SFU结构。WebRTC客户端使用不同的分辨率和比特率对同一视频流进行多次编码，并将其发送给SFU路由器，然后由SFU路由器决定哪个终端接收哪个视频流。
[0036]RTCP(The RTP control protocol，RTP控制协议)，是实时传输协议RTP(Real
‑
time Transport Protocol，实时传输协议)的一个姐妹协议，RTCP与RTP联合工作，RTP进行实际数据的传输，RTCP则传输各种控制信令，主要用于反馈RTP的传输质量。
[0037]多播Simulcast是视频会议的一种技术方案，如图1所示，其核心流程是生产端对采集到的视频帧进行多次编码，从而产生分辨率不同、质量不同的多个视频流，然后将视频流推送到SFU服务端，SFU服务端则根据消费端的网络带宽、用户需求等选择一个合适的视频流转发到消费端。
[0038]可以理解，Simulcast模式是指视频的共享者可以同时向SFU服务端发送多路不同分辨率的视频流(例如，1080P、720P、360P)。而SFU服务端可以将接收到的多路视频流根据各个终端的具体情况而选择其中合适的某一路发送出去。例如，由于计算机端网络特别好，给计算机端发送1080P分辨率的视频；而因为移动网络较差，就给手机端发送360P分辨率的视频。
[0039]需要说明的是，在本申请实施例中，生产端指的是视频流的发布端，消费端指的是视频流的接收端。作为一个示例，SFU服务端连接的参与会议的4个终端，每个终端可以将自己要分享的音视频流发给SFU服务器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：获取生产端发送的流发布信令信息；根据所述流发布信令信息，获取多个消费端发送的流订阅信令信息；基于所述流发布信令信息和所述流订阅信令信息，确定所述多个消费端的目标子流值集合；将所述目标子流值集合发送到所述生产端，令所述生产端基于所述目标子流值集合编码子流集合；将所述生产端上传的子流集合，发送到所述多个消费端。2.根据权利要求1所述的方法，其特征在于，所述流发布信令信息包括所述生产端提供的子流类别，所述流订阅信令信息包括期望子流值，所述基于所述流发布信令信息和所述流订阅信令信息，确定所述多个消费端的目标子流值集合，包括：估计所述多个消费端中当前消费端的带宽，并基于所述子流类别确定所述带宽范围内的最优子流值；将所述当前消费端的最优子流值和期望子流值中的较小者作为所述当前消费端的目标子流值；汇集所述多个消费端各自的目标子流值得到目标子流值集合。3.根据权利要求2所述的方法，其特征在于，所述估计所述多个消费端中当前消费端的带宽，并基于所述子流类别确定所述带宽范围内的最优子流值，还包括：响应于所述带宽范围内不足以传输所述子流类别中质量最小的子流，将所述质量最小的子流作为最优子流值。4.根据权利要求1所述的方法，其特征在于，所述将所述目标子流值集合发送到所述生产端，令所述生产端基于所述目标子流值集合编码子流集合，包括：定时检测所述生产端当前上传的子流集合与所述目标子流值集合是否一致；响应于所述生产端当前上传的子流集合与所述目标子流值集合不一致，将所述目标子流值集合发送到所述生产端，令所述生产端基于所述目标子流值集合编码子流集合。5.根据权利要求1所述的方法，其特征在于，所述将所述生产端上传的子流集合，发送到所述多个消费端，包括：基于所述生产端当前上传的子流集合，确定与所述目标子流值集合中每个目标子流值对应的目标子流；将所述目标子流值对应的目标子流发送到所述目标子流值对应的消费端。6.根据权利要求5所述的方法，其特征在于，所述基于所述生产端当前上传的子流集合，确定与所述目标子流值集合中每个目标子流值对应的目标子流，包括：响应于所述生产端当前上传的子流集合中包括所述目标子流值集合中当前目标子流值对应的第一子流，将所述第一子流作为目标子流。7.根据权利要求6所述的方法，其特征在于，所述基于所述生产端当前上传的子流集合，确定与所述目标子流值集合中每个目标子流值对应的目标子流，还包括：响应于所述生产端当前上传的子流集合中不包括所述目标子流值集合中当前目标子流值对应的第一子流，将所述生产端当前上传的子流集合中质量低于所述第一子流的至少一个子流中质量最高的子流作为目标子流。
8.一种视频处理装置，其特征在于，包括：生产端获取模块，用于获取生产端发送的流发布信令信息；消费端获取模块，用于根据所述流发布信令信息，获取多个消费端发送的流订阅信令信息；需求汇集模...

【专利技术属性】
技术研发人员：李科阳，李庆波，王孝庆，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：