一种低成本的边缘集群大规模视频流高并发传输方法技术

本发明专利技术涉及智慧教育新技术领域，提供了一种低成本的边缘集群大规模视频流高并发传输方法，包括：用边缘采集设备采集视频和音频；通过摄像机设备对音视频流进行转码变换和存储以及经过DPDK接入转发集群转发；传输到视频处理存储集群、负载均衡集群处理，再传输给直播用户和点播用户。利用DPDK分类技术把视频流分成直播小流和录播点播的大流，通过CPU的均衡负载度来量化系统的均衡负载能力，通过Q

【技术实现步骤摘要】
一种低成本的边缘集群大规模视频流高并发传输方法


[0001]本专利技术涉及智慧教育新
，尤其涉及一种低成本的边缘集群大规模视频流高并发传输方法。

技术介绍

[0002]近年随着国内外视频直播录播点播业务的迅猛发展，在互联网总流量中视频流占比越来越高，根据思科公司的预测,到2023年视频流将占互联网总流量的80％。据IDC报告2021年下半年，中国视频云市场规模达到50.4亿美元，预计到2025年视频云市场规模将达到314亿美元。随着短视频平台、互动娱乐直播平台的蓬勃发展，在相关领域也出现了很多重要应用。智慧教育是互联网和人工智能在教育领域的新领域，在智慧教育中的校园云录播直播系统，已经成为一种全新的现代化教学解决方案。校园云录播直播系统以物联网技术作为基础，采用高速传输和边缘网络存储技术实现视频的采集、处理及使用。
[0003]边缘计算是适应视频业务需求的重要解决方案，通过优质的边缘节点、全域分布式的网络带宽以及多种异构算力资源，提供更低时延的网络接入能力、更优化的网络带宽成本、丰富的异构算力资源和智能调度，满足视频业务极致高清、实时交互、沉浸式体验的需求。在视频直播录播点播场景中，大规模、高并发、持续的音频和视频数据需要在边缘摄像头、边缘服务器、网络交换机以及存储设备之间快速、频繁的传输。由于大幅度增加边缘节点的业务数据规模，边缘计算中单机节点难以完成计算工作,所以需要将边缘节点扩展成边缘集群。随着边缘集群内通信的数据量骤增，需要大量的网络流量带宽来接收、转发视频流，这对边缘集群内的通信带宽提出了更高的要求。
[0004]在边缘计算集群中大规模高并发视频流接入转发的性能优化成为一个重要挑战。视频业务拥有大规模的接入设备，接收高并发的视频流后转发到广大用户设备中。当高并发视频流传输性能出现瓶颈时将导致服务集群计算负载过大，导致应用层平台负担变重，进而引发视频流的延迟、卡顿或丢帧，甚至无法打开视频等现象，严重影响用户体验。直播录播系统网络出口、中间设备、内部网络的传输性能严重影响用户的观看体验。
[0005]现有的并发接入技术方案存在接入设备成本高、视频传输丢包率高等问题。在传统技术中通常用更高速率的设备来增加边缘集群的带宽，但需要付出高额的设备费用，而且施工周期长，系统扩展性较差。链路聚合技术是解决该问题的一种技术方案，在原有硬件基础上把多个物理接口捆绑成一整个逻辑接口，达到增加链路带宽的目的,然而操作系统对该种技术的支持不够友好，导致实现开发难度较大。

技术实现思路

[0006]本专利技术针对现有技术的不足，研制一种低成本的边缘集群大规模视频流高并发传输方法，该专利技术可以很好地解决以下难题：现有的并发接入技术方案存在接入设备成本高、视频传输丢包率高等问题。在传统技术中通常用更高速率的设备来增加边缘集群的带宽，但需要付出高额的设备费用，而且施工周期长，系统扩展性较差。
[0007]本专利技术解决技术问题的技术方案为：本专利技术提供了一种低成本的边缘集群大规模视频流高并发传输方法，其包括：
[0008]S1.用边缘采集设备采集视频和音频数据；
[0009]S2.通过摄像机设备对音视频流进行转码变换和存储；
[0010]S3.将音频和视频流经过DPDK接入转发集群、视频处理存储集群、负载均衡集群进行处理，再传输给直播用户和点播用户；
[0011]其中S3中DPDK接入转发集群把视频流分成直播小流和录播点播的大流，并采用多网口的Q
‑
Learning算法对CPU核心和队列进行分配，以解决数据流接收转发的调度问题，将并发转接需求合理地分配到服务器的处理单元上，尽可能地达到负载均衡，使各网口利用率变得相对比较平均，各网口之间相互分担负载，避免了过载丢包的发生，提高了服务器的吞吐效率。
[0012]优选的，视频流Si＝{S1,S2,
…
S
n
}为到达边缘计算集群的并发视频流，其中直播视频流为点播视频流为分流数据流接收速率为Vr，在
△
t时间内到的视频流大小为：接收系统数据流的接收速率Vr为：
[0013]B为网络有效带宽，则：当系统接收速率无限接近V
r
时，则网络丢包率趋近于零。
[0014]优选的，Q
‑
Learning算法是用于均衡分配负载CPU和多网卡多端口以及受约的缓冲区多队列的方法，利用下面公式：
[0015][0016][0017]UN表示转接处理单元集合；
[0018]unit
ij
表示第i个网卡第j个接口对应的转接CPU处理线程核心；
[0019]data表示需要转接处理的数据块集合；
[0020]data
k
表示第k个数据块的负载额度需求；
[0021]表示调度开始前，unit
ij
的原有负载；
[0022]表示调度进行到一定程度时，unit
ij
的已有负载；
[0023]表示unit
ij
总的负载能力；
[0024]avg_load
cur
表示当前回合中所有单元的平均负载利用率；
[0025]表示0
‑
1变量，若将data
k
分配给unit
ij
处理则设置为1；否则设置为0
[0026]ω表示在当前回合中，unit
ij
的负载利用率相对于所有转接处理单元平均负载利用率的偏离值；
[0027][0028]ω最小值约束如下：θ是设置的上限，将data
k
分配给转接处理单元unit
ij
后，该处理单元的负载利用率不能高于指定的上限θ；且需要为每个数据块分配至少一个可用的处理单元，Q
‑
Learning是一种无模型的学习方法，根据奖励值大小分配负载，对每一个数据块的转接需求，通过Q
‑
Learning学习出Q值矩阵。根据Q值矩阵选择一个可用处理单元，记入处理单元选择集中，当所有转接需求处理完毕，即可得到负载分配方案。
[0029]优选的，处理单元unit
ij
的R
ij
函数如下：
[0030][0031][0032]其中，α表示奖励值的比例系数，β表示折扣系数，θ表示处理单元允许使用的最大利用率，0<θ<1。由上可知，处理单元被分为三个等级：
[0033](1)当承载此转接需求后处理单元的利用率超过利用率上限θ的限制时，设置该处理单元的奖励值为0，即此处理单元无法满足当前的转接需求；
[0034](2)当处理单元剩余可用的负载能力大于转接需求的负载且承载此转接需求后处理单元的利用率不大于所有处理单元的平均利用率，则该处理单元是最优的选择。这样做的意义是均衡负载；
[0035](3)当处理单元剩余可用的负载能力大于转接本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种低成本的边缘集群大规模视频流高并发传输方法，其特征是，其包括：S1.用边缘采集设备采集视频和音频数据；S2.通过摄像机设备对音视频流进行转码变换和存储；S3.将音频和视频流经过DPDK接入转发集群、视频处理存储集群、负载均衡集群进行处理，再传输给直播用户和点播用户；其中S3中DPDK接入转发集群把视频流分成直播小流和录播点播的大流，并采用多网口的Q
‑
Learning算法对CPU核心和队列进行分配。2.根据权利要求1所述的一种低成本的边缘集群大规模视频流高并发传输方法，其特征是：视频流Si＝{S1,S2,
…
S
n
}为到达边缘计算集群的并发视频流，其中直播视频流为点播视频流为分流数据流接收速率为Vr，在
△
t时间内到的视频流大小为接收系统数据流的接收速率Vr为：B为网络有效带宽，则：3.根据权利要求1所述的一种低成本的边缘集群大规模视频流高并发传输方法，其特征是：Q
‑
Learning算法是用于均衡分配负载CPU和多网卡多端口以及受约的缓冲区多队列的方法，利用下面公式：方法，利用下面公式：UN表示转接处理单元集合；unit
ij
表示第i个网卡第j个接口对应的转接CPU处理线程核心；data表示需要转接处理的数据块集合；data
k
表示第k个数据块的负载额度需求；表示调度开始前，unit
ij
的原有负载；表示调度进行到一定程度时，unit
ij
的已有负载；表示unit
ij
总的负载能力；avg_load
cur
表示当前回合中所有单元的平均负载利用率；表示0
‑
1变量，若将data
k
分配给unit
ij
处理则设置为1；否则设置为0ω表示在当前回合中，unitij的负载利用率相对于所有转接处理单元平均负载利用率
的偏离值；ω最小值约束如下：θ是设置的上限，将data
k
分配给转接处理单元unit
ij
后，该处理单元的负载利用率不能高于指定的上限θ，且需要为每个数据块分配至少一个可用的处理单元。4.根据权利要求3所述的一种低成本的边缘集群大规模视频流高并发传输方法，其特征是，处理单元unit
ij
的R
ij
函数如下：函数如下：其中，α表示奖励值的比例系数，β表示折扣系数，θ表示处理单元允许使用的最大利用率，0<θ<1。5.根据权利要求1所述的一种低成本的边缘集群大规模视频流高并发传输方法，其特征是：根据直播和点播人数切换时间片，及时更新处理单元数量和负载情况，为寻找最优解设置多轮迭代,在每一轮迭代中，基于Q
‑
Learning的负载分配算法执行如下：Step1：初始化负载分配数组LOAD_DIST，读入转接每个数据块的负载需求load
k
∈LOAD；Step2：初始化Q值表old_Q中所有元素为0；Step3：初始化Q值表更新公式中的折扣因子γ和奖励值矩阵R，其中0&am...

【专利技术属性】
技术研发人员：刘海涛，李晓乐，王海峰，王星，陈庆奎，龚慧琳，付直兵，
申请(专利权)人：上海理工大学，
类型：发明
国别省市：