一种提高可视化数据流负载均衡的方法、系统及相关设备技术方案

本申请公开了一种提高可视化数据流负载均衡的方法、系统及相关设备，该方法包括：接收来自客户端的数据请求，并基于所述数据请求所请求的数据量，确定至少一个目标数据请求；针对每一目标数据请求：从各服务节点中确定多个候选服务节点；从所述多个候选服务节点中确定负载指标最低的目标服务节点；将所述目标数据请求发送至所述目标服务节点，接收所述目标服务节点返回的数据，并将所述数据发送至客户端。本申请能够基于负载均衡分配数据请求，使得后端服务能够处在较为一致的繁忙状态，保障了较高的资源利用率，且减少了数据请求的响应时间。时间。时间。

【技术实现步骤摘要】
一种提高可视化数据流负载均衡的方法、系统及相关设备


[0001]本申请涉及自动驾驶及网络通讯
，更具体地说，是涉及一种提高可视化数据流负载均衡的方法、系统及相关设备。

技术介绍

[0002]目前大部分自动驾驶可视化平台都是本地客户端的架构模式，这种模式对资源的浪费相当大，在用户不进行数据播放的时间段，软件依然需要占据不小的资源开销，同时1对1的模式也是造成资源利用率不高的原因之一。
[0003]虽然，在将后端数据处理服务迁移到云端后，确实能实现以少量的后端支持大量用户前端数据渲染的效果，按需对用户的数据请求进行处理，优化了资源利用率。但是目前的大部分方案，并没有考虑到对用户请求进行负载均衡处理。这势必导致请求的分配不均，部分后端服务长期处于繁忙状态，而部分后端服务过于空闲，一方面资源并没有被充分利用，另一方面部分请求的响应时间过长，影响用户体验。

技术实现思路

[0004]有鉴于此，本申请提供了一种提高可视化数据流负载均衡的方法、系统及相关设备，以解决至少一个上面所提出的问题。
[0005]为实现上述目的，本申请第一方面提供了一种提高可视化数据流负载均衡的方法，包括：
[0006]接收来自客户端的数据请求，并基于所述数据请求所请求的数据量，确定至少一个目标数据请求；
[0007]针对每一目标数据请求：
[0008]从各服务节点中确定多个候选服务节点；
[0009]从所述多个候选服务节点中确定负载指标最低的目标服务节点；
[0010]将所述目标数据请求发送至所述目标服务节点，接收所述目标服务节点返回的数据，并将所述数据发送至客户端。
[0011]优选地，基于所述数据请求所请求的数据量，确定至少一个目标数据请求的过程，包括：
[0012]判断所述数据请求所请求的数据量是否超出预设阈值；
[0013]若是，基于所述数据请求所请求的数据时长，将所述数据请求分割成多个目标数据请求，每一目标数据请求所请求的数据时长不大于第一预设时长；
[0014]若否，将所述数据请求确定为目标数据请求。
[0015]优选地，在将所述数据请求分割成多个目标数据请求之后，还包括：
[0016]针对每一目标数据请求，判断所述目标数据请求所请求的数据量是否仍超出所述预设阈值；
[0017]若是，基于所述目标数据请求所请求的数据类型，将所述目标数据请求分割成n个
新的目标数据请求，n满足下述方程式：
[0018][0019]其中，m为所述目标数据请求所请求的数据量，c为所述预设阈值，为向上取整运算；所述新的目标数据请求所请求的数据量不超出所述预设阈值，各新的目标数据请求所请求的数据类型各不相同。
[0020]优选地，基于所述目标数据请求所请求的数据类型，将所述目标数据请求分割成n个新的目标数据请求的过程，包括：
[0021]从所述目标数据请求中提取出多个数据子请求，每一数据子请求所请求的数据仅包含一种数据类型；
[0022]基于每一数据子请求所请求的数据量，将各数据子请求分割成n组数据子请求；
[0023]将每一组数据子请求合并成一个新的目标数据请求；
[0024]其中，各新的目标数据请求所请求的数据量的方差小于预设方差值。
[0025]优选地，从各服务节点中确定多个候选服务节点的过程，包括：
[0026]利用下述方程式计算得到候选服务节点的数量Pick：
[0027][0028]从各服务节点中随机选取Pick个候选服务节点；
[0029]其中，Num
req
为当前各服务节点尚未完成的数据请求的总数，Num
node
为各服务节点的总数,为向上取整运算。
[0030]优选地，服务节点的负载指标包括当前忙闲指标、队列忙闲指标、CPU忙闲指标以及内存忙闲指标；服务节点的负载指标的计算过程，包括：
[0031]利用下述方程式计算得到服务节点当前忙闲指标M1：
[0032]M1＝t1/t2
[0033]利用下述方程式计算得到服务节点队列忙闲指标M2：
[0034]M2＝(∑
i
S
i
)/S
max
[0035]利用下述方程式计算得到服务节点CPU忙闲指标M3：
[0036]M3＝CPU
ocp
/CPU
total
[0037]利用下述方程式计算得到服务节点当前内存占用状况M4：
[0038]M4＝MEM
ocp
/MEM
total
[0039]利用下述方程式计算得到所述负载指标：
[0040]Idx＝k1
·
M1+k2
·
M2+k3
·
M3+k4
·
M4
[0041]其中，t2为第二预设时长，t1为服务节点在过去的t2内处于工作状态的工作时长；S
max
为待处理队列的第三预设时长，S
i
为服务节点的待处理队列中第i个数据请求的数据时长；CPU
ocp
为服务节点当前使用中的CPU数量，CPU
total
为服务节点的CPU总数；MEM
ocp
为服务节点当前使用中的内存数量，MEM
total
为服务节点的内存总数；k1、k2、k3和k4为预设的系数，且满足k1+k2+k3+k4＝1。
[0042]本申请第二方面提供了一种提高可视化数据流负载均衡的系统，包括客户端、多个服务代理、多个服务节点以及服务监控模块；
[0043]所述服务代理连接于所述服务节点和所述客户端，所述服务监控模块连接于所述
服务器节点和所述服务代理；
[0044]所述客户端用于将数据请求发送至一服务代理，并接收所述服务代理返回的数据；
[0045]所述服务代理用于实现如上述的提高可视化数据流负载均衡的方法的各个步骤；
[0046]所述服务节点，用于接收服务代理转发的数据请求，并将数据返回至所述服务代理；
[0047]所述服务监控模块用于监控每一服务节点的负载指标，以及用于监控当前各服务节点尚未完成的数据请求的总数。
[0048]本申请第三方面提供了一种提高可视化数据流负载均衡的装置，包括：
[0049]数据请求分割单元，用于接收来自客户端的数据请求，并基于所述数据请求所请求的数据量，确定至少一个目标数据请求；
[0050]候选节点确定单元，用于从各服务节点中确定多个候选服务节点；
[0051]目标节点确定单元，用于从所述多个候选服务节点中确定负载指标最低的目标服务节点；
[0052]目标请求处理单元，用于将所述目标数据请求发送至所述目标服务节点，接收所述目标服务节点返回的数据，并将所述数据发送至客户端。
[0053本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提高可视化数据流负载均衡的方法，其特征在于，包括：接收来自客户端的数据请求，并基于所述数据请求所请求的数据量，确定至少一个目标数据请求；针对每一目标数据请求：从各服务节点中确定多个候选服务节点；从所述多个候选服务节点中确定负载指标最低的目标服务节点；将所述目标数据请求发送至所述目标服务节点，接收所述目标服务节点返回的数据，并将所述数据发送至客户端。2.根据权利要求1所述的方法，其特征在于，基于所述数据请求所请求的数据量，确定至少一个目标数据请求的过程，包括：判断所述数据请求所请求的数据量是否超出预设阈值；若是，基于所述数据请求所请求的数据时长，将所述数据请求分割成多个目标数据请求，每一目标数据请求所请求的数据时长不大于第一预设时长；若否，将所述数据请求确定为目标数据请求。3.根据权利要求2所述的方法，其特征在于，在将所述数据请求分割成多个目标数据请求之后，还包括：针对每一目标数据请求，判断所述目标数据请求所请求的数据量是否仍超出所述预设阈值；若是，基于所述目标数据请求所请求的数据类型，将所述目标数据请求分割成n个新的目标数据请求，n满足下述方程式：其中，m为所述目标数据请求所请求的数据量，c为所述预设阈值，为向上取整运算；所述新的目标数据请求所请求的数据量不超出所述预设阈值，各新的目标数据请求所请求的数据类型各不相同。4.根据权利要求3所述的方法，其特征在于，基于所述目标数据请求所请求的数据类型，将所述目标数据请求分割成n个新的目标数据请求的过程，包括：从所述目标数据请求中提取出多个数据子请求，每一数据子请求所请求的数据仅包含一种数据类型；基于每一数据子请求所请求的数据量，将各数据子请求分割成n组数据子请求；将每一组数据子请求合并成一个新的目标数据请求；其中，各新的目标数据请求所请求的数据量的方差小于预设方差值。5.根据权利要求1所述的方法，其特征在于，从各服务节点中确定多个候选服务节点的过程，包括：利用下述方程式计算得到候选服务节点的数量Pick：从各服务节点中随机选取Pick个候选服务节点；其中，Num
req
为当前各服务节点尚未完成的数据请求的总数，Num
node
为各服务节点的总
数,为向上取整运算。6.根据权利要求1所述的方法，其特征在于，服务节点的负载指标包括当前忙闲指标、队列忙闲指标、CPU忙闲指标以及内存忙闲指标；服务节点的负载指标的计算过程，包括：利用下述方程式计算得到服务节点当前忙闲指标M1：M1＝t1/t2利用下述方程式计算得到服务节点队列忙闲指标M2：m2＝(∑
i
S
i
)/S
max
利用下述方程式计算得到服务节点CPU忙闲指标M3：M3＝CPU...

【专利技术属性】
技术研发人员：林恣，
申请(专利权)人：广州文远知行科技有限公司，
类型：发明
国别省市：