分布式环境下的任务处理方法、装置、电子设备和介质制造方法及图纸

技术编号:34973031 阅读:9 留言:0更新日期:2022-09-21 14:13
本公开提供了一种分布式环境下的任务处理方法、装置、电子设备和介质,涉及数据处理技术领域。其中,分布式环境下的任务处理方法包括:获取请求服务器执行任务的请求信息;根据请求信息确定将任务发送至指定服务器或非指定服务器;若确定发送至非指定服务器,则获取能够执行任务的非指定服务器和非指定服务器的执行权重;根据执行权重将任务分配至非指定服务器。通过本公开的技术方案,提升了任务处理的效率、服务资源的均衡性和可靠性。服务资源的均衡性和可靠性。服务资源的均衡性和可靠性。

【技术实现步骤摘要】
分布式环境下的任务处理方法、装置、电子设备和介质


[0001]本公开涉及数据处理
,尤其涉及一种分布式环境下的任务处理方法、装置、电子设备和介质。

技术介绍

[0002]在分布式集群架构下,多个应用任务通常由该架构中的多个服务器协同执行,任务系统内部的处理阶段包括任务的接收(存储到库)、任务的分配和任务结果的展示,其中,任务分配包括以下方案实现:
[0003](1)将任务分配的功能直接下沉到用户终端上,在用户终端上已经获取到要将任务发送到哪台服务器执行。
[0004]但是,用户终端不在服务器集群的管控范围内,任务分配过程中可能出现安全等问题。
[0005]另外,若服务地址列表更新不及时,则可能导致用户终端访问的服务器的地址无效,就影响使用者的产品体验。
[0006](2)由任务分配系统来决定任务的具体执行服务器,可以理解为存在一个中心控制节点,统一对任务进行分派。
[0007]但是,任务分配系统依赖的开源组件过多,影响系统的稳定性,不利于升级和后期的功能迭代,大多数的软件公司中,该类型的系统都要普适性地为各条业务线服务,也即需要兼容各种场景,从而导致整个系统愈加复杂,也会导致后期维护成本的增加。
[0008](3)上述两种任务分配方案还存在任务分配不均的问题,这就可能导致一部分服务器资源未被利用,而另一部分服务器处于过载状态,这就会导致分布式集群处理任务的效率降低,也严重影响了服务器的可靠性、吞吐量和资源均衡性。
[0009]需要说明的是,在上述
技术介绍
分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0010]本公开的目的在于提供一种分布式环境下的任务处理方法、装置、电子设备和介质,至少在一定程度上克服了相关技术中分布式环境下的任务处理效率低的问题。
[0011]本公开的其他特性和优点将通过后续的详细描述变得显然,或部分地通过本公开的实践而习得。
[0012]根据本公开的一个方面,提供一种分布式环境下的任务处理方法,包括:获取请求服务器执行任务的请求信息;根据所述请求信息确定将所述任务发送至指定服务器或非指定服务器;若确定发送至所述非指定服务器,则获取能够执行所述任务的非指定服务器和所述非指定服务器的执行权重;根据所述执行权重将所述任务分配至所述非指定服务器。
[0013]在本公开的一个实施例中,还包括:获取所述非指定服务器在指定时间内处理所述任务的执行时间;根据所述执行时间更新所述执行权重。
[0014]在本公开的一个实施例中,根据所述执行时间更新所述执行权重包括:设置所述非指定服务器的初始执行权重相等;确定全部所述非指定服务器的执行时间的总和;确定所述执行时间占所述执行时间的总和的比例;根据所述比例更新所述执行权重。
[0015]在本公开的一个实施例中,根据所述请求信息确定将所述任务发送至指定服务器或非指定服务器包括:解析所述请求信息确定是否包含所述指定服务器的地址信息;若确定所述请求信息包含所述地址信息,则根据所述地址信息将所述任务发送至所述指定服务器。
[0016]在本公开的一个实施例中,根据所述请求信息确定将所述任务发送至指定服务器或非指定服务器还包括:解析所述请求信息确定是否包含所述指定服务器的地址信息;若确定所述请求信息不包含所述地址信息,则确定发送所述任务至所述非指定服务器。
[0017]在本公开的一个实施例中,还包括:接收所述非指定服务器执行所述任务的结果信息;确定所述结果信息中包含的三元组数据信息和执行时间字段信息;根据所述三元组数据信息更新预设库表中的三元组数据;根据所述执行时间字段信息更新redis缓存的执行时间。
[0018]在本公开的一个实施例中,获取请求服务器执行任务的请求信息包括:获取所述请求信息;解析所述请求信息中包含调用服务和调用参数;根据所述调用服务和所述调用参数确定请求的服务器范围,所述服务器范围包括所述指定服务器和所述非指定服务器。
[0019]根据本公开的另一个方面,提供一种分布式环境下的任务处理装置,包括:获取模块,用于获取请求服务器执行任务的请求信息;确定模块,用于根据所述请求信息确定将所述任务发送至指定服务器或非指定服务器;所述获取模块还用于,若确定发送至所述非指定服务器,则获取能够执行所述任务的非指定服务器和所述非指定服务器的执行权重;分配模块,用于根据所述执行权重将所述任务分配至所述非指定服务器。
[0020]根据本公开的再一个方面,提供一种电子设备,包括:处理器;以及存储器,用于存储处理器的可执行指令;其中,处理器配置为经由执行可执行指令来执行上述任意一项的分布式环境下的任务处理方法。
[0021]根据本公开的又一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任意一项的分布式环境下的任务处理方法。
[0022]本公开的实施例所提供的分布式环境下的任务处理方案,通过根据所述请求信息确定将所述任务发送至指定服务器或非指定服务器,并根据所述执行权重将所述任务分配至所述非指定服务器,提高了任务处理的安全性和可靠性,优化了分布式集群中的服务器的资源均衡度,提升了分布式集群的整体吞吐量和任务处理效率。
[0023]应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
[0024]此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0025]图1示出本公开实施例中一种分布式环境下的任务处理方法的示意图;
[0026]图2示出本公开实施例中另一种分布式环境下的任务处理方法的流程图;
[0027]图3示出本公开实施例中又一种分布式环境下的任务处理方法的流程图;
[0028]图4示出本公开实施例中又一种分布式环境下的任务处理方法的流程图;
[0029]图5示出本公开实施例中又一种分布式环境下的任务处理方法的流程图;
[0030]图6示出本公开实施例中又一种分布式环境下的任务处理方法的流程图;
[0031]图7示出本公开实施例中又一种分布式环境下的任务处理方法的流程图;
[0032]图8示出本公开实施例中又一种分布式环境下的任务处理方法的流程图;
[0033]图9示出本公开实施例中又一种分布式环境下的任务处理方法的流程图;
[0034]图10示出本公开实施例中一种分布式环境下的任务处理装置的示意图;
[0035]图11示出本公开实施例中一种电子设备的示意图。
具体实施方式
[0036]现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种分布式环境下的任务处理方法,其特征在于,包括:获取请求服务器执行任务的请求信息;根据所述请求信息确定将所述任务发送至指定服务器或非指定服务器;若确定发送至所述非指定服务器,则获取能够执行所述任务的非指定服务器和所述非指定服务器的执行权重;根据所述执行权重将所述任务分配至所述非指定服务器。2.根据权利要求1所述的分布式环境下的任务处理方法,其特征在于,还包括:获取所述非指定服务器在指定时间内处理所述任务的执行时间;根据所述执行时间更新所述执行权重。3.根据权利要求2所述的分布式环境下的任务处理方法,其特征在于,根据所述执行时间更新所述执行权重包括:设置所述非指定服务器的初始执行权重相等;确定全部所述非指定服务器的执行时间的总和;确定所述执行时间占所述执行时间的总和的比例;根据所述比例更新所述执行权重。4.根据权利要求1所述的分布式环境下的任务处理方法,其特征在于,根据所述请求信息确定将所述任务发送至指定服务器或非指定服务器包括:解析所述请求信息确定是否包含所述指定服务器的地址信息;若确定所述请求信息包含所述地址信息,则根据所述地址信息将所述任务发送至所述指定服务器。5.根据权利要求1所述的分布式环境下的任务处理方法,其特征在于,根据所述请求信息确定将所述任务发送至指定服务器或非指定服务器还包括:解析所述请求信息确定是否包含所述指定服务器的地址信息;若确定所述请求信息不包含所述地址信息,则确定发送所述任务至所述非指定服务器。6.根据权利要求1

5中任一项所述的分布式环境下的任务...

【专利技术属性】
技术研发人员:李大鹏白雪郑晓静张洪钏刘宝矿邢晓东
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1