一种任务处理方法及终端技术

本发明专利技术公开了一种任务处理方法及终端，监控分布式集群中每一个节点的资源剩余情况以及每一个节点与其相邻节点之间的通信情况，根据监控数据进行性能排序，获取第一预设个数的性能最优节点作为超级节点；接收待处理任务，由每一个超级节点处理待处理任务中对应的子任务；若当前子任务可继续拆分为第二预设个数的下一级子任务，则从处理当前子任务的当前节点所对应的下一级节点中选出第二预设个数的性能最优节点一一对应地处理下一级子任务，直至当前节点为最底层节点或者当前子任务不可继续拆分；因此将待处理任务进行逐级拆分，并且每一级拆分得到的子任务都是在各级性能最优的节点中进行处理的，能够提高任务的计算效率，减少任务执行时间。减少任务执行时间。减少任务执行时间。

【技术实现步骤摘要】
一种任务处理方法及终端


[0001]本专利技术涉及计算机
，特别涉及一种任务处理方法及终端。

技术介绍

[0002]目前消息推送系统中存在有各种类型的推送，主要包括个人类型推送、广播类型推送以及标签类型推送。
[0003]其中，标签类型推送实现的主要流程为：查询满足条件的多个标签集合，对于其中的集合进行交并差集计算，最终获取到最后的计算结果，针对该结果进行消息推送。随着用户数量的增多，此种交并差集计算，旧有方式一般通过一个单点redis提供的方法来进行计算，但是，因为需要同步地加载标签数据至该redis中，所以会存在耗时较长的问题。
[0004]目前新的方式一般是通过分布式部署的方式，通过部署多个的单点redis，通过不同的单点redis之间进行消息以及结果的传递，最终获取到计算结果。但是，随着设备数量的继续增大，各种原始标签集合的数量也会继续增多，为了进一步地减少计算耗时，就必须提高redis分布式计算节点的数量。但是，随着redis分布式计算节点的数量增多，其数量可能达到几十或者上百个，对于这些计算节点可能会部署在不同的机房中，可能会使用不同的机器进行部署，则其中的计算节点的计算效率会受这些外部因素的影响。

技术实现思路

[0005]本专利技术所要解决的技术问题是：提供一种任务处理方法及终端，能够提高任务的处理效率。
[0006]为了解决上述技术问题，本专利技术采用的技术方案为：
[0007]一种任务处理方法，包括步骤：
[0008]监控分布式集群中每一个节点的资源剩余情况以及每一个节点与其相邻节点之间的通信情况；
[0009]根据监控到的数据对每一个节点进行性能排序，将第一预设个数的性能最优节点作为超级节点；
[0010]接收待处理任务，由每一个超级节点处理所述待处理任务中对应的子任务；
[0011]若当前子任务可继续拆分为第二预设个数的下一级子任务，则从处理所述当前子任务的当前节点所对应的下一级节点中选出第二预设个数的性能最优节点来进行所述下一级子任务的一一对应处理，直至所述当前节点为最底层节点或者所述当前子任务不可继续拆分；
[0012]将每一级性能最优节点处理得到的结果进行汇总，得到任务处理结果。
[0013]为了解决上述技术问题，本专利技术采用的技术方案为：
[0014]一种任务处理终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0015]监控分布式集群中每一个节点的资源剩余情况以及每一个节点与其相邻节点之
间的通信情况；
[0016]根据监控到的数据对每一个节点进行性能排序，将第一预设个数的性能最优节点作为超级节点；
[0017]接收待处理任务，由每一个超级节点处理所述待处理任务中对应的子任务；
[0018]若当前子任务可继续拆分为第二预设个数的下一级子任务，则从处理所述当前子任务的当前节点所对应的下一级节点中选出第二预设个数的性能最优节点来进行所述下一级子任务的一一对应处理，直至所述当前节点为最底层节点或者所述当前子任务不可继续拆分；
[0019]将每一级性能最优节点处理得到的结果进行汇总，得到任务处理结果。
[0020]本专利技术的有益效果在于：监控分布式集群中每一个节点的资源剩余情况以及每一个节点与其相邻节点之间的通信情况，根据监控数据进行性能排序，获取第一预设个数的性能最优节点作为超级节点；接收待处理任务，由每一个超级节点处理待处理任务中对应的子任务；若当前子任务可继续拆分为第二预设个数的下一级子任务，则从处理当前子任务的当前节点所对应的下一级节点中选出第二预设个数的性能最优节点来进行下一级子任务的一一对应处理，直至当前节点为最底层节点或者当前子任务不可继续拆分；因此能够将待处理任务进行逐级拆分，并且每一级拆分得到的子任务都是在各级性能最优的节点中进行处理的，相对于现有随机分配的方式，能够进一步提高任务的计算效率，减少任务执行时间。
附图说明
[0021]图1为本专利技术实施例的一种任务处理方法的流程图；
[0022]图2为本专利技术实施例的一种任务处理终端的示意图；
[0023]图3为本专利技术实施例的一种任务处理方法的第一节点与第二节点的关系图。
具体实施方式
[0024]为详细说明本专利技术的
技术实现思路
、所实现目的及效果，以下结合实施方式并配合附图予以说明。
[0025]请参照图1和图3，本专利技术实施例提供了一种任务处理方法，包括步骤：
[0026]监控分布式集群中每一个节点的资源剩余情况以及每一个节点与其相邻节点之间的通信情况；
[0027]根据监控到的数据对每一个节点进行性能排序，将第一预设个数的性能最优节点作为超级节点；
[0028]接收待处理任务，由每一个超级节点处理所述待处理任务中对应的子任务；
[0029]若当前子任务可继续拆分为第二预设个数的下一级子任务，则从处理所述当前子任务的当前节点所对应的下一级节点中选出第二预设个数的性能最优节点来进行所述下一级子任务的一一对应处理，直至所述当前节点为最底层节点或者所述当前子任务不可继续拆分；
[0030]将每一级性能最优节点处理得到的结果进行汇总，得到任务处理结果。
[0031]从上述描述可知，本专利技术的有益效果在于：监控分布式集群中每一个节点的资源
剩余情况以及每一个节点与其相邻节点之间的通信情况，根据监控数据进行性能排序，获取第一预设个数的性能最优节点作为超级节点；接收待处理任务，由每一个超级节点处理待处理任务中对应的子任务；若当前子任务可继续拆分为第二预设个数的下一级子任务，则从处理当前子任务的当前节点所对应的下一级节点中选出第二预设个数的性能最优节点来进行下一级子任务的一一对应处理，直至当前节点为最底层节点或者当前子任务不可继续拆分；因此能够将待处理任务进行逐级拆分，并且每一级拆分得到的子任务都是在各级性能最优的节点中进行处理的，相对于现有随机分配的方式，能够进一步提高任务的计算效率，减少任务执行时间。
[0032]进一步地，所述监控分布式集群中每一个节点的资源剩余情况以及每一个节点与其相邻节点之间的通信情况包括：
[0033]每隔预设时间监控分布式集群中每一个节点的CPU占用率和内存剩余量；
[0034]根据每一个节点内部的监控线程监控每一个节点与其相邻节点之间的资源使用情况以及网络通信情况。
[0035]由上述描述可知，定时监控每一个节点的CPU占用率和内存剩余量，并监控每一个节点与其相邻节点之间的资源使用情况以及网络通信情况，能够准确获取到每一个节点的性能信息，便于后续对节点进行性能排序。
[0036]进一步地，所述根据监控到的数据对每一个节点进行性能排序，将第一预设个数的性能最优节点作为超级节点包括：
[0037]将每一个节点的资源剩余情况以及每一个节点与其相邻节点之间的通信情况按照预设比例进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务处理方法，其特征在于，包括步骤：监控分布式集群中每一个节点的资源剩余情况以及每一个节点与其相邻节点之间的通信情况；根据监控到的数据对每一个节点进行性能排序，将第一预设个数的性能最优节点作为超级节点；接收待处理任务，由每一个超级节点处理所述待处理任务中对应的子任务；若当前子任务可继续拆分为第二预设个数的下一级子任务，则从处理所述当前子任务的当前节点所对应的下一级节点中选出第二预设个数的性能最优节点来进行所述下一级子任务的一一对应处理，直至所述当前节点为最底层节点或者所述当前子任务不可继续拆分；将每一级性能最优节点处理得到的结果进行汇总，得到任务处理结果。2.根据权利要求1所述的一种任务处理方法，其特征在于，所述监控分布式集群中每一个节点的资源剩余情况以及每一个节点与其相邻节点之间的通信情况包括：每隔预设时间监控分布式集群中每一个节点的CPU占用率和内存剩余量；根据每一个节点内部的监控线程监控每一个节点与其相邻节点之间的资源使用情况以及网络通信情况。3.根据权利要求1所述的一种任务处理方法，其特征在于，所述根据监控到的数据对每一个节点进行性能排序，将第一预设个数的性能最优节点作为超级节点包括：将每一个节点的资源剩余情况以及每一个节点与其相邻节点之间的通信情况按照预设比例进行计算，得到每一个节点的性能值；根据每一个所述节点的性能值进行排序，获取第一预设个数的性能值最优的节点作为超级节点。4.根据权利要求1所述的一种任务处理方法，其特征在于，所述接收待处理任务，由每一个超级节点处理所述待处理任务中对应的子任务包括：接收待处理任务，将待处理任务拆分为第一预设个数的子任务；使用每一个所述超级节点进行子任务的一一对应处理。5.根据权利要求1所述的一种任务处理方法，其特征在于，所述从处理所述当前子任务的当前节点所对应的下一级节点中选出第二预设个数的性能最优节点来进行所述下一级子任务的一一对应处理，直至所述当前节点为最底层节点或者所述当前子任务不可继续拆分包括：根据当前子任务的当前节点所对应的下一级节点的资源剩余情况以及下一级节点与其相邻节点之间的通信情况进行性能排序，获取下一级的第二预设个数的性能最优节点；使用每一个下一级性能最优节点一一处理对应的下一级子任务，直至所述当前节点为最底层节点或者所述当前子任务不可继续拆分。6.一种任务处理终端，包括存储器、处理器以及存储在所述存储器上并可在...

【专利技术属性】
技术研发人员：刘德建，林伟，陈宏，
申请(专利权)人：福建天泉教育科技有限公司，
类型：发明
国别省市：