基于多边缘集群协同的并发任务调度方法及装置制造方法及图纸

本发明专利技术公开了基于多边缘集群协同的并发任务调度方法及装置。所述方法包括：在一个分布式执行作业发布时，基于主对偶方法为该作业在各边缘集群AP的数据上传请求安排传输顺序，各边缘AP按照定序后的作业顺序传输数据；当某一个任务的数据传输完成后，基于作业完成时延之和增值最小原则为该任务选择卸载的服务器节点，将该任务卸载到所选的服务器节点；于服务器节点上执行计算任务调度策略，依次运行卸载至其上的任务。本发明专利技术的方法能够有效缩短平均作业完成时间，优于现阶段任一跨域作业调度方法。

【技术实现步骤摘要】
基于多边缘集群协同的并发任务调度方法及装置
本专利技术属于边缘计算
，具体涉及一种基于多边缘集群协同的并发任务调度方法及装置。
技术介绍
随着数据泛在化，跨域大数据分析成为日常需求。由于原始数据存在海量、冗余、低质等特性，计算任务通常分布式地在靠近原始数据的边缘集群中执行，数据上传依赖带宽相对充足的边缘网络，昂贵的核心网络仅用于汇聚结果。原始数据不适合先汇聚再处理的集中式执行方式的原因在于：一方面，大量原始数据会增加广域网络传输压力，导致网络性能下降；另一方面，大量原始数据的汇聚需要时间，无法应对对网络稳定性和时延敏感的应用的数据分析请求。以自动驾驶为例，车辆在不同场景下行驶时所产生的数据必须是实时进行处理的，稍微的响应延迟都可能造成事故。更严苛地，由于规则限制，某些敏感数据不允许随意移动(例如，某些数据必须保存在特定的国家/地区内)。再者，像公共安防、定制化医疗保健以及无人零售等领域的相关业务，尤其重视用户的隐私保护和数据安全，应避免这类业务所需处理的数据随意在广域网络传输，以降低产生数据风险的可能性。因此，大数据分析作业在初始阶段采用分布式执行方式，即在近原始数据的各边缘集群并发执行处理任务，于边缘网络(或本地网络)完成终端设备的数据上传，仅依赖广域网络汇聚结果。分布式执行的优势是显而易见的。近期研究成果表明，分布式执行下，90％的作业时间缩短至1/3，广域网络带宽使用量减少250倍；再则，像查询这类对响应时延较苛刻的作业，实现提速3-19倍，同时广域网络传输成本降低15-64％。然而大量原始数据的上传和处理同样会带给边缘网络过大的压力，其带宽约束和计算力限制易造成多作业间的无序竞争，导致系统整体性能下降。虽然相对于广域网络，边缘网络的带宽资源相对丰富，但仍然存在约束。图1描述了一个边缘网络环境，其由一个终端接入点(AccessPoint，AP,可以是无线接入点或小型蜂窝基站)和若干边缘计算节点组成，接入网区域内的终端通过AP将待处理的数据上传到边缘集群中。显而易见，AP的上传链路带宽是该边缘网络的传输瓶颈。多个作业的处理任务在边缘等待卸载和调度。这里面主要包含两个基本问题，一是由于存在带宽约束，需要为任务安排数据开始上传的时间，二是为任务规划在边缘集群中卸载位置与调度时机以执行计算。同时，分布式执行方式耦合了多个边缘网络中的数据上传和计算卸载操作，使得问题进一步复杂。在分布式执行中，首阶段完成时间取决于其在各边缘中最后完成的子任务。然而，作业在各边缘的工作量存在偏差，即其在不同边缘所需的数据上传和处理时间是不同的。该偏差是普遍存在的，由于各边缘地域分布较广，不同地点不同场所用户密度不均，数据处理需求自然存在差异。偏差同样存在于边缘的服务能力上，即各边缘的节点规模和性能异构。因此在单一边缘尽快完成任务并不一定能缩短首阶段完成时间。甚至为某些子任务提供服务(包括上传和计算)是“浪费”资源的，因为这些子任务在其他边缘的兄弟任务正由于上述偏差造成的执行不平衡而被延迟着，这时如果优先将资源给其他任务，例如能够主导其所属阶段的完成时间的任务，可能整体上会有更好的平均首阶段完成时间。经典的多机器调度问题和CurrentOpenShop问题皆处理单集群中发布后即可执行的作业(数据已缓存于集群内部)，但在边缘环境中，由于存储局限，作业发布后还需等待终端设备将待处理数据上传至边缘集群，存在带宽约束时，即复合为网络和计算资源联合调度问题。而现阶段边缘计算的理论研究工作主要关注独立任务的卸载，处理独立任务间对接入网络以及边缘计算资源的共享和竞争。根据当前署名的专利技术人的研究工作发现，对于包含多个并发任务的复杂作业，任务级别的时延优化工作在面向低时延作业需求的场景中是次优的。再者，对于跨域低时延大数据分析集中在减少分析作业连续阶段之间的广域网数据传输延迟上，并未对多个跨多数据中心执行作业间的调度顺序有所安排。但是，实现对子任务跨多数据中心执行作业的调度需要考虑若干实际问题，如各数据中心的节点数、各节点的配置及计算性能。在各边缘集群规模及计算节点配置异构的情况下，计算任务在不同边缘服务器的处理时间皆是独立且不同的，导致调度与卸载耦合，即任务卸载到不同节点上所面临的竞争和不平衡状况是不同的。当前的研究成果中还没有见到有效的解决方法。
技术实现思路
为了解决现有技术中提到的问题，本专利技术的目的是提出一种基于多边缘集群协同的并发任务调度方法，旨在为多个跨多边缘并发执行作业协调数据上传和处理顺序，减少平均作业完成时延。为了达到上述专利技术目的，本专利技术采用如下技术方案：第一方面，提出一种基于多边缘集群协同的并发任务调度方法，所述方法包括以下步骤：在一个分布式执行作业发布时，基于主对偶方法为该作业在各边缘集群AP的数据上传请求安排传输顺序，各边缘AP按照定序后的作业顺序传输数据；当某一个任务的数据传输完成后，基于作业完成时延之和增值最小原则为该任务选择卸载的服务器节点，将该任务卸载到所选的服务器节点；服务器节点执行计算任务调度策略，依次运行卸载至该服务器节点上的任务。进一步地，所述基于主对偶方法为该作业在各边缘集群AP的数据上传请求安排传输顺序包括：(1)找到上传数据量最大的边缘集群AP，作为瓶颈AP；(2)选择瓶颈AP所有上传请求中加权后未上传数据量最多的作业k，并将该作业置于当前无序作业的最后；(3)缩放无序作业j的权重式中wj和wk分别为作业j和k的权重，为作业j在瓶颈AP未上传完的数据量，为作业k在瓶颈AP未上传完的数据量；(4)重复上述步骤，为所有作业定序。进一步地，所述基于作业完成时延之和增值最小原则为该任务选择卸载的服务器节点，将该任务卸载到所选的服务器节点包括：(a)计算任务卸载到一个节点s上时造成的整体作业完成时间之和的增加量；(b)选择增加量最小的节点，卸载该任务；(c)更新受步骤(b)中卸载决策影响的任务所属作业的完成时间预估值。进一步地，所述步骤(a)包括：计算t时刻由于节点s上存在比任务优先级更高的任务所造成的任务的等待时间增加；计算任务本身的处理时间；计算t时刻节点s上存在的比任务优先级低的任务由于任务的执行而额外增加的等待时间；将上述三项计算值相加得到整体作业完成时间增加量。进一步地，所述计算任务调度策略包括：计算每个任务所属作业的剩余执行时间；选择所属作业的剩余执行时间最小的任务优先调度。第二方面，提供一种基于多边缘集群协同的并发任务调度装置，包括：用于在一个分布式执行作业发布时，基于主对偶方法为该作业在各边缘集群AP的数据上传请求安排传输顺序的作业定序模块；用于在某一个任务的数据传输完成后，基于作业完成时延之和增值最小原则为该任务选择卸载的服务器节点的卸载节点选择模块；以及用于在服务器节点上执行计算任务调度策略的任务调度模块。进一步地，所述作业定序模块包括：瓶颈AP获取单元，用于查找上传数据本文档来自技高网...

【技术保护点】
1.一种基于多边缘集群协同的并发任务调度方法，其特征在于，所述方法包括以下步骤：/n在一个分布式执行作业发布时，基于主对偶方法为该作业在各边缘集群AP的数据上传请求安排传输顺序，各边缘AP按照定序后的作业顺序传输数据；/n当某一个任务的数据传输完成后，基于作业完成时延之和增值最小原则为该任务选择卸载的服务器节点，将该任务卸载到所选的服务器节点；/n服务器节点执行计算任务调度策略，依次运行卸载至该服务器节点上的任务。/n

【技术特征摘要】
1.一种基于多边缘集群协同的并发任务调度方法，其特征在于，所述方法包括以下步骤：
在一个分布式执行作业发布时，基于主对偶方法为该作业在各边缘集群AP的数据上传请求安排传输顺序，各边缘AP按照定序后的作业顺序传输数据；
当某一个任务的数据传输完成后，基于作业完成时延之和增值最小原则为该任务选择卸载的服务器节点，将该任务卸载到所选的服务器节点；
服务器节点执行计算任务调度策略，依次运行卸载至该服务器节点上的任务。


2.根据权利要求1所述的基于多边缘集群协同的并发任务调度方法，其特征在于，所述基于主对偶方法为该作业在各边缘集群AP的数据上传请求安排传输顺序包括：
(1)找到上传数据量最大的边缘集群AP，作为瓶颈AP；
(2)选择瓶颈AP上传请求中加权后未上传数据量最多的作业k，并将该作业置于当前无序作业的最后；
(3)缩放无序作业j的权重式中wj和wk分别为作业j和k的权重，为作业j在瓶颈AP未上传完的数据量，为作业k在瓶颈AP未上传完的数据量；
(4)重复上述步骤，为所有作业定序。


3.根据权利要求1所述的基于多边缘集群协同的并发任务调度方法，其特征在于，所述基于作业完成时延之和增值最小原则为该任务选择卸载的服务器节点，将该任务卸载到所选的服务器节点包括：
(a)计算任务卸载到一个节点s上时造成的整体作业完成时间之和的增加量；
(b)选择增加量最小的节点，卸载该任务；
(c)更新受步骤(b)中卸载决策影响的任务所属作业的完成时间预估值。


4.根据权利要求3所述的基于多边缘集群协同的并发任务调度方法，其特征在于，所述步骤(a)包括：
计算t时刻由于节点s上存在比任务优先级更高的任务所造成的任务的等待时间增加；
计算任务本身的处理时间；
计算t时刻节点s上存在的比任务优先级低的任务由于任务的执行而额外增加的等待时间；
将上述三项计算值相加得到整体作业完成时间增加量。


5.根据权利要求1所述的基于多边缘集群协同的并发任务调度方法，其特征在于，所述计算任务调度策略包括：
计算每个任务所属作业的剩余执行时间；
选择所属作业的剩余执行时间最小的任务优先调度。...

【专利技术属性】
技术研发人员：宋浒，夏飞，王鹏飞，张明明，王甜甜，钱柱中，
申请(专利权)人：国网江苏省电力有限公司信息通信分公司，南京大学，
类型：发明
国别省市：江苏;32