一种带安全约束的成批作业-资源匹配方法及系统技术方案

本发明专利技术公开了一种带安全约束的成批作业‑资源匹配方法及系统，采用了基于安全约束和负载平衡的成批作业与资源匹配方法，该成批作业‑资源匹配方法的具体步骤包括：步骤A，预处理阶段对安全性进行配置；步骤B，将成批作业集映射到满足安全和负载平衡约束的合适资源上，将各节点上的作业进行排序并依次执行；步骤C，动态地反复检测宕机故障，对故障机器上的作业按照安全和负载平衡约束进行重分配。本发明专利技术方法尤其适用于数据安全性较高的成批作业调度应用，例如基于MapReduce的警务数据作业调度、交通监控作业调度等。本发明专利技术在获得较短的批处理作业完工时间的基础上，可保证数据的安全访问。

【技术实现步骤摘要】

本专利技术涉及一种带安全约束的成批作业-资源匹配方法及系统，尤其适用于数据安全性较高的成批作业调度应用，例如基于MapReduce的警务数据作业调度、交通监控作业调度等，属于分布式并行计算领域。
技术介绍
作为Hadoop的核心组件之一的MapReduce框架被广泛应用。MapReduce在数据处理时，将大的任务分成一个个小的计算作业，该类作业为典型的成批作业，包括Map作业和Reduce作业。在一批任务到达时，MapReduce将其分成非常多的Map和Reduce作业，此时不同的作业调度策略有不同的效果，成批作业调度策略对集群的资源利用率和系统的执行效率有很大影响。现有的Hadoop调度器主要有：(1)先来先服务调度器：Hadoop的默认调度器，按照作业的到达顺序安排执行次序；(2)公平调度器：配置作业的资源占用量，使得每个任务的资源占用量保持平衡；(3)延迟调度：当前空闲的机器上没有当前作业所需的数据时，该作业延迟一段时间，当存有数据的机器空闲时执行该延迟作业。研究者们提出了一些关于成批作业调度的方法，比如采取预取策略以缩短数据准备时间[电子科技大学.一种基于MapReduce的数据预取方法：中国,201510299063.6[P].2015-09-23]，不同的方法适用于不同的作业调度应用，比如上述策略在重视作业截止期约束的作业调度应用中有较好的优化效果。实际应用中许多作业调度应用具有安全性约束，比如警务数据作业调度，交通监控作业调度等，数据的安全性要求较高，数据的转移和复制受到一些限制，往往需要经过加密才能够被转移或复制。对于这类应用，现有的作业调度策略没有涉及安全性约束的方法。综上所述，现有的作业调度方法不能很好的适应实际应用中具有安全约束的批处理成批作业调度问题。
技术实现思路
专利技术目的：针对现有技术中存在的问题，考虑到数据所具有的特殊安全性约束，本专利技术提供一种带安全约束的成批作业-资源匹配方法及系统，满足实际应用的需求，在获得较短的批处理作业完工时间的基础上，保证数据的安全访问。技术方案：一种带安全约束的成批作业-资源匹配方法，包括以下步骤：步骤A、服务器端控制节点对安全性进行配置；数据节点的当前安全设置情况，为数据节点设置安全等级；根据数据源对安全性的要求，为数据源设置安全要求等级；根据作业请求者权限，设置作业权限等级；步骤B、服务器端控制节点采用基于安全约束和负载平衡的作业与数据节点映射方法，将Map作业映射到满足安全和负载平衡约束的数据节点上，将各节点上的作业按优先级进行排序并依次执行；所示安全约束包含2点：(1)作业只能在其有权限执行的数据节点上执行；(2)安全要求高的数据源必须以加密状态存储在安全等级低的数据节点上。所示负载平衡指的是控制节点根据数据节点计算能力，设置每个数据节点上可以映射的作业数量上限。步骤C、服务器端宕机监测节点周期性检测数据节点当前状态，实时将故障数据节点ID反馈给服务器端控制节点；步骤D、服务器端控制节点收到故障数据节点ID，对当前映射到该节点上未完成的作业按照安全约束和负载平衡的作业与数据节点映射方法，将作业重新映射至未宕机数据节点。采用基于安全约束和负载平衡的作业与数据节点映射方法，计算出若干映射方案，选择代价最低方案进行执行；方案代价＝设置的每次数据源复制代价*数据源复制次数+设置的每次加密代价*加密次数。Map作业映射到数据节点上时，很可能该数据节点上没有作业计算所需数据源，需要先将数据源复制过来。复制的过程需要满足安全约束，即安全要求高的数据源必须以加密状态存储在安全等级低的数据节点上。控制节点在将作业映射至数据节点上时，除了满足安全约束与负载平衡外，应该尽可能少的发生复制与加密。一种带安全约束的成批作业-资源匹配系统包括控制节点、数据节点和宕机检测节点。控制节点：接收来自用户的作业并且接收来自宕机检测节点的安全约束和宕机信息；控制节点收到宕机信息后，根据故障数据节点ID，对当前映射到该节点上的作业按照安全约束和负载平衡的作业与数据节点映射方法，将作业重新映射至未宕机数据节点；控制节点收到安全约束信息后，匹配能接受任务的子节点。控制节点对安全性进行配置：数据节点的当前安全设置情况，为数据节点设置安全等级；根据数据源对安全性的要求，为数据源设置安全要求等级；根据作业请求者权限，设置作业权限等级；采用基于安全约束和负载平衡的作业与数据节点映射方法，将作业映射到满足安全和负载平衡约束的数据节点上，进行基于安全约束和负载平衡的作业调度/重调度工作。数据节点：向控制节点提供各节点的安全等级信息，接收控制节点分配的作业后负责对各自等待队列中的作业进行优先级排序并执行，根据作业分配情况进行必要的数据源复制操作和加密操作，即作业映射到数据节点上时，如果该数据节点上没有作业计算所需数据源，需要先将数据源复制过来；安全要求高的数据源存储在安全等级低的数据节点上必须加密；在作业执行的过程中采集各自的节点负载信息提交给控制节点；宕机检测节点：进行周期性的数据节点宕机故障检测，将宕机数据节点ID反馈给控制节点。本专利技术采用上述技术方案，具有以下有益效果：本专利技术提供的带安全约束的成批作业-资源匹配方法及系统，在成批作业调度过程中考虑安全性约束的实际情况，策略简单直接，对于涉及安全性的作业调度应用具有很好的实用性。附图说明图1为本专利技术系统优选实施例的架构示意图；图2是本专利技术方法优选实施例在控制节点上的步骤流程图；图3图2是本专利技术方法优选实施例在数据节点上的步骤流程图。具体实施方式下面结合具体实施例，进一步阐明本专利技术，应理解这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围，在阅读了本专利技术之后，本领域技术人员对本专利技术的各种等价形式的修改均落于本申请所附权利要求所限定的范围。传统的MapReduce系统包括控制节点和数据节点，如图1所示，本专利技术提供的带安全约束的成批作业-资源匹配方法实现系统增设了宕机检测节点。带安全约束的成批作业-资源匹配系统包括控制节点、数据节点和宕机检测节点。控制节点：控制节点：接收来自用户的作业并且接收来自宕机检测节点的安全约束和宕机信息；控制节点收到宕机信息后，根据故障数据节点ID，对当前映射到该节点上的作业按照安全约束和负载平衡的作业与数据节点映射方法，将作业重新映射至未宕机数据节点；控制节点收到安全约束信息后，匹配能接受任务的子节点；控制节点对安全性进行配置：数据节点的当前安全设置情况，为数据节点设置安全等级；根据数据源对安全性的要求，为数据源设置安全要求等级；根据作业请求者权限，设置作业权限等级；采用基于安全约束和负载平衡的作业与数据节点映射方法，将作业映射到满足安全和负载平衡约束的数据节点上，进行基于安全约束和负载平衡的作业调度/重调度工作。数据节点：向控制节点提供各节点的安全等级信息，接收控制节点分配的作业后负责对各自等待队列中的作业进行优先级排序并执行，根据作业分配情况进行必要的数据源复制操作和加密操作，即作业映射到数据节点上时，如果该数据节点上没有作业计算所需数据源，需要先将数据源复制过来；安全要求高的数据源存储在安全等级低的数据节点上必须加密；在作业执行的过程中采集各自的节点负载信息提交给控制节点；宕机检测节点：进行周期性的数本文档来自技高网...

【技术保护点】
一种带安全约束的成批作业‑资源匹配方法，其特征在于，包括以下步骤：步骤A、服务器端控制节点对安全性进行配置；步骤B、服务器端控制节点采用基于安全约束和负载平衡的作业与数据节点映射方法，将Map作业映射到满足安全和负载平衡约束的数据节点上，将各节点上的作业按优先级进行排序并依次执行；步骤C、服务器端宕机监测节点周期性检测数据节点当前状态，实时将故障数据节点ID反馈给服务器端控制节点；步骤D、服务器端控制节点收到故障数据节点ID，对当前映射到该节点上未完成的作业按照安全约束和负载平衡的作业与数据节点映射方法，将作业重新映射至未宕机数据节点。

【技术特征摘要】
1.一种带安全约束的成批作业-资源匹配方法，其特征在于，包括以下步骤：步骤A、服务器端控制节点对安全性进行配置；步骤B、服务器端控制节点采用基于安全约束和负载平衡的作业与数据节点映射方法，将Map作业映射到满足安全和负载平衡约束的数据节点上，将各节点上的作业按优先级进行排序并依次执行；步骤C、服务器端宕机监测节点周期性检测数据节点当前状态，实时将故障数据节点ID反馈给服务器端控制节点；步骤D、服务器端控制节点收到故障数据节点ID，对当前映射到该节点上未完成的作业按照安全约束和负载平衡的作业与数据节点映射方法，将作业重新映射至未宕机数据节点。2.如权利要求1所述的带安全约束的成批作业-资源匹配方法，其特征在于，服务器端控制节点对安全性进行配置包括：数据节点的当前安全设置情况，为数据节点设置安全等级；根据数据源对安全性的要求，为数据源设置安全要求等级；根据作业请求者权限，设置作业权限等级。3.如权利要求1所述的带安全约束的成批作业-资源匹配方法，其特征在于，所示安全约束包含2点：（1）作业只能在其有权限执行的数据节点上执行；（2）安全要求高的数据源必须以加密状态存储在安全等级低的数据节点上。4.如权利要求1所述的带安全约束的成批作业-资源匹配方法，其特征在于，所示负载平衡指的是控制节点根据数据节点计算能力，设置每个数据节点上可以映射的作业数量上限，每个数据节点上映射的作业数量不能超过指定阈值。5.如权利要求1所述的带安全约束的成批作业-资源匹配方法，其特征在于，采用基于安全约束和负载平衡的作业与数据节点映射方法，计算出若干映射方案，选择代价最低方案进行执行。6.如权利要求1所述的带安全约束的成批作业-资源匹配方法，其特征在于，Map作业映射到数据节点上时，如果该数据节点上没有作业计算所需数据源，需要先将数据源复制过来；复制的过程需要满足安全约束。7.如权利要求1所述的带安全约束的成批作业-资源匹配方法，其特征在于，对安全...

【专利技术属性】
技术研发人员：李逸博，
申请(专利权)人：李逸博，
类型：发明
国别省市：江苏;32