在处理环境中调度作业的方法和系统技术方案

作业被调度，从而资源重用被最大化，以及对可重用资源的解除分配被最小化。提供了多阶段调度能力，其中在第一阶段中，对可重用资源分配权重，以及在第二阶段中，作业被调度。如果可重用资源可用于该作业，则将作业分配给这些资源。否则，实施对下述方案的搜索，所述方案使将被解除分配的可重用资源的权重和数量最小化。

【技术实现步骤摘要】

本专利技术一般涉及在处理环境中调度作业，并具体而言，涉及调度作业 从而对可重用资源的使用被最大化，同时对可重用资源的解除分配被最小 化。
技术介绍
处理环境具有有限数量的资源，所述资源在调度将在处理环境中执行 的作业时使用。在某些环境中，存在关联于分配和解除分配由作业使用的 资源的大量成本，同时存在关联于重用这些资源而不用解除分配/重新分配资源的相对较小的成本。这种环境的一个示例是由纽约Armonk的国际商 业才几器/>司提供的Blue Gene系统。在Blue Gene系统中，作业被调度以在被称为块的实体上执行。分配 块的操作包括物理上引导关联于该块的底层Blue Gene硬件。这是可花 费数分钟来完成的昂贵的操作。类似地，解除分配块包括关闭相关联的 BIueGene硬件，并且其也是昂贵的。另一方面，与分配/解除分配成本相 比，重用该块相对廉价。不过，不是总能够重用块，因为块不是总匹配所调度的作业的资源需 求。当调度作业时，如果可重用块匹配该作业的资源需求则该作业可以在 可重用块上执行，或者该作业在新块上执行。在某些情形中，没有可用于 分配新块的足够资源。在这些情形中，必须解除分配某些可重用块以便为 将被分配的新块腾出空位。当前，存在用于解除分配资源和用于调度使用这些资源的作业的技术。 不过，这些技术是低效且昂贵的。
技术实现思路
基于前述内容，存在对于下述能力的需要，即，高效地确定哪些资源 将被重用以及哪些将被解除分配以便调度作业。具体地，存在对于下述作 业调度能力的需要，即，最大化对可重用资源的使用，以及最小化对资源 的解除分配。通过提供一种在处理环境中调度作业的计算机实现方法，克服了现有技术的缺陷并提供了额外的优点。所述方法例如包括对多个可重用资源 分配多个权重，其中对可重用资源分配权重基于所选择的标准；确定在调 度所选择作业时可以使用的所述多个可重用资源中的一个或多个可重用资 源是否可用于所选择作业；响应于所述确定指示出所述一个或多个可重用 资源可用于所选择作业，将所选择作业分配给所述一个或多个可重用资源； 以及响应于所述确定指示出不可用性，解除分配所述多个可重用资源中的 至少一个可重用资源，以提供在调度所选择作业时可以使用的一个或多个可重用资源，其中所述解除分配基于对一个或多个已分配权重以及将被解 除分配的可重用资源的数量的最小化中的至少一种的考虑，选择将被解除 分配的至少一个可重用资源。在此还描述并要求保护对应于以上概括的方法的系统和计算机程序产口口o通过本专利技术的技术实现了额外的特征和优点。本专利技术的其它实施例和 方面在此被详细描述，并被认为是所要求保护的专利技术的一部分。附图说明本专利技术的一个或多个方面被具体指出并明确要求保护，作为在本说明 书结束部分的权利要求中的示例。通过以下详细描述并结合附图，本专利技术的前述和其它目的、特征和优点将显而易见，在附图中图1描述了引入和使用本专利技术的一个或多个方面的处理环境的一实施例；图2描述了根据本专利技术一方面的关联于调度作业的逻辑的概述的一个 示例；图3A-3B描述了根据本专利技术一方面的关联于作业调度的一阶段的逻辑 的一实施例，其包括对可重用资源预分配权重；图4A-4B描述了根据本专利技术一方面的关联于调度作业的进一步细节的 一个示例；以及图5描述了引入本专利技术的一个或多个方面的计算机程序产品的一实施例。具体实施方式根据本专利技术的一方面，提供了调度能力，其中对可重用资源的使用被 最大化，以及对资源的解除分配被最小化。使用了多阶段调度能力，其中 在第一阶段中，基于例如可以使用相应资源的作业的优先级对可重用资源 分配权重；以及在第二阶段中，作业被调度。在调度作业时，如果可重用 资源可用于该作业，则将作业分配给这些资源。否则，实施对下述方案的 搜索，所述方案使需要被解除分配的可重用资源的权重和数量最小化。不 符合所选择方案的可重用资源被解除分配，并且将作业分配给所选择方案 的资源。本专利技术的一个或多个方面的调度能力可以使用于许多类型的处理环境 中，所述处理环境包括例如执行需要大量资源(例如处理器)的并行作 业的整体并行系统。这样的系统的 一个示例是由纽约Armonk的国际商业 机器公司提供的Blue Gene系统。此系统的各方面在例如2006年5月11 日发表的题为 Optimizing Layout Of An Application On A Massively Parallel Super Computer的美国专利申请出版物US 2006/0101104中、以 及在题为 An Overview of the Blue Gene/L Super Computer， 0-7695-1524-X/02, 2002， IEEE， pp. 1-22中进行描述，由此通过将二者各 自整体地进行引用而引入此处。参考图1描述了引入和使用本专利技术的一个或多个方面的整体并行处理环境的一实施例的进一步细节。处理环境100例如包括耦合于一个或多 个I/O节点104的服务节点102,所述I/O节点104进一步耦合于多个计 算节点106。服务节点102向I/O和计算节点提供服务，并且在一实施例中，其包 括在计算节点上调度作业时使用的调度器110。具体地，调度器110包括 在调度作业时使用的逻辑。一个或多个I/O节点104用于有助于服务节点和计算节点之间的通信。 在一示例中， 一个或多个I/O节点和计算节点经由例如100 Mbs以太网网 络112耦合于大型网络中。计算节点106用于执行由调度器110所调度的作业。在此示例中，计 算节点是被分配*业的资源。计算节点可以是任何类型的计算或处理节 点，包括LINUX服务器、其它服务器、或者其它类型的计算节点或处理 节点。为了在计算节点上高效地调度作业，根据本专利技术的一方面，调度器110 使用多阶段调度技术。特别地，在第一阶段中，基于例如可以使用资源的 作业的优先级对处理环境的可重用资源分配权重；以及在第二阶段中，作 业被调度。在一实施例中，作业被调度，从而资源重用被最高优先级作业 最大化，以及对可重用资源的解除分配被最小化。参考图2-4描迷了关于 作业调度的进一步细节。在一示例中，这些图的逻辑由调度器执行。首先参考图2，描述了根据本专利技术一方面使用的调度技术的概述。在 一示例中，此调度技术接收将被调度的作业列表作为参数，步骤200。在 一示例中，此作业列表采用优先级顺序，其中最高优先级作业被首先列出。 响应于接收到此作业列表，基于例如可4吏用资源的作业的优先级对环境的 一个或多个可重用资源(例如可重用计算节点)分配权重(例如整数)， 步骤202。这在下文参考图3A-3B更详细描述。此后，从将被调度的作业 列表中选择一个作业，步骤204。在一示例中，选择最高优先级作业，并 且该作业被调度，步骤206，如参考图4A-4B所描述的。进行确定是否存 在将被调度的更多作业，询问208。如果存在将被调度的更多作业，则处 理继续进行步骤204。否则，调度技术完成，步骤210。参考图3A-3B,进一步描述了对可重用资源预分配权重。参考图3A， 首先，权重预分配的试探法接收将被调度的作业列表以及接收可分配给一 个或多个作业的可重用资源列表作为参数，步骤300。接着从可本文档来自技高网...

【技术保护点】
一种用于在处理环境中调度作业的计算机实现方法，所述方法包括：对多个可重用资源分配多个权重，其中对可重用资源分配权重基于所选择的标准；确定在调度所选择作业时可以使用的所述多个可重用资源中的一个或多个可重用资源是否可用于所选择作 业；响应于所述确定指示出所述一个或多个可重用资源可用于所选择作业，将所选择作业分配给所述一个或多个可重用资源；以及响应于所述确定指示出不可用性，解除分配所述多个可重用资源中的至少一个可重用资源，以提供在调度所选择作业时可以使 用的一个或多个可重用资源，其中所述解除分配基于对一个或多个已分配权重以及将被解除分配的可重用资源的数量的最小化中的至少一种的考虑，选择将被解除分配的至少一个可重用资源。

【技术特征摘要】
US 2006-9-29 11/537,4291.一种用于在处理环境中调度作业的计算机实现方法，所述方法包括对多个可重用资源分配多个权重，其中对可重用资源分配权重基于所选择的标准；确定在调度所选择作业时可以使用的所述多个可重用资源中的一个或多个可重用资源是否可用于所选择作业；响应于所述确定指示出所述一个或多个可重用资源可用于所选择作业，将所选择作业分配给所述一个或多个可重用资源；以及响应于所述确定指示出不可用性，解除分配所述多个可重用资源中的至少一个可重用资源，以提供在调度所选择作业时可以使用的一个或多个可重用资源，其中所述解除分配基于对一个或多个已分配权重以及将被解除分配的可重用资源的数量的最小化中的至少一种的考虑，选择将被解除分配的至少一个可重用资源。2. 根据权利要求l所述的计算机实现方法，其中所选择标准包括能够 使用所述可重用资源的零个或多个作业的优先级。3. 根据权利要求2所述的计算机实现方法，其中可以使用将被分配权 重的可重用资源的作业的优先级越高，被分配给该可重用资源的权重就越 高。4. 根据权利要求l所述的计算机实现方法，其中所述解除分配包括选 择将被解除分配的至少一个可重用资源，以最大化资源重用并最小化最高 优先级作业的开始时间。5. 根据权利要求l所述的计算机实现方法，进一步包括响应于所述 确定指示出不可用性找到用于调度所选择作业的一个或多个方案，其中每个方案包括对将 被分配给所选择作业的一个或多个可重用资源的指示；从所述一个或多个方案中选择最佳方案，其中所述最佳方案包括将被 解除分配的至少一个可重用资源；以及 响应于解除分配所述至少一个可重用资源，将所选择作业分配给所选 择方案。6. 根据权利要求5所述的计算机实现方法，进一步包括对于所述一 个或多个方案中的每个方案确定所述方案是否需要对一个或多个可重用资源的解除分配； 响应于所述确定指示出需要解除分配，将权重变量设为需要解除分配的所述方案的一个或多个可重用资源的最大权重；以及响应于所述确定指示出需要解除分配，设置计数变量，以指示出所述方案的多少个可重用资源需要解除分配。7. 根据权利要求6所述的计算机实现方法，其中所述选择最佳方案包 括在选择最佳方案时使用所述权重变量和所述计数变量。8. 根据权利要求6所述的计算机实现方法，其中多个方案被找到，并 且所述选择包括比较所述多个方案中的若干个方案的权重变量和计数变 量，以选择最佳方案。9. 根据权利要求8所述的计算机实现方法，其中所述最佳方案是具有 最小权重变量和最小计数变量中的一个或多个的方案。10. 根据权利要求l所述的计算机实现方法，其中所述分配包括 选择将被调度的作业；确定所选择作业是否可以在可重用资源中开始；响应于所述确定指示出所选择作业可以在可重用资源中开始，递增变 量max,其中max是被预分配使用可重用资源的作业的总数；响应于所述确定指示出所述作业可以在可重用...

【专利技术属性】
技术研发人员：A德鲁彦，RJ科平杰，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：US[美国]