集群资源控制方法、装置及存储介质制造方法及图纸

本公开实施例提供一种集群资源控制方法、装置及非瞬态计算机可读存储介质，降低管理成本。所述方法包括：预先配置用户槽位队列个数和默认的资源配比，并在队列关系库中记录，所述默认的资源配比表示为用户分配的默认的槽位队列的资源占比；当集群中添加新用户时，为所述新用户分配用户槽位队列，并在队列关系库中记录所述新用户与被分配的用户槽位队列的对应关系；或者，当需要调节用户资源时，调整为所述用户分配的用户槽位队列的资源放大倍数，并在所述队列关系库中记录调整后的资源放大倍数。采用本公开实施例方法无需重启资源管理平台，减少业务风险。减少业务风险。减少业务风险。

【技术实现步骤摘要】
集群资源控制方法、装置及存储介质


[0001]本公开实施例涉及大数据
，具体涉及一种集群资源控制方法、装置及非瞬态计算机可读存储介质。

技术介绍

[0002]Hadoop是一个由Apache基金会所开发的分布式系统基础架构，用户可通过Hadoop搭建自己的数据仓库，以管理企业的网络数据。
[0003]Yarn(Yet Another Resource Negotiator，另一种资源协调者)是一种Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
[0004]通常情况下，大数据集群多租户资源控制，在新增租户的情况下，需要重新分配已经存在的租户资源配额比例以达到整体的正确性，然后重启数据集群任务调度，才能使之生效，这在实际生产过程中会干扰正常的任务计划安排，如果按照该种方式进行协调成本巨大，业务风险也是巨大的造成巨大的影响。

技术实现思路

[0005]本公开实施例提供一种集群资源控制方法、装置及计算机可读存储介质，无需重启资源管理平台，降低管理成本，减少业务风险。
[0006]一方面，本公开实施例提供了一种集群资源控制方法，包括：
[0007]预先配置用户槽位队列个数和默认的资源配比，所述默认的资源配比表示为用户分配的默认的槽位队列的资源占比；
[0008]当集群中添加新用户时，为所述新用户分配用户槽位队列，并在队列关系库中记录所述新用户与被分配的用户槽位队列的对应关系；或者，当需要调节用户资源时，调整为所述用户分配的用户槽位队列的资源放大倍数，并在所述队列关系库中记录调整后的资源放大倍数。
[0009]另一方面，本公开实施例还提供了一种集群资源控制装置，包括处理器以及存储有可在处理器上运行的计算机程序的存储器，其中，所述处理器执行所述程序时实现上述集群资源控制方法的步骤。
[0010]再一方面，本公开实施例还提供了一种非瞬态计算机可读存储介质，存储有可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时用于实现上述集群资源控制方法。
[0011]本公开实施例设计了一种大数据集群多用户资源池资源配额控制方法，在集群建设的时候就建立起一系列的槽位队列，当新的用户需要添加的时候，只需要添加租户与槽位队列的对应关系，从而达到不需要重启数据集群的任务调度就可以达到给新用户分配资源队列的目的，由于各个用户所申请的队列资源配备不尽相同，通过调节租户对应槽位队列的资源放大倍率参数，可以实现不同用户的资源配备的不同，并且无需调整已有用户队
列配置，降低管理成本，减小业务风险。
[0012]当然，实施本公开的任一产品或方法并不一定需要同时达到以上所述的所有优点。本公开的其它特征和优点将在随后的说明书实施例中阐述，并且，部分地从说明书实施例中变得显而易见，或者通过实施本公开而了解。本公开实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
[0013]附图用来提供对本公开技术方案的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开的技术方案，并不构成对本公开技术方案的限制。附图中各部件的形状和大小不反映真实比例，目的只是示意说明本公开内容。
[0014]图1为本公开实施例集群资源控制方法流程图；
[0015]图2为本公开实施例集群槽位队列配置过程流程图；
[0016]图3为本公开实施例新增用户队列分配过程流程图；
[0017]图4为本公开实施例一种队列关系库与槽位队列和用户的关系示意图；
[0018]图5为本公开实施例用户队列配额调节过程流程图；
[0019]图6为本公开实施例另一种队列关系库与槽位队列和用户的关系示意图；
[0020]图7为本公开实施例离场用户队列回收过程流程图；
[0021]图8为本公开实施例集群资源控制装置的结构示意图。
具体实施方式
[0022]本公开描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本公开所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
[0023]本公开包括并设想了与本领域普通技术人员已知的特征和元件的组合。本公开已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的专利技术方案。任何实施例的任何特征或元件也可以与来自其它专利技术方案的特征或元件组合，以形成另一个由权利要求限定的独特的专利技术方案。因此，应当理解，在本公开中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
[0024]此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本公开实施例的精神和范围内。
[0025]除非另外定义，本公开使用的技术术语或科学术语为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。本公开中，“多个”可以表示两个或两个以上的数目。“包括”或者“包含”等类似的词语意指出现该词前面的元件或物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
[0026]为了保持本公开实施例的以下说明清楚且简明，本公开省略了部分已知功能和已知部件的详细说明。本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。
[0027]本公开实施例提供了一种集群资源控制方法，如图1所示，包括以下步骤：
[0028]步骤10，预先配置用户槽位队列个数和默认的资源配比，并在队列关系库中记录，所述默认的资源配比表示为用户分配的默认的槽位队列的资源占比；
[0029]本实施例所述槽位队列是一种预制好的资源队列，即预先分配好的队列。可选地，用户槽位队列数为系统支持的最大槽位队列数。
[0030]默认的资源配比表示为用户分配的默认的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种集群资源控制方法，其特征在于，包括：预先配置用户槽位队列个数和默认的资源配比，并在队列关系库中记录，所述默认的资源配比表示为用户分配的默认的槽位队列的资源占比；当集群中添加新用户时，为所述新用户分配用户槽位队列，并在队列关系库中记录所述新用户与被分配的用户槽位队列的对应关系；或者，当需要调节用户资源时，调整为所述用户分配的用户槽位队列的资源放大倍数，并在所述队列关系库中记录调整后的资源放大倍数。2.根据权利要求1所述的方法，其特征在于，还包括：预先配置默认槽位队列个数。3.根据权利要求2所述的方法，其特征在于，所述预先配置默认槽位队列个数，包括：根据所述默认的资源配比和所述用户槽位队列个数确定用户槽位队列所占用的资源，将剩余资源作为所述默认槽位队列，所述用户槽位队列与所述默认槽位队列的资源占比之和为100％。4.根据权利要求1或3所述的方法，其特征在于，所述当集群中添加新用户时，为所述新用户分配用户槽位队列，并在队列关系库中记录所述新用户与被分配的用户槽位队列的对应关系，包括：按照默认的资源配比为所述新用户分配用户槽位队列，并在队列关系库中记录所述新用户与被分配的用户槽位队列的对应关系；或者按照默认的资源配比为所述新用户分配用户槽位队列，修改所述用户槽位队列的资源放大倍数，并在所述队列关系库中记录所述新用户与被分配的用户槽位队列的对应关系，以及修改后的资源放大倍数。5.根据权利要求4所述的方法，其特...

【专利技术属性】
技术研发人员：樊林，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：