一种多集群管理方法与设备技术

本申请的目的是提供一种多集群管理方法与设备；获取多个集群的历史运行数据；基于所述历史运行数据确定所述多个集群的未来需求信息；基于所述未来需求信息确定所述多个集群的集群配置信息。与现有技术相比，本申请通过对获取的多个集群的历史运行数据进行处理和分析获得多个集群的未来需求信息，基于所述未来需求信息确定多个集群的集群配置信息。基于所述的集群配置信息，本申请可以在跨地域的多集群、大规模的数据处理环境中，实现多集群资源的合理分布和配置，达到全局资源的平衡优化，还可以在集群间资源条件允许的情况下，最大限度地高效实现跨集群的数据访问。

【技术实现步骤摘要】

本申请涉及计算机领域，尤其涉及一种多集群管理技术。
技术介绍
在现有技术中，对于集群资源的管理，一方面，仅仅局限于对单个集群内部的资源进行相应的资源调度和资源配额，但对于多集群环境中业务单元之间基于资源依赖进行频繁地资源调度而带来的资源平衡问题并没有很好解决；另一方面，虽然可以通过集群协作的方式进行了跨集群数据访问对象的复制，但是此类方法仅仅在业务需要访问数据时，才进行集群间数据选择和协作复制，由于缺乏对多集群中相关历史任务的数据分析和预测，往往无法满足日常生产性任务在运行时间上的要求，并且此类方法也没有解决多集群间资源整体分布和使用对应的资源平衡问题。
技术实现思路
本申请的目的是提供一种多集群管理方法与设备。根据本申请的一个方面，提供了一种多集群管理方法，包括：获取多个集群的历史运行数据；基于所述历史运行数据确定所述多个集群的未来需求信息；基于所述未来需求信息确定所述多个集群的集群配置信息。根据本申请的另一方面，还提供了一种多集群管理设备，包括：第一装置，用于获取多个集群的历史运行数据；第二装置，用于基于所述历史运行数据确定所述多个集群的未来需求信息；第三装置，用于基于所述未来需求信息确定所述多个集群的集群配置信息。与现有技术相比，本申请通过对获取的多个集群的历史运行数据进行处理和分析获得多个集群的未来需求信息，基于所述未来需求信息确定多个集群的集群配置信息。基于所述的集群配置信息，本申请可以在跨地域的多集群、大规模的数据处理环境中，实现多集群资源的合理分布和配置，达到全局资源的平衡优化，还可以在集群间资源条件允许的情况下，最大限度地高效实现跨集群的数据访问。进一步，在多集群环境中，通过确定所述多个集群中待调整业务单元，并进行相应的调整，使得在满足单个集群内部的资源配额的同时，降低集群间的数据访问量，从而在整体上节约了集群资源，形成了资源均衡的集群布局。更进一步，基于所获得的多个集群中的业务分布信息，再为跨集群数据访问进行数据复制配置，从而在集群内部和集群间资源条件允许的情况下，可以高效地实现跨集群数据访问。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1示出根据本申请一个方面的一种多集群管理设备的设备示意图；图2示出根据本申请一个优选实施例的多集群管理设备的设备示意图；图3示出根据本申请另一个优选实施例的多集群管理设备的设备示意图；图4示出根据本申请另一个方面的一种多集群管理方法的流程图；图5示出根据本申请一个优选实施例的一种多集群管理方法的流程图；图6示出根据本申请另一个优选实施例的一种多集群管理方法的流程图。附图中相同或相似的附图标记代表相同或相似的部件。具体实施方式下面结合附图对本申请作进一步详细描述。在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。图1示出根据本申请一个方面的一种多集群管理设备的设备示意图。所述多集群管理设备1包括第一装置11、第二装置12和第三装置13。其中，第一装置11获取多个集群的历史运行数据；第二装置12基于所述历史运行数据确定所述多个集群的未来需求信息；第三装置13基于所述未来需求信息确定所述多个集群的集群配置信息。具体地，所述第一装置11获取多个集群的历史运行数据。一般情况下，一个相对独立的业务对应的数据处理可以由一个业务单元独立完成；或是进一步，一个完整业务的处理需要基于一个集群中各个业务单元之间的数据依赖关系，通过集群内多个业务单元之间的数据共享和数据交换来完成，此时数据处理任务消耗着集群的数据资源，如集群的存储、计算等资源；或是更进一步，在跨地域的多集群环境中，进行更复杂的业务处理，此时集群之间的网络连通还会消耗集群间的的网络带宽等资源。在此，所
述历史运行数据包括一段时间内，在所述多个集群中完成各种数据处理任务对应的运行数据。在此，进行所述数据处理任务的数据单位可以包括集群、业务单元、数据项、数据项分区等不同维度。在本申请中，所述数据项包括一个数据的存储集合，如数据库中的表；所述数据项分区包括将所述数据项按一定的规则进行划分，目的是为了方便对数据进行分片处理，从而降低数据处理量；在所述业务单元中，各种数据按照一定的范式进行分层，各个业务单元之间可以基于具体的层级中的数据项展开数据访问。与此相应的，所述历史运行数据包括但不限于：业务单元、数据项、数据项分区的元数据；业务单元、数据项、数据项分区的存储占用量；数据处理任务的运行日志；集群间网络带宽使用量；集群、业务单元的存储、计算配额数据；集群间可用带宽配额数据，等等。其中，在本申请中，所述元数据包括业务单元、数据项、数据项分区的属性、特征等基本描述性数据；所述数据处理任务的运行日志主要包含的信息有所述数据处理任务对应的业务单元、任务启动结束时间、输入输出的数据项及相应的数据项分区、输入输出的数据量、占用的计算单位等，通过所述运行日志可以获知所述业务单元、数据项、数据项分区的计算占用量；所述各类配额数据，如上述存储、计算、带宽等对应的配额数据，可能在一段时间内保持不变，也可能基于实际需要有所变化调整。对于所述历史运行数据，特别是变化频率较高的数据信息，如所述业务单元、数据项、数据项分区的存储占用量、所述集群间网络带宽使用量和所述数据处理任务的运行日志等可以周期性地进行数据采样。在此，所述多个集群的历史运行数据可以间接的通过第三方存储设备或数据库进行获取。优选地，也可以基于一定的数据处理平台直接进行所述历史运行数据的采集。本申请中，所述数据处理平台包括使用分布式存储和分布式计算等技术，提供大规模数据处理的计算机系统平台。例如，所述数据处理平台中各个模块中包含着运行日志采集功能，并由统一的日志管理系统将日志汇总到一起统一存储；又如，数据处理平台采用定时快照的方式将所述元数据汇总存储。接着，所述第二装置12基于所述历史运行数据确定所述多个集群的
未来需求信息。具体地，基于所获取的已有的历史运行数据，对所述多个集群中各个集群的内部以及集群间的数据处理情况进行分析，可以确定所述多个集群中各个数据本文档来自技高网...

【技术保护点】
一种多集群管理方法，其中，所述方法包括：获取多个集群的历史运行数据；基于所述历史运行数据确定所述多个集群的未来需求信息；基于所述未来需求信息确定所述多个集群的集群配置信息。

【技术特征摘要】
1.一种多集群管理方法，其中，所述方法包括：获取多个集群的历史运行数据；基于所述历史运行数据确定所述多个集群的未来需求信息；基于所述未来需求信息确定所述多个集群的集群配置信息。2.根据权利要求1所述的方法，其中，所述方法还包括：根据所述集群配置信息管理所述多个集群。3.根据权利要求1或2所述的方法，其中，所述集群配置信息包括以下至少任一项：所述多个集群中的业务分布信息；所述多个集群间的数据复制配置信息。4.根据权利要求3所述的方法，其中，所述集群配置信息包括所述多个集群中的业务分布信息；其中，所述方法还包括：基于所述未来需求信息，检测所述多个集群的当前资源分布是否满足所述未来需求信息；其中，所述基于所述未来需求信息确定所述多个集群的集群配置信息包括：若所述当前资源分布未满足所述未来需求信息，基于所述未来需求信息确定所述多个集群中的业务分布信息。5.根据权利要求4所述的方法，其中，所述基于所述未来需求信息确定所述多个集群的集群配置信息包括：若所述当前资源分布未满足所述未来需求信息，确定所述多个集群中待调整业务单元；确定所述待调整业务单元在所述多个集群中的对应目的集群。6.根据权利要求5所述的方法，其中，所述若所述当前资源分布未满足所述未来需求信息，确定所述多个集群中待调整业务单元包括：基于所述多个集群中各个业务单元的未来需求信息，分别计算每个业务单元与其他在相同集群中的各个业务单元之间的第一数据依赖量值之和；确定所述第一数据依赖量值之和最小的业务单元为相应集群中的所述待调整业务单元。7.根据权利要求5或6中所述的方法，其中，所述确定所述待调整业务单元在所述多个集群中的对应目的集群包括：计算所述多个集群中待调整业务单元与每个候选目的集群上的各个业务单元之间的第二数据依赖量值之和，并按照所述第二数据依赖量值之和由大到小的顺序，对若干个候选目的集群进行排序；基于所述排序的顺序，将最先满足所述待调整业务单元的未来需求信息的目的集群作为所述待调整业务单元的对应目的集群。8.根据权利要求4至7中任一项所述的方法，其中，所述基于所述未来需求信息确定所述多个集群的集群配置信息包括：若所述当前资源分布未满足所述未来需求信息，基于所述未来需求信息确定所述多个集群中的业务分布信息，直至所述业务分布信息满足所述未来需求信息。9.根据权利要求1至8中任一项所述的方法，其中，所述基于所述历史运行数据确定所述多个集群的未来需求信息包括：对所述历史运行数据进行数据处理；基于所述数据处理的结果，确定所述多个集群的未来需求信息。10.根据权利要求9所述的方法，其中，所述基于所述数据处理的结果，确定所述多个集群的未来需求信息包括：通过所述数据处理获得所述多个集群对应的资源指标数据；基于所述资源指标数据，通过指标预测确定所述多个集群的未来需求信息。11.根据权利要求3所述的方法，其中，所述集群配置信息包括所述多个集群间的数据复制配置信息；其中，所述基于所述未来需求信息确定所述多个集群的集群配置信息
\t包括：基于所述未来需求信息，确定所述多个集群中集群间数据访问信息；基于所述集群间数据访问信息，确定所述多个集群间的数据复制配置信息。12.根据权利要求11所述的方法，其中，所述集群配置信息还包括所述多个集群中的业务分布信息；其中，所述基于所述未来需求信息，确定所述多个...

【专利技术属性】
技术研发人员：尹小明，徐凯，何乐，罗李，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY