云环境中模型驱动的Hadoop部署方法技术

本发明专利技术公开了一种云环境中模型驱动的Hadoop部署方法，包括：一种云环境中模型驱动的Hadoop部署方法；根据预设转换规则实现所述Hadoop需求模型和所述Hadoop部署模型之间的模型转换；使用同步引擎监测所述Hadoop需求模型和所述Hadoop部署模型中的信息变化情况，并在所述Hadoop需求模型和/或所述Hadoop部署模型中的信息发生变化时进行信息同步。本发明专利技术具有如下优点：能够对云环境中多样化软硬件资源的进行管理与部署。

【技术实现步骤摘要】
云环境中模型驱动的Hadoop部署方法
本专利技术涉及软件工程领域，特别涉及一种云环境中模型驱动的Hadoop部署方法。
技术介绍
当今社会，每天有大量的数据流通量生成，且全球90％的数据是在过去两年内产生的，海量数据处理技术已广泛地应用到社会生产的各个领域，这也意味着大数据时代的真正到来。Hadoop作为一种大数据分布式处理的开源软件框架，它能够以可靠、高效、可扩展的方式处理海量数据。此外，随着Hadoop生态系统的快速发展及其大量子项目开发的相继完工，其已被广泛地应用于各种场景下大数据的处理和存储。如今，Hadoop已经成为大数据处理最重要的软件工具之一。随着Hadoop越来越广泛地部署在云中，管理员需要根据具体需求，以不同的方式对Hadoop进行部署和配置，因此给Hadoop部署带来了两个方面的挑战：(1)硬件资源的多样性：Hadoop集群可能部署在不同类型的基础设施上，包括物理服务器、虚拟机和Docker容器等，这种异构性给集群节点的管理带来了难度和复杂度。(2)软件资源的多样性：Hadoop生态系统包含多种不同类型的计算和存储框架，例如，HDFS、MapReduce、HBase、Yarn、Spark等。不同类型的框架均有特定的部署和配置方法，此外，一些框架间还存在着依赖或约束关系。目前，存在一些管理工具可以帮助用户部署Hadoop集群，例如ClouderaManager和ApacheAmbari。此外，开源容器引擎Docker通过对应用组件的封装、分发、部署、运行等生命周期的管理，达到应用组件级别的“一次封装，随处运行”，降低了Hadoop部署和运维的难度。上述的部署工具与技术虽然对Hadoop集群的部署与管理提供了解决方案，但是研究重点大多在于环境的配置与参数的设置，通常提供的是一种固定的部署模式，没有考虑到云平台的多样化的基础设施以及扩展性问题，不能根据服务类型、节点资源和场景特性来满足用户特定的Hadoop部署需求。
技术实现思路
本专利技术旨在至少解决上述技术问题之一。为此，本专利技术的目的在于提出一种云环境中模型驱动的Hadoop部署方法，能够对云环境中多样化软硬件资源的进行管理与部署。为了实现上述目的，本专利技术的实施例公开了一种云环境中模型驱动的Hadoop部署方法，包括以下步骤：S1：提供Hadoop需求模型和Hadoop部署模型，其中，所述Hadoop需求模型用于用于根据系统需求生成相应的管理视图，所述Hadoop部署模型用于描述所述管理试图的节点配置信息、运行状态和软件进行部署；S2：根据预设转换规则实现所述Hadoop需求模型和所述Hadoop部署模型之间的模型转换，其中，所述预设转换规则包括节点转换模型和集群服务转换模型，所述节点转换模型用于实现所述Hadoop需求模型的节点和所述Hadoop部署模型的节点之间的模型转换，所述集群服务转换模型用于实现所述Hadoop需求模型的集群服务和所述Hadoop部署模型的集群服务之间的模型转换；S3：使用同步引擎监测所述Hadoop需求模型和所述Hadoop部署模型中的信息变化情况，并在所述Hadoop需求模型和/或所述Hadoop部署模型中的信息发生变化时进行信息同步。进一步地，所述Hadoop需求模型包括：集群节点模块，所述集群节点模块设置有基础设施资源，所述基础设施资源包括节点配置列表、节点列表和容器映像列表中对应的资源和属性；集群服务模块，所述集群服务模块设置有服务列表，所述服务列表中包括多种服务和每种服务的属性。进一步地，所述Hadoop部署模型包括：集群节点单元，所述集群节点单元存储有虚拟机配置列表、虚拟机列表和虚拟机映像列表；集群服务单元，所述集群服务单元用于提供集群服务。进一步地，所述节点转换模型通过所述Hadoop需求模型的节点和所述Hadoop部署模型的节点之间的元素映射关系来实现模型转换，所述元素映射关系包括helper标签和mapper标签，所述helper标签用于描述类和类之间元素的映射关系，所述helper标签用于描述类和类之间属性的映射关系。进一步地，所述集群服务转换模型通过约束模型和预设转换算法进行集群服务的自动转换，所述约束模型用于限定多个模型元素之间的关联关系，所述预设转换算法根据所述Hadoop需求模型和所述约束模型生成服务部署方案。进一步地，所述预设部署算法包括以下步骤：根据所述Hadoop需求模型中服务列表下的服务单元，得到需要部署的服务集合；根据约束模型中服务单元之间的依赖关系，对服务集合中的服务进行补充和排序，得到实际需要部署的服务有序集合；根据所述服务有序集合，按照逆序的方式依次读取每一个服务并计算服务的部署方案；根据服务部署单元的节点集合，依次进行服务的部署。进一步地，采用SM@RT工具构造所述Hadoop部署模型。根据本专利技术实施例的云环境中模型驱动的Hadoop部署方法，将运行时体系结构模型引入到Hadoop部署过程中，通过模型提出、模型转换和模型同步三步来实现满足用户特定的Hadoop部署需求。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1是本专利技术实施例的云环境中模型驱动的Hadoop部署方法的流程图；图2是本专利技术一个实施例的Hadoop需求元模型的示意图；图3是本专利技术一个实施例的Hadoop部署元模型的示意图；图4是本专利技术一个实施例的模型元素间映射关系的示意图；图5是本专利技术一个实施例的约束模型元模型的示意图；图6是本专利技术一个实施例的约束模型的示意图；图7是本专利技术一个实施例的Hadoop集群服务部署的操作进行时参数改变说明图；图8是本专利技术一个实施例的Hadoop部署模型与运行系统的双向同步的示意图；图9是本专利技术具体实施例中Hadoop需求模型的示意图；图10是本专利技术具体实施例中Hadoop部署模型的示意图。具体实施方式下面详细描述本专利技术的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。参照下面的描述和附图，将清楚本专利技术的实施例的这些和其他方面。在这些描述和附图中，具体公开了本专利技术的实施例中的一些特定实施方式，来表示实施本专利技术的实施例的原理的一些方式，但是应当理解，本专利技术的实施例的范围不受此限制。相反，本专利技术的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。以下结合附图描述本专利技术。图1是本专利技术实施例的云环境中模型驱动的Hadoop部署方法的示意图。如图1所示，本专利技术实施例的云环境中模型驱动的Hadoop部署方法包括以下步骤：S1：提供Hadoop需求模型和Hadoop部署模型。其中，Hadoop需求模型用于用于根据系统需求生成相应的管理视图，Hadoop部署模型用于描述管理试图的节点配置信息、运行状态和软件进行部署；在本专利技术一个实施例中，Hadoop需求模型包括：集群节点模块，集群节点模块设置有基础设施资源，基础设施资源包括节点配置列表、节点列表和容器映本文档来自技高网...

【技术保护点】
一种云环境中模型驱动的Hadoop部署方法，其特征在于，包括以下步骤：S1：提供Hadoop需求模型和Hadoop部署模型，其中，所述Hadoop需求模型用于用于根据系统需求生成相应的管理视图，所述Hadoop部署模型用于描述所述管理试图的节点配置信息、运行状态和软件进行部署；S2：根据预设转换规则实现所述Hadoop需求模型和所述Hadoop部署模型之间的模型转换，其中，所述预设转换规则包括节点转换模型和集群服务转换模型，所述节点转换模型用于实现所述Hadoop需求模型的节点和所述Hadoop部署模型的节点之间的模型转换，所述集群服务转换模型用于实现所述Hadoop需求模型的集群服务和所述Hadoop部署模型的集群服务之间的模型转换；S3：使用同步引擎监测所述Hadoop需求模型和所述Hadoop部署模型中的信息变化情况，并在所述Hadoop需求模型和/或所述Hadoop部署模型中的信息发生变化时进行信息同步。

【技术特征摘要】
1.一种云环境中模型驱动的Hadoop部署方法，其特征在于，包括以下步骤：S1：提供Hadoop需求模型和Hadoop部署模型，其中，所述Hadoop需求模型用于用于根据系统需求生成相应的管理视图，所述Hadoop部署模型用于描述所述管理试图的节点配置信息、运行状态和软件进行部署；S2：根据预设转换规则实现所述Hadoop需求模型和所述Hadoop部署模型之间的模型转换，其中，所述预设转换规则包括节点转换模型和集群服务转换模型，所述节点转换模型用于实现所述Hadoop需求模型的节点和所述Hadoop部署模型的节点之间的模型转换，所述集群服务转换模型用于实现所述Hadoop需求模型的集群服务和所述Hadoop部署模型的集群服务之间的模型转换；S3：使用同步引擎监测所述Hadoop需求模型和所述Hadoop部署模型中的信息变化情况，并在所述Hadoop需求模型和/或所述Hadoop部署模型中的信息发生变化时进行信息同步。2.根据权利要求1所述的云环境中模型驱动的Hadoop部署方法，其特征在于，所述Hadoop需求模型包括：集群节点模块，所述集群节点模块设置有基础设施资源，所述基础设施资源包括节点配置列表、节点列表和容器映像列表中对应的资源和属性；集群服务模块，所述集群服务模块设置有服务列表，所述服务列表中包括多种服务和每种服务的属性。3.根据权利要求2所述的云环境中模型驱动的Hadoop部署方法，其特征在于，所述Hadoop部署模型包括：集群节点单元，所...

【专利技术属性】
技术研发人员：武永卫，陈康，郑纬民，陈哲毅，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11