一种基于读写分离及自动伸缩的云编排系统及方法技术方案

本发明专利技术提供一种基于读写分离及自动伸缩的云编排系统及方法，对读操作和写操作进行分离，对集群进行扩容和缩容，并将所有的索引数据存放在相应的对象存储，预计算模块将计算任务所需的资源(内存、CPU)提交给自动伸缩模块，通过调用基础架构自动化的编排工具Terraform对应的API进行资源的创建以保障构建任务的运行。自动伸缩模块提供2种资源扩张策略，分别是基于时间和最大的等待任务数。本发明专利技术提高了云资源的利用率，降低了成本及减少人工干预，为查询集群水平扩展提供了更高的可靠性，提高了高并发时系统的稳定性，保证了数据的安全性及无限扩展性。

【技术实现步骤摘要】
一种基于读写分离及自动伸缩的云编排系统及方法
本专利技术涉及云编排
，尤其涉及一种基于读写分离及自动伸缩的云编排系统及方法。
技术介绍
目前，如何降低云成本、快速响应业务需求，一直都是云服务关注的热点问题。目前大多数云服务都支持节点伸缩服务以运行对应任务，但通常需要操作人员手动调节节点数量，往往会造成资源的浪费，增加TCO(总拥有成本)以及运维成本。业界大多数云服务都对外提供了对Terraform(云编排工具)暴露的api，通过Terraform可以很灵活和快速部署出一个云服务集群，这也是业界通用方式。当前云编排工具提供创建、管理云资源的能力，但是无法自动根据当时云上作业的负载情况，自动进行灵活的资源配置。基于云服务提供的SDK，也无法灵活自动根据云上作业进行资源的调整，这样会导致TCO的增加。当前，业界传统支持的云上计算引擎有Impala，Greenplum等，这些传统的MPP引擎在大规模数据量下，查询性能和并发性会严重下降。除了MPP引擎过程是实时运算外，主要原因在于如果MPP的一个节点总是执行慢于该集群中其他的节点，整个集群的性能就会受限于这个故障节点的执行速度(所谓木桶的短板效应)，无论集群有多少节点，都不会有所提高。由于现存云编排技术及MPP架构存在的缺陷，难以快速根据云上作业负载做出响应。
技术实现思路
有鉴于此，本公开提供一种基于读写分离及自动伸缩的云编排系统及方法，可以根据作业的灵活度，用合理的资源完成作业运行及有效降低TCO(总拥有成本)，技术方案如下：一方面，本专利技术提供了一种基于读写分离及自动伸缩的云编排系统，包括客户端可视化模块、预计算引擎模块、读写分离模块以及自动伸缩模块，客户端可视化模块用于可视化地设置任务节点数及向预计算引擎模块提交任务，预计算引擎模块用于根据业务的联机数据分析OLAP分析需求利用OLAP技术对客户端可视化模块提交的任务进行多维分析，将数据仓库中原始明细数据构建成多维数据集，提供联机数据分析OLAP查询所需要的聚合数据，读写分离模块用于实现客户端可视化模块提交任务的读写工作负载的隔离，自动伸缩模块用于响应预计算引擎模块的资源申请请求并动态地向云申请资源及销毁资源。进一步地，所述的客户端可视化模块通过浏览器访问。进一步地，所述的预计算引擎模块采用联机数据分析OLAP建模工具kylin。进一步地，所述的读写分离模块，查询集群进行分布式查询读操作，构建集群进行索引构建写操作，索引数据存放在相应的对象存储。进一步地，所述的自动伸缩模块包括云服务器扩张和缩减功能，提供2种资源扩张策略，分别是基于时间和最大的等待任务数，满足扩张策略之一会触发扩张操作；如果处于空间状态，则会触发缩减操作。另一方面，本专利技术提供了一种基于读写分离及自动伸缩的云编排方法，所述方法应用在上述基于读写分离及自动伸缩的云编排系统中，包括以下步骤：步骤1：客户端可视化模块设置任务；步骤2：预计算引擎模块分析任务的资源需求，读写分离模块分析任务的读写需求；步骤3：自动伸缩模块根据任务的资源需求进行资源创建或资源回收；步骤4：读写分离模块根据模型任务的读写需求进行读操作或写操作。进一步地，所述的步骤1设置任务，包括如下详细步骤：步骤1.1：设置最大任务服务器节点数及服务器机型；步骤1.2：将步骤1.1的服务器节点逻辑概念转化为服务器实体；步骤1.3：通过客户端可视化模块对预计算引擎模块进行模型操作；步骤1.4：触发构建模型任务。进一步地，所述的步骤2分析任务需求，预计算引擎模块将计算任务所需的资源提交给自动伸缩模块，读写分离模块分析任务的读写需求进行读写分离。进一步地，所述的步骤3，通过调用基础架构自动化的编排工具Terraform对应的API进行资源的创建，根据资源回收策略进行资源回收。进一步地，所述的步骤1.3的模型操作包括创建编辑模型和设置索引。本专利技术提供一种基于读写分离及自动伸缩的云编排系统及方法，提供了在云上运行作业时云服务器自动伸缩方案，提高了云资源的利用率，降低了总拥有成本TCO并减少了人工干预，查询与计算集群资源的分离为查询集群水平扩展提供了更高的可靠性，构建的数据存放至高可靠的对象存储，提高了高并发时系统的稳定性，保证了数据的安全性及无限扩展性，基于本专利技术可以构建出一个具有读写分离和自动伸缩的高效的联机数据分析OLAP查询执行引擎，应对各类报表系统的复杂联机数据分析OLAP查询。附图说明构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本专利技术提供的一种基于读写分离及自动伸缩的云编排系统示意图；图2为本专利技术提供的一种基于读写分离及自动伸缩的云编排方法示意图；图3为本专利技术具体实施例的整体方案流程示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。另外，术语“多个”的含义应为两个以及两个以上。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效本文档来自技高网...

【技术保护点】
1.一种基于读写分离及自动伸缩的云编排系统，其特征在于，包括客户端可视化模块、预计算引擎模块、读写分离模块以及自动伸缩模块，客户端可视化模块用于可视化地设置任务节点数及向预计算引擎模块提交任务，预计算引擎模块利用OLAP技术对客户端可视化模块提交的任务进行多维分析，将数据仓库中原始明细数据构建成多维数据集，提供联机数据分析OLAP查询所需要的聚合数据，读写分离模块用于实现客户端可视化模块提交任务的读写工作负载的隔离，自动伸缩模块用于响应预计算引擎模块的资源申请请求并动态地向云申请资源及销毁资源。/n

【技术特征摘要】
1.一种基于读写分离及自动伸缩的云编排系统，其特征在于，包括客户端可视化模块、预计算引擎模块、读写分离模块以及自动伸缩模块，客户端可视化模块用于可视化地设置任务节点数及向预计算引擎模块提交任务，预计算引擎模块利用OLAP技术对客户端可视化模块提交的任务进行多维分析，将数据仓库中原始明细数据构建成多维数据集，提供联机数据分析OLAP查询所需要的聚合数据，读写分离模块用于实现客户端可视化模块提交任务的读写工作负载的隔离，自动伸缩模块用于响应预计算引擎模块的资源申请请求并动态地向云申请资源及销毁资源。


2.根据权利要求1所述的一种基于读写分离及自动伸缩的云编排系统，其特征在于，所述的客户端可视化模块通过浏览器访问。


3.根据权利要求1所述的一种基于读写分离及自动伸缩的云编排系统，其特征在于，所述的预计算引擎模块采用联机数据分析OLAP建模工具kylin。


4.根据权利要求1所述的一种基于读写分离及自动伸缩的云编排系统，其特征在于，所述的读写分离模块，查询集群进行分布式查询读操作，构建集群进行索引构建写操作，索引数据存放在相应的对象存储。


5.根据权利要求1所述的一种基于读写分离及自动伸缩的云编排系统，其特征在于，所述的自动伸缩模块包括云服务器扩张和缩减功能，提供2种资源扩张策略，分别是基于时间和最大的等待任务数，满足扩张策略之一会触发扩张操作；如果处于空间状态，则会触发缩减操作。


6.一种基于读写分离及自动伸缩的云编排方法...

【专利技术属性】
技术研发人员：占绍雄，冯景华，金荣钏，李扬，韩卿，
申请(专利权)人：跬云上海信息科技有限公司，
类型：发明
国别省市：上海;31