一种统一的云数据中心监控系统技术方案

本发明专利技术公开了一种统一的云数据中心监控系统，该监控系统由数据获取层、数据整合层、数据分析层以及任务调度层四个层次构成。本发明专利技术的一种统一的云数据中心监控系统和现有技术相比，可以让运维人员在一个界面上进行全部资源的监控管理和配置，可以让开发人员只需少量的改动即可引入新的监控组件，可以灵活进行分布式部署和扩展，可以整合多类资源进行高级分析和报表生成，具有很高的实用价值。

【技术实现步骤摘要】

本专利技术涉及云计算领域，具体地说是一种统一的云数据中心监控系统。
技术介绍
目前的云数据中心的运维工作，有很大一部分需要通过监控工具来完成，而在使用过程中，往往一种工具无法满足多种多样的个性化的监控需求，需要多种工具结合使用，对这些监控工具的维护又会带来相当多的工作量，并且各组件之间数据格式往往不统一，不能直接整合分析。在目前的云数据中心当中，客户关心的相当一部分资源是虚拟资源，如何将虚拟资源和物理资源统一整合进行配置和展示，也是一个比较受关注的工作。另外，监控工具的更新和版本日新月异，但是我们本身监控产品的业务逻辑往往是基本一致的，这就需要我们将易变化的部分和比较稳定的部分分解开来，实现快速集成，并且减少开发成本。最后，云数据中心的规模往往在上万台物理机、十万台虚拟设备以上，如何能保证监控系统可随着数据中心的规模灵活扩展，也是监控系统设计的重要关注点。
技术实现思路
本专利技术的技术任务是提供一种统一的云数据中心监控系统。本专利技术的技术任务是按以下方式实现的，该监控系统由数据获取层、数据整合层、数据分析层以及任务调度层四个层次构成；数据获取层：监控系统通过三种获取途径获取被监控对象的各种数据，三种途径分别为：公共协议获取、内部代理获取或虚拟化接口批量获取；本层针对虚拟化类型的资源，采用调用虚拟化平台接口的方式，相当于从虚拟化管理平台本身间接获取虚拟资源的信息；不必挨个虚拟机进行建立连接、读取数据、断开连接这种操作；数据整合层：用于解析返回的报文结构，统一进行格式化存储；当数据量较小时，采用传统数据库mysql或Oracle；当数据量较大时，采用分布式数据库hbase或mongodb；数据分析层：采用统一的数据结构，对外提供数据接口，界面或其他模块也不必关心数据来源，直接到数据整合层进行查询即可获得监控数据作为基础数据使用；任务调度层：针对各种资源的监测策略进行一个统一的调度处理；对于数据分析的各类定时报表，有一个定时任务的管理中心进行运行、记录结果，本层进行统一调度管理。所述的数据获取层在新引入一种监控工具时，只需新增对应的报文解析方法，将该工具返回的数据统一到数据整合层即可，其他部分都不需要变化。所述的监控系统如下：云平台接口和shinken开源监控工具构成数据获取层，分别用于获取虚拟资源和物理资源的监控数据；mysql构成数据整合层，用于接收来自shinken和云平台的监控结果；mysql存储过程构成数据分析层，基于mysql的实时性能表和历史性能表做出分析报表和告警信息、预测信息；imonitor工程作为任务调度层，统一配置调度各类资源的定时任务，并记录各次定时任务的执行结果；整个架构的每一层之间都可单独部署，并且除任务调度层外都可做分布式多节点部署。本专利技术的一种统一的云数据中心监控系统和现有技术相比，可以让运维人员在一个界面上进行全部资源的监控管理和配置，可以让开发人员只需少量的改动即可引入新的监控组件，可以灵活进行分布式部署和扩展，可以整合多类资源进行高级分析和报表生成，具有很高的实用价值。附图说明图1为一种统一的云数据中心监控系统的整体架构图。图2为一种统一的云数据中心监控系统的实施例图。具体实施方式实施例1：该统一的云数据中心监控系统由数据获取层、数据整合层、数据分析层以及任务调度层四个层次构成；数据获取层：监控系统要获取被监控对象的各种数据，通常包括通过公共协议获取和通过内部代理获取两种途径；而引入虚拟化资源之后，将带来第三种途径，即通过虚拟化接口批量获取；因为虚拟资源存在其特殊性，虚拟机未必存在一个可由外部访问的ip，甚至没有固定ip；虚拟机发生动态迁移后ip可能也会发生改变；虚拟机各端口未必会打开从外部访问的权限；虚拟机会经常性的创建和删除，如果采用传统方式需要频繁进行纳入监控和从监控移除的操作；因此本层针对虚拟化类型的资源，采用调用虚拟化平台接口的方式，相当于从虚拟化管理平台本身间接获取虚拟资源的信息；这样既避免了将大量的虚拟资源引入监控中再走一遍流程，又可以快速准确的获取各虚拟机信息，不必挨个虚拟机进行建立连接、读取数据、断开连接这种操作；当新引入一种监控工具时，只需新增对应的报文解析方法，将该工具返回的数据统一到数据整合层即可，其他部分都不需要变化；数据整合层：由于可能采用多种协议和多种监控工具获取监控数据，每种协议返回的响应格式又不一样，因此需要设计一个数据整合层，解析各种返回的报文结构，统一进行格式化存储；当数据量较小时，采用传统数据库即可，如mysql、Oracle等；而当数据量较大时，本层可替换为hbase、mongodb等分布式数据库，更好的支持大数据场景；数据分析层：由于采用了统一的数据存储格式，因此业务逻辑可以不必关心数据的来源，只专注于针对一种格式的数据分析；比如自定义告警、自定义报表、容量预测、TopN筛选等等，并且由于采用了统一的数据结构，因此可以很方便的对外提供数据接口，界面或其他模块也不必关心数据来源，直接到数据整合层进行查询即可获得监控数据作为基础数据使用；任务调度层：由于不同的资源类型要求的监测粒度和监测间隔往往不同，如cpu利用率一般要求更为实时，而磁盘存储空间一般半小时监测一次即可，因此需要针对各种资源的监测策略进行一个统一的调度处理；而对于数据分析的各类定时报表，也需要有一个定时任务的管理中心进行运行、记录结果，因此需要有任务调度层，各类定时任务都提交给本层进行统一调度管理。实施例2：本系统与被监测的云数据集群保持网络连通即可，无需一起部署，甚至可以异地部署，但由于进行各类监测时会产生网络流量，为保证传输速度不成为瓶颈，建议与被监测中心部署在同一局域网内即可；在本系统中，云平台接口和shinken开源监控工具构成数据获取层，分别用于获取虚拟资源和物理资源的监控数据；mysql构成数据整合层，用于接收来自shinken和云平台的监控结果；mysql存储过程构成数据分析层，基于mysql的实时性能表和历史性能表做出各种分析报表和告警信息、预测信息；imonitor工程作为任务调度层，统一配置调度各类资源的定时任务，并记录各次定时任务的执行结果；整个架构的每一层之间都可单独部署，并且除任务调度层外都可做分布式多节点部署，充分满足了客户需求，增加了监控的灵活性和统一性，并具有较好的扩展能力。通过上面具体实施方式，所述
的技术人员可容易的实现本专利技术。但是应当理解，本专利技术并不限于上述的几种具体实施方式。在公开的实施方式的基础上，所述
的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。本文档来自技高网...

【技术保护点】
一种统一的云数据中心监控系统，其特征在于，该监控系统由数据获取层、数据整合层、数据分析层以及任务调度层四个层次构成；数据获取层：监控系统通过三种获取途径获取被监控对象的各种数据，三种途径分别为：公共协议获取、内部代理获取或虚拟化接口批量获取；本层针对虚拟化类型的资源，采用调用虚拟化平台接口的方式，相当于从虚拟化管理平台本身间接获取虚拟资源的信息；不必挨个虚拟机进行建立连接、读取数据、断开连接这种操作；数据整合层：用于解析返回的报文结构，统一进行格式化存储；当数据量较小时，采用传统数据库mysql或Oracle；当数据量较大时，采用分布式数据库hbase或mongodb；数据分析层：采用统一的数据结构，对外提供数据接口，界面或其他模块也不必关心数据来源，直接到数据整合层进行查询即可获得监控数据作为基础数据使用；任务调度层：针对各种资源的监测策略进行一个统一的调度处理；对于数据分析的各类定时报表，有一个定时任务的管理中心进行运行、记录结果，本层进行统一调度管理。

【技术特征摘要】
1.一种统一的云数据中心监控系统，其特征在于，该监控系统由数据获取层、数据整合层、数据分析层以及任务调度层四个层次构成；数据获取层：监控系统通过三种获取途径获取被监控对象的各种数据，三种途径分别为：公共协议获取、内部代理获取或虚拟化接口批量获取；本层针对虚拟化类型的资源，采用调用虚拟化平台接口的方式，相当于从虚拟化管理平台本身间接获取虚拟资源的信息；不必挨个虚拟机进行建立连接、读取数据、断开连接这种操作；数据整合层：用于解析返回的报文结构，统一进行格式化存储；当数据量较小时，采用传统数据库mysql或Oracle；当数据量较大时，采用分布式数据库hbase或mongodb；数据分析层：采用统一的数据结构，对外提供数据接口，界面或其他模块也不必关心数据来源，直接到数据整合层进行查询即可获得监控数据作为基础数据使用；任务调度层：针对各种资源的监测策略进行一个统一的调度处理；对于数据分析的各类定时...

【专利技术属性】
技术研发人员：杨勇，亓开元，房体盈，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：山东;37