一种分布式监控系统及数据采集方法技术方案

本发明专利技术公开了一种分布式监控系统及数据采集方法，包括用于实现监控数据的采集与上传的监控客户端、用于缓存上传的监控数据的监控代理端和用于实现上传监控数据的组织与管理、以及可视化展示的监控服务端。本系统运行的基础软硬件环境是由国产计算机系统构建，所述系统的监控服务端与监控代理端基于分布式架构实现，可线性扩展，实现大规模计算机集群系统的监控；所述系统的采集方法包括轮询、捕获、代理三种数据采集方法，针对不同平台环境下的数据采集，可以根据被监控对象的资源使用状态及压力负载情况自动调整与选择数据采集方法，最大限度地降低对监控对象作业业务的资源抢占。

【技术实现步骤摘要】

本专利技术涉及服务器的监控领域，尤其是应用于大规模服务器群的分布式监控系统，具体设计一种分布式监控系统及数据采集方法。
技术介绍
随着云计算和大数据的兴起，主流的大规模服务器群的监控与管理都采用松耦合的架构，即跨平台的多样性，不用考虑监控管理服务器的性能，采用通用的商业和开源软件即能满足日常的监控与管理的需求。但是随着国家自主可控的程度化要求日益提高，而国产服务器的性能却远不能达到商用计算机的计算和通用能力，特别是同商业主流的监控软件相互之间兼容性差，抢占低性能服务器的计算资源，还需要对开源或商业源代码移植修改。因此，对于大规模国产服务器群的应用来说，效率低下且移植成本高，而且国产单机性能不足的问题对于监控效率和监控规模有很大的局限性，因此基于国产服务器平台构建监控系统的需求日益突出。
技术实现思路
本专利技术目的在于解决上述问题，提供了一种基于国产服务器的分布式监控系统及其数据采集方法。通过监控服务端与监控代理端的分布式形式，以及采取自适应的数据采集方法，达到了国产服务器平台构建监控系统的目的，并具有良好的扩展性与可靠性。本专利技术的技术方案为：一种分布式监控系统，包括用于实现监控数据的采集与上传的监控客户端、用于缓存上传的监控数据的监控代理端和用于实现上传监控数据的组织与管理、以及可视化展示的监控服务端，所述的监控客户端、监控代理端和监控服务端均互相通信连接，所述的监控客户端包括监控数据采集模块，并用于将本地的实体监控信息上传至监控服务端，所述监控代理端包括数据收集模块，并用于将缓存的监控数据定时上传至监控服务端。所述的一种分布式监控系统，所述的监控代理端为包括多个分布式代理终端的分布式架构，监控代理端从服务器收集到的监控数据，暂时存储在监控代理端，并定时同步至监控服务端。所述的一种分布式监控系统，所述的监控服务端包括监控服务端主机和监控服务端备机，监控服务端主机和监控服务端备机互为热备份。所述的一种分布式监控系统，所述的监控代理端包括主节点与从节点两个组成部分，监控代理端主节点用于与监控服务端进行数据同步通信以及管理采集方式，从节点则为数据收集器，收集监控数据。所述的一种分布式监控系统，所述的监控客户端、监控代理端和监控服务端均采用国产软硬件系统。一种分布式监控系统的数据采集方法，采用如权利要求1-4任一所述的系统，包括以下采集方式：方式一，轮询模式，在监控客户端采用本地代理的方式采集监控数据，上传至监控服务端，监控服务端被动接收监控数据；方式二，捕获模式，在监控服务端采用集成的IPMI、SNMP、JMX、HTTP等协议采集监控客户端数据，监控服务端主动接收监控数据；方式三，代理模式，在监控服务端与监控客户端数据传输之间采用分布式代理模式，将采集的监控数据缓存在分布式代理服务器群上，并定时上传至监控服务端。所述的一种分布式监控系统的数据采集方法，监控服务端根据监控客户端被检测指标动态变化剧烈，超过预设的安全阈值范围时采用捕获方式，当检测指标变化平缓，未超过预设的安全阈值范围时采用轮询方式。所述的一种分布式监控系统的数据采集方法，所述的被检测指标动态变化程度剧烈或平缓是通过预设时间段内数据变化的最高值与最低值的来判断其数据变化的剧烈性，当最高值与最低值相差超过预设的安全阈值时则判定为剧烈，未超过即判断为平缓。所述的一种分布式监控系统的数据采集方法，当监控服务端无法正常处理大规模的监控数据采集时，采用代理方式，将采集的数据放到监控代理端的缓冲池，并设定上传的时间间隔，同步至监控服务端。本专利技术采取上述方案，对比现行方案具有有益的效果是：采用分布式架构设计不但成功应用国产服务器作为监控服务器，还解决了基于国产服务器构建监控系统的性能不足问题，特别是适应未来大规模服务器集群应用的需要。并且监控规模能根据不同应用需求进行裁剪，接入方式简单快捷，具有良好的扩展性和可靠性。再针对国产服务器平台设计的自适应数据采集方法，能从最大程度上减少监控系统对监控对象的资源占用，具有轻量化、高利用特点，使监控系统的代理不再受单台计算机性能瓶颈的制约。高可靠性，从采集、处理、存储提供了合理可靠冗余量，能够有效规避国产服务器初期阶段可靠性设计的不足。高安全性，该监控系统基于国内自主研发的计算机平台设计，在安全上是完全自主可控的监控系统。附图说明图1本专利技术一个实施例的体系架构图；图2本专利技术一个实施例的软件架构图。具体实施方式现结合附图1、2以及一个具体实施例对本专利技术作进一步的说明。本实施例装置包括包括用于实现监控数据的采集与上传的监控客户端、用于缓存上传的监控数据的监控代理端和用于实现上传监控数据的组织与管理、以及可视化展示的监控服务端，监控客户端、监控代理端和监控服务端均互相通信连接，监控客户端包括监控数据采集模块，并用于将本地的实体监控信息上传至监控服务端，所述监控代理端包括数据收集模块，并用于将缓存的监控数据定时上传至监控服务端。监控代理端为包括多个分布式代理终端的分布式架构，监控代理端从服务器收集到的监控数据，暂时存储在监控代理端，并定时同步至监控服务端。监控服务端包括监控服务端主机和监控服务端备机，监控服务端主机和监控服务端备机互为热备份。监控代理端包括主节点与从节点两个组成部分，监控代理端主节点用于与监控服务端进行数据同步通信以及管理采集方式，从节点则为数据收集器，收集监控数据。监控客户端、监控代理端和监控服务端均采用国产软硬件系统。一种分布式监控系统的数据采集方法，采用上述的系统，包括以下采集方式：方式一，轮询模式，在监控客户端采用本地代理的方式采集监控数据，上传至监控服务端，监控服务端被动接收监控数据；方式二，捕获模式，在监控服务端采用集成的IPMI、SNMP、JMX、HTTP等协议采集监控客户端数据，监控服务端主动接收监控数据；方式三，代理模式，在监控服务端与监控客户端数据传输之间采用分布式代理模式，将采集的监控数据缓存在分布式代理服务器群上，并定时上传至监控服务端。监控服务端根据监控客户端被检测指标动态变化剧烈，超过预设的安全阈值范围时采用捕获方式，当检测指标变化平缓，未超过预设的安全阈值范围时采用轮询方式。被检测指标动态变化程度剧烈或平缓是通过预设时间段内数据变化的最高值与最低值的来判断其数据变化的剧烈性，当最高值与最低值相差超过预设的安全本文档来自技高网...

【技术保护点】
一种分布式监控系统，其特征在于，包括用于实现监控数据的采集与上传的监控客户端、用于缓存上传的监控数据的监控代理端和用于实现上传监控数据的组织与管理、以及可视化展示的监控服务端，所述的监控客户端、监控代理端和监控服务端均互相通信连接，所述的监控客户端包括监控数据采集模块，并用于将本地的实体监控信息上传至监控服务端，所述监控代理端包括数据收集模块，并用于将缓存的监控数据定时上传至监控服务端。

【技术特征摘要】
1.一种分布式监控系统，其特征在于，包括用于实现监控数据的采集与上
传的监控客户端、用于缓存上传的监控数据的监控代理端和用于实现上传监控数
据的组织与管理、以及可视化展示的监控服务端，所述的监控客户端、监控代理
端和监控服务端均互相通信连接，所述的监控客户端包括监控数据采集模块，并
用于将本地的实体监控信息上传至监控服务端，所述监控代理端包括数据收集模
块，并用于将缓存的监控数据定时上传至监控服务端。
2.根据权利要求1所述的一种分布式监控系统，其特征在于，所述的监控
代理端为包括多个分布式代理终端的分布式架构，监控代理端从服务器收集到的
监控数据，暂时存储在监控代理端，并定时同步至监控服务端。
3.根据权利要求1所述的一种分布式监控系统，其特征在于，所述的监控
服务端包括监控服务端主机和监控服务端备机，监控服务端主机和监控服务端备
机互为热备份。
4.根据权利要求1所述的一种分布式监控系统，其特征在于，所述的监控
代理端包括主节点与从节点两个组成部分，监控代理端主节点用于与监控服务端
进行数据同步通信以及管理采集方式，从节点则为数据收集器，收集监控数据。
5.根据权利要求1所述的一种分布式监控系统，其特征在于，所述的监控
客户端、监控代理端和监控服务端均采用国产软硬件系统。
6.一种分布式监控系统的数据采集方法，其特征在于，采用如权利要求1-...

【专利技术属性】
技术研发人员：黄卫，赵丹，许新达，王春洁，王建国，邹清扬，
申请(专利权)人：长城信息产业股份有限公司，长沙湘计海盾科技有限公司，
类型：发明
国别省市：湖南;43