多源数据融合的一体化数据采集方法技术

本发明专利技术属于多源数据融合技术领域，且公开了多源数据融合的一体化数据采集方法，所述7xOPS Agent自动、手动注册：S1：实现配置文件全局初始化，打印日志全局初始化，配置代理IP池，系统初始化；S2：请求7xOPS Server分配Token，每5分钟自动进行请求7xOPS Server获取Token，以协程方式启动；本发明专利技术提供了多源数据融合的一体化数据采集方法，通过7xOPS Server对7xOPS Agent进行管理，可实现安装、升级、卸载、编辑等操作，任务类型有性能监控、SNMP监控、资产扫描、状态监控、传感器监控、域名监控、UCPE监控等任务。7xOPS Server实现任务的启动、停止、编辑、删除等操作，通过7xOPS Agent实现对不同任务类型的数据采集，7xOPS Receiver实现对采集到的数据进行存储。实现对采集到的数据进行存储。实现对采集到的数据进行存储。

【技术实现步骤摘要】
多源数据融合的一体化数据采集方法


[0001]本专利技术属于多源数据融合
，具体是多源数据融合的一体化数据采集方法。

技术介绍

[0002]随着宽带网络的普及和行业管理部门对管理水平提高的需求增加，城市公安、交通、金融、环保、电力、医疗、教育等管理部门对城市范围内的大型联网安全监控平台的需求也在这两年开始大量增加，随着网络传输技术、互联网的成熟，实现这些新兴行业客户需求的已经取得了重大的突破，大型的自动化运维监控系统正在全国各地迅速地建设起来，现有常见的采集器主流支持的操作系统有Windows，各种Linux，Unix等,针对特定的操作系统进行研发，每个操作系统都有自己独立的开发环境，研发成本高，代码维护困难等缺点。

技术实现思路

[0003]为解决上述
技术介绍
中提出的问题，本专利技术提供了多源数据融合的一体化数据采集方法，通过7xOPS Server对7xOPS Agent进行管理，可实现安装、升级、卸载等操作，任务类型有性能监控、SNMP监控、资产扫描、状态监控、传感器监控、域名监控、UCPE监控等任务。7xOPS Server实现任务的删除、编辑、启动、停止等操作，7xOPS Agent实现对不同任务类型的统一入口管理和数据采集，7xOPS Receiver实现对采集到的数据进行存储。
[0004]为实现上述目的，本专利技术提供如下技术方案：多源数据融合的一体化数据采集方法，所述7xOPS Agent自动、手动注册；
[0005]S1：实现配置文件全局初始化，打印日志全局初始化，配置代理IP池，系统初始化；
[0006]S2：请求7xOPS Server获取Token，每5分钟自动进行请求7xOPS Server获取Token，以协程方式启动；
[0007]所述Token生成规则，根据用户名和密码随机生成，获取到返回的Token后进行赋值操作，7xOPS Agent赋值到全局配置的对象中；
[0008]S3：将获取到的Token在7xOPS Server进行注册验证，判断7xOPS Agent是自动/手动部署；
[0009]S31：自动部署请求7xOPS Server，更新7xOPS Agent管理状态，返回请求结果，成功则更新全局配置，失败则退出当前函数，重新发起请求；
[0010]S32：手动部署请求7xOPS Server，对新部署的7xOPS Agent进行注册，成功则更新全局配置，失败则退出程序，结束进程；
[0011]S4：7xOPS Agent注册完成。
[0012]优选的，所述7xOPS Agent自动部署：
[0013]S1：在7xOPS Agent管理列表中创建一个新的Agent，需要安装地址IP、root账号和密码，安装路径，下载链接等信息；
[0014]S2：7xOPS Server启动SSH建立链接，建立链接成功后，上传shell脚本，执行shell
脚本，跳转至指定路径，进行下载安装包文件，下载成功后进行启动；
[0015]S3：7xOPS Agent启动成功，在7xOPS Server注册完成，7xOPS Agent会定时发送Agent状态进行更新，并附带安装日志发送到Mq；
[0016]S4：7xOPS Server从Mq中接受到状态更新消息，修改7xOPS Agent管理列表中创建的7xOPS Agent的状态为运行中，并保存安装日志。
[0017]优选的，所述7xOPS Agent自动升级、卸载：
[0018]S1：7xOPS Agent管理列表中点击升级，7xOPS Server下发任务到对应Mq队列，7xOPS Agent去监听7xOPS Server下发的Mq任务；
[0019]S2：7xOPS Agent监听到要升级的信息，解析接受到的信息，执行shell脚本，通过链接下载安装包，安装完成通过查看进程判断7xOPS Agent是否启动；
[0020]S21：启动中：当前运行的安装包进行备份，杀死当前程序进程，运行新的安装包，启动成功后发送状态消息到Mq任务；
[0021]S22：未启动：备份旧的安装包，运行新的安装包，启动成功后发送状态消息到Mq任务；
[0022]S3：7xOPS Server从Mq中接受到状态消息，修改7xOPS Agent管理列表中新创建7xOPS Agent的状态为运行中，并保存升级日志。
[0023]优选的，所述监控任务采集：
[0024]7xOPS Server实现对7xOPS Agent监控任务管理，进行各种任务如性能监控、SNMP监控、资产扫描、状态监控、传感器监控、域名监控、UCPE监控的启动、停止，任务启动后根据任务类型，将监控的信息模版发送到对应的Mq队列；
[0025]7xOPS Agent监听到7xOPS Server下发的Mq任务，根据任务的类型进行不同的数据监控，将监控到的数据进行数据清洗，数据过滤，数据整合，数据队列，数据结构优化，数据压缩最后进行数据发送；
[0026]7xOPS Agent监控到的数据以Http/Rpc的方式发送到7xOPS Receiver，7xOPS Receiver实现对采集到的数据进行存储。
[0027]优选的，所述性能采集监控流程：
[0028]S1：7xOPS Agent任务列表启动性能监控任务，7xOPS Agent接受到7xOPS Server下发的Mq任务信息，去执行对应的监控任务，再准备启动监控任务前，需要经过数据校验；
[0029]S2：通过校验后的数据进行Context上下文赋值，使其可以在接下来的监控任务中可以被全程使用，安装插件shell脚本，用户自定义的采集指标；
[0030]S3：运行性能监控任务，使用Linux(获取内置文件)以及Windows(使用命令和dll文件)方法进行数据读取获取系统设备信息cpu，内存，无线网卡等数据；
[0031]S4：监控到的数据进行数据清洗，数据过滤，数据整合，数据队列，数据结构优化，数据压缩后进行数据发送；
[0032]S5：7xOPS Agent监控到的数据以Http/Rpc的方式发送到7xOPS Receiver，7xOPS Receiver实现对采集到的数据进行存储；
[0033]所述SNMP采集流程：
[0034]S1：7xOPS Agent任务列表启动SNMP监控任务，7xOPS Agent接受到7xOPS Server下发的Mq任务信息，去执行对应的监控任务，再准备启动监控任务前，需要经过数据校验；
[0035]S2：通过校验后的数据进行Context上下文赋值，使其可以在接下来的监控任务中可以被全程使用；
[0036]S3：运行SNMP监控任务，使用SNMP walk/get请求方法通过Oid和IP作为入参可以获取设备的cpu,内存等基础信息，也可以通过Ping方法进行数据监本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.多源数据融合的一体化数据采集方法，其特征在于：所述7xOPS Agent自动、手动注册；S1：实现配置文件全局初始化，打印日志全局初始化，配置代理IP池，系统初始化；S2：请求7xOPS Server获取Token，每5分钟自动进行请求7xOPS Server获取Token，以协程方式启动；所述Token生成规则，根据用户名和密码随机生成，获取到返回的Token后进行赋值操作，7xOPS Agent赋值到全局配置的对象中；S3：将获取到的Token在7xOPS Server进行注册验证，判断7xOPS Agent是自动/手动部署；S31：自动部署请求7xOPS Server，更新7xOPS Agent管理状态，返回请求结果，成功则更新全局配置，失败则退出当前函数，重新发起请求；S32：手动部署请求7xOPS Server，对新部署的7xOPS Agent进行注册，成功则更新全局配置，失败则退出程序，结束进程；S4：7xOPS Agent注册完成。2.根据权利要求1所述的多源数据融合的一体化数据采集方法，其特征在于：所述7xOPS Agent自动部署：S1：在7xOPS Agent管理列表中创建一个新的Agent，需要安装地址IP、root账号和密码，安装路径，下载链接等信息；S2：7xOPS Server启动SSH建立链接，建立链接成功后，上传shell脚本，执行shell脚本，跳转至指定路径，进行下载安装包文件，下载成功后进行启动；S3：7xOPS Agent启动成功，在7xOPS Server注册完成，7xOPS Agent会定时发送Agent状态进行更新，并附带安装日志发送到Mq；S4：7xOPS Server从Mq中接受到状态更新消息，修改7xOPS Agent管理列表中创建的7xOPS Agent的状态为运行中，并保存安装日志。3.根据权利要求1所述的多源数据融合的一体化数据采集方法，其特征在于：所述7xOPS Agent自动升级、卸载：S1：7xOPS Agent管理列表中点击升级，7xOPS Server下发任务到对应Mq队列，7xOPS Agent去监听7xOPS Server下发的Mq任务；S2：7xOPS Agent监听到要升级的信息，解析接受到的信息，执行shell脚本，通过链接下载安装包，安装完成通过查看进程判断7xOPS Agent是否启动；S21：启动中：当前运行的安装包进行备份，杀死当前程序进程，运行新的安装包，启动成功后发送状态消息到Mq任务；S22：未启动：备份旧的安装包，运行新的安装包，启动成功后发送状态消息到Mq任务；S3：7xOPS Server从Mq中接受到状态消息，修改7xOPS Agent管理列表中新创建7xOPS Agent的状态为运行中，并保存升级日志。4.根据权利要求1所述的多源数据融合的一体化数据采集方法，其特征在于：所述监控任务采集：7xOPS Server实现对7xOPS Agent监控任务管理，进行各种任务如性能监控、SNMP监控、资产扫描、状态监控、传感器监控、域名监控、UCPE监控的启动、停止，任务启动后根据任
务类型，将监控的信息模版发送到对应的Mq队列；7xOPS Agent监听到7xOPS Server下发的Mq任务，根据任务的类型进行不同的数据监控，将监控到的数据进行数据清洗，数据过滤，数据整合，数据队列，数据结构优化，数据压缩最后进行数据发送；7xOPS Agent监控到的数据以Http/Rpc的方式发送到7xOPS Receiver，7xOPS Receiver实现对采集到的数据进行存储。5.根据权利要求4所述的多源数据融合的一体化数据采集方法，其特征在于：所述性能采集监控流程：S1：7xOPS Agent任务列表启动性能监控任务，7xOPS Agent接受到7xOPS Server下发的Mq任务信息，去执行对应的监控任务，再准备启动监控任务前，需要经过数据校验；S2：通过校验后的数据进行Context上下文赋值，使其可以在接下来的监控任务中可以被全程使用，安装插件shell脚本，用户自定义的采集指标；S3：运行性能监控任务，使用Linux(获取内置文件)以及Windows(使用命令和dll文件)方法进行数据读取获取系统设备信息cpu，内存，无线网卡等数据；S4：监控到的数据进行数据清洗，数据过滤，数据整合，数据队列，数据结构优化，数据压缩后进行数据发送；S5：7xOPS Agent监控到的数据以Http/Rpc的方式发送到7xOPS Receiver，7xOPS Receiver实现对采集到的数据进行存储；所述SNMP采集流程：S1：7xOPS Agent任务列表启动SNMP监控任务，7xOPS Agent接受到7xOPS Server下发的Mq任务信息，去执行对应的监控任务，再准备启动监控任务前，需要经过数据校验；S2：通过校验后的数据进行Context上下文赋值，使其可以在接下来的监控任务中可以被全程使用；S3：运行SNMP监控任务，使用SNMP walk/get请求方法通过Oid和IP作为入参可以获取设备的cpu,内存等基础信息，也可以通过Ping方法进行数据监控；S4：监控到的数据进行数据清洗，数据过滤，数据整合，数据队列，数据结构优化，数据压缩...

【专利技术属性】
技术研发人员：颜磊，董晟，赵鹏涛，张端峰，
申请(专利权)人：上海叠念信息科技有限公司，
类型：发明
国别省市：