【技术实现步骤摘要】
本专利技术属于数据处理领域，尤其涉及一种面向云资源池异构数据采集插件的解耦方法及装置。
技术介绍
1、互联网时代和5g网络时代，以云计算代表的it生产力，弹性可伸缩、资源粒度划分更细、应用更灵活等特性，替代了绝大部分应用场景下由物理设备作为基础设施的情况，即虚拟的服务器、防火墙、负载均衡等替代了传统固有硬件设备。虚拟化技术和容器技术成为云计算的支撑技术，在各类it企业、云服务商、运营商等行业被广泛应用。
2、尤其运营商历经多年发展，在不同地区建设了许多不同类型的中心云资源池、边缘云(mec)资源池以及各类数据中心，为了优化资源结构、减少资源投入成本，提高资源效能，运营商需要对所属的各类资源池进行统一管理，前提是需要对资源池的海量资源进行统一监控。随着中台技术的提出，湖仓一体的数据存储与应用方式，各类监控、告警、事件、日志等均进入数据湖进行统一存储与应用。
3、然而，不同地区在不同时期建设的资源池，其采用不同的技术体系，管理系统各异，尤其针对资源池各类物理与虚拟对象的性能、告警、事件、日志等采集，使用不同的数据采集技术手段，包括但不限于开源插件，付费软件，自研软件等，其采集的数据没有统一的标准，都是在采集后进入监控系统进行处理。由于需要对分布在异地的异构云资源池(指采用不同的云资源池管理系统)进行统一管理，因此需要对采集的性能、告警、事件、日志等采集插件采集到的数据进行统一清洗和预处理，因此需要一套方法与系统，能够兼容和适配各类采集插件，并且对采集到的数据进行标准化。
4、现有云资源池管理系统中
技术实现思路
1、鉴于以上现有技术的不足，专利技术的目的在于提供一种面向云资源池异构数据采集插件的解耦方法及装置，可以对异构的数据采集插件状态下以一种通用的方式对不同技术体系的云资源池数据进行统一的采集和处理，屏蔽资源池管理软件的异构性，提升不同技术体系的云资源池的数据管理效率，兼容性强，可灵活应对不同业务场景。
2、本专利技术的第一方面，提出了一种面向云资源池异构数据采集插件的解耦方法，应用于异构采集插件解耦框架，其中，所述异构采集插件解耦框架包括相互连接的接口系统子框架和交互配置及数据可视化子框架，所述异构采集插件解耦框架用于接入所述云资源池的采集插件，方法包括：
3、s1，获取云资源池的采集插件，其中，采集插件包括标准型采集插件和非标型采集插件；
4、s2，判断采集插件类别，在采集插件类别为标准型采集插件的情况下，进入s3，否则，进入s5；
5、s3，确定标准型采集插件的插件属性，其中，插件属性包括插件种类和插件版本；
6、s4，根据插件属性，通过异构采集插件解耦框架中预存的与标准型采集插件对应的标准数据模版和标准数据转换模版依次对标准型采集插件采集的数据进行数据解析和数据转换；
7、s5，对非标型采集插件进行数据可视化，制定非标型数据模版；
8、s6，制定非标型采集插件的非标型数据转换模版；
9、s7，通过非标型数据模版和非标型数据转换模版依次对非标型采集插件采集的数据进行数据解析和数据转换；
10、s8，将转换后的数据存储至数据库，完成异构数据采集插件的解耦。
11、进一步地，采集插件包括zabbix采集插件、telegraf采集插件、prometheus采集插件、ssh agent采集插件、ipmi agent采集插件和自研采集插件，其中，所述自研采集插件为根据各厂商采集需求自主开发的采集插件。
12、进一步地，通过异构采集插件解耦框架以消息队列的形式获取云资源池的采集插件以及所述采集插件采集到数据。
13、进一步地，非标准型采集插件包括自研采集插件。
14、进一步地，根据业务需求制定非标型数据转换模版。
15、进一步地，数据库包括关系数据库和时序数据库。
16、进一步地，s5具体包括：
17、结合前端web和画布对非标型采集插件进行可视化编辑；
18、将可视化编辑后的非标型采集插件转换为json格式或者ymal格式，得到非标型数据模板。
19、进一步地，s6具体为：
20、通过字段将非标型采集插件的非标字段与标准字段进行连线，制定非标型采集插件的非标型数据转换模板。
21、进一步地，在s8之后，还包括：
22、制定采集周期，重复步骤s2至步骤s8。
23、本专利技术的第二方面，提出了一种面向云资源池异构数据采集插件的解耦装置，应用于异构采集插件解耦框架，其中，异构采集插件解耦框架包括相互连接的接口系统子框架和交互配置及数据可视化子框架，异构采集插件解耦框架用于接入云资源池的采集插件，用于实现第一方面任一项的面向云资源池异构数据采集插件的解耦方法，装置包括：
24、获取模块，用于获取云资源池的采集插件，其中，采集插件包括标准型采集插件和非标型采集插件；
25、判断模块，用于判断采集插件类别，在采集插件类别为标准型采集插件的情况下，调用确定模块，否则，调用第一制定模块；
26、确定模块，用于确定标准型采集插件的插件属性，其中，插件属性包括插件种类和插件版本；
27、第一解析模块，用于根据插件属性，通过异构采集插件解耦框架中预存的与标准型采集插件对应的标准数据模版和标准数据转换模版依次对标准型采集插件采集的数据进行数据解析和数据转换；
28、第一制定模块，用于对非标型采集插件进行数据可视化，制定非标型数据模版；
29、第二制定模块，用于制定非标型采集插件的非标型数据转换模版；
30、第二解析模块，通过非标型数据模版和非标型数据转换模版依次对非标型采集插件采集的数据进行数据解析和数据转换；
31、存储模块，用于将转换后的数据存储至数据库，完成异构数据采集插件的解耦。
32、进一步地，采集插件包括zabbix采集插件、telegraf采集插件、prometheus采集插件、ssh agent采集插件、ipmi agent采集插件和自研采集插件，其中，所述自研采集插件用于根据各厂商采集需求自主开发的采集插件。
33、进一步地，通过异构采集插件解耦框架以消息队列的形式获取云资源池的采集插件以及所述采集插件采集到的数据。
34、进一步地，非标准型采集插件包括自研采集插件。
35、进一步地，根据业务需求制定非标型数据转换模版。
36、进一步地，数据库包括关系数据库和时序数据库。
37、进一步地，第一制定模块具体用于：
38、结合前端web和画布对非标型采集插本文档来自技高网...
【技术保护点】
1.一种面向云资源池异构数据采集插件的解耦方法，其特征在于，应用于异构采集插件解耦框架，其中，所述异构采集插件解耦框架包括相互连接的接口系统子框架和交互配置及数据可视化子框架，所述异构采集插件解耦框架用于接入所述云资源池的采集插件，方法包括：
2.根据权利要求1所述的一种面向云资源池异构数据采集插件的解耦方法，其特征在于，所述采集插件包括Zabbix采集插件、Telegraf采集插件、Prometheus采集插件、sshAgent采集插件、IPMI Agent采集插件和自研采集插件，其中，所述自研采集插件为根据各厂商采集需求自主开发的采集插件。
3.根据权利要求1所述的一种面向云资源池异构数据采集插件的解耦方法，其特征在于，通过所述异构采集插件解耦框架以消息队列的形式获取所述云资源池的采集插件以及所述采集插件采集到的数据。
4.根据权利要求1所述的一种面向云资源池异构数据采集插件的解耦方法，其特征在于，所述非标准型采集插件包括不同厂商的自研采集插件。
5.根据权利要求1所述的一种面向云资源池异构数据采集插件的解耦方法，其特征在于，根
6.根据权利要求1所述的一种面向云资源池异构数据采集插件的解耦方法，其特征在于，所述数据库包括关系数据库和时序数据库。
7.根据权利要求1所述的一种面向云资源池异构数据采集插件的解耦方法，其特征在于，所述S5具体包括：
8.根据权利要求1所述的一种面向云资源池异构数据采集插件的解耦方法，其特征在于，所述S6具体为：
9.根据权利要求1所述的一种面向云资源池异构数据采集插件的解耦方法，其特征在于，在所述S8之后，还包括：
10.一种面向云资源池异构数据采集插件的解耦装置，其特征在于，应用于异构采集插件解耦框架，其中，所述异构采集插件解耦框架包括相互连接的接口系统子框架和交互配置及数据可视化子框架，所述异构采集插件解耦框架用于接入所述云资源池的采集插件，用于实现权利要求1至9中任一项所述的面向云资源池异构数据采集插件的解耦方法，装置包括：
...【技术特征摘要】
1.一种面向云资源池异构数据采集插件的解耦方法，其特征在于，应用于异构采集插件解耦框架，其中，所述异构采集插件解耦框架包括相互连接的接口系统子框架和交互配置及数据可视化子框架，所述异构采集插件解耦框架用于接入所述云资源池的采集插件，方法包括：
2.根据权利要求1所述的一种面向云资源池异构数据采集插件的解耦方法，其特征在于，所述采集插件包括zabbix采集插件、telegraf采集插件、prometheus采集插件、sshagent采集插件、ipmi agent采集插件和自研采集插件，其中，所述自研采集插件为根据各厂商采集需求自主开发的采集插件。
3.根据权利要求1所述的一种面向云资源池异构数据采集插件的解耦方法，其特征在于，通过所述异构采集插件解耦框架以消息队列的形式获取所述云资源池的采集插件以及所述采集插件采集到的数据。
4.根据权利要求1所述的一种面向云资源池异构数据采集插件的解耦方法，其特征在于，所述非标准型采集插件包括不同厂商的自研采集插件。
5.根据...
【专利技术属性】
技术研发人员：尚啸，邢驰，杨经纬，高宇星，刘冬冬，
申请(专利权)人：中电信数智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。