System.Exception: 字符串 'shanghaidianxingongchengyouxiangongsijiangsushengtongxinbiwuyouxiangongsizhejiangshengtongxinchanyebiwuyouxiangongsianhuishengtongxinchanyebiwuyouxiangongsifujianshengyoudianguiguoshejiyuanyou' 后的引号不完整。 “shanghaidianxingongchengyouxiangongsijiangsushengtongxinbiwuyouxiangongsizhejiangshengtongxinchanyebiwuyouxiangongsianhuishengton”附近有语法错误。 在 DBUtility.DbHelperSQL.RunProcedure(String storedProcName, IDataParameter[] parameters, Int32& rowsAffected) 在 DAL.APT_Common.Update(String tbName, String filter, String where) 在 zhuanliShow.pingyinfenlei(String id) 采集任务分配方法组成比例_技高网
当前位置: 首页 > 专利查询>>正文

采集任务分配方法组成比例

技术编号：39713381 阅读：7 留言：0更新日期：2023-12-17 23:22
本发明专利技术公开了一种采集任务分配方法

全部详细技术资料下载

【技术实现步骤摘要】
采集任务分配方法、装置及存储介质


[0001]本专利技术属于云原生
，具体涉及一种采集任务分配方法
、
装置及存储介质
。

技术介绍

[0002]随着技术的革新，业务对系统的要求越来越高，分布式
、
云原生
、
海量数据对系统的高性能和稳定性提出了越来越高的要求
。
在这种软件系统环境的要求下，历史悠久的监控系统越来越展现出它的无与伦比的重要性
。
[0003]Prometheus
是一个开源的系统监控和报警系统，属于云原生计算基金会
(Cloud Native Computing Foundatio
，
CNCF)
项目，它提供了丰富的
Exporter(
采集监控数据并通过
Prometheus
监控规范对外提供数据的组件
)
来满足各种业务场景的监控指标采集和预警需求
。Prometheus
可抓取采集任务的数据并存储起来，然后通过
PromQL(Prometheus
自己开发的数据查询语言
)
语句提供可视化数据服务
。
[0004]Prometheus
作为新生代的开源监控系统，慢慢成为了云原生监控体系的事实标准，但在多集群
、
大集群等场景下，
Prometheus
由于没有多集群支持的高可用性方案，随着监控的集群规模越来越大，监控数据的种类和数量也越来越多，如服务器监控
、
进程监控
、K8S POD
资源监控以及业务监控等，如何在监控集群规模日益扩大的基础上，对外提供高性能的数据服务是以
Prometheus
为基础的大型监控采集系统需要解决的首要问题
。

技术实现思路

[0005]本专利技术的目的是提供一种采集任务分配方法
、
装置及存储介质
。
，用以解决现有技术中存在的上述问题
。
[0006]为了实现上述目的，本专利技术采用以下技术方案：
[0007]第一方面，本专利技术提供了一种采集任务分配方法，应用于
Prometheus
系统的任务分配中心，包括：
[0008]获取采集节点信息和采集目标信息，所述采集节点信息中记录有多个采集节点，所述采集目标信息中记录有多个采集目标；
[0009]获取所述多个采集节点中各采集节点的节点性能参数；
[0010]根据所述多个采集节点
、
所述多个采集目标以及所述多个采集节点中各采集节点的节点性能参数，通过均衡负载确定出所述多个采集节点中各采集节点的采集任务，所述多个采集节点中采集节点的数量为偶数，所述多个采集节点中的采集节点基于虚拟路由器冗余协议两两互为备份；
[0011]将确定出的采集任务分配给所述多个采集节点中对应的采集节点以进行数据采集，以便数据存储与服务节点根据预配置的数据抽取规则，从各采集节点所采集的数据中进行数据抽取以对外提供数据服务
。
[0012]在一个可能的设计中，所述方法还包括：
[0013]监听任务分布式配置中心中的采集任务以及所述多个采集节点中各采集节点的
采集任务；
[0014]如果所述分布式配置中心的采集任务发生变更或所述多个采集节点中至少一个节点发生故障，则通过均衡负载更新所述多个采集节点中各采集节点的采集任务，并将更新后的采集任务分配给所述多个采集节点中对应的采集节点
。
[0015]在一个可能的设计中，所述方法还包括：
[0016]如果所述多个采集节点中发生故障的采集节点故障恢复，则通过均衡负载再次更新所述多个采集节点中各采集节点的采集任务，并将再次更新后的采集任务分配给所述多个采集节点中对应的采集节点
。
[0017]在一个可能的设计中，所述分布式配置中心的采集任务发生变更包括任务新增
、
任务更改以及任务删除中的至少一种
。
[0018]在一个可能的设计中，所述数据存储与服务节点为多个，所述多个采集节点通过同一虚拟
IP
地址为多个所述数据存储与服务节点提供服务
。
[0019]在一个可能的设计中，所述获取所述多个采集节点中各采集节点的节点性能参数，包括：
[0020]从分布式配置中心获取所述多个采集节点中各采集节点的节点性能参数
。
[0021]在一个可能的设计中，所述节点性能参数包括
CPU
使用率
、
内存大小
、
存储设备容量
、
存储设备占用百分比以及存储设备每秒的读写次数中的至少一种
。
[0022]第二方面，本专利技术提供了一种采集任务分配装置，应用于
Prometheus
系统的任务分配中心，包括：
[0023]第一获取单元，用于获取采集节点信息和采集目标信息，所述采集节点信息中记录有多个采集节点，所述采集目标信息中记录有多个采集目标；
[0024]第二获取单元，用于获取所述多个采集节点中各采集节点的节点性能参数；
[0025]确定单元，用于根据所述多个采集节点
、
所述多个采集目标以及所述多个采集节点中各采集节点的节点性能参数，通过均衡负载确定出所述多个采集节点中各采集节点的采集任务，所述多个采集节点中采集节点的数量为偶数，所述多个采集节点中的采集节点基于虚拟路由器冗余协议两两互为备份；
[0026]分配单元，用于将确定出的采集任务分配给所述多个采集节点中对应的采集节点以进行数据采集，以便数据存储与服务节点根据预配置的数据抽取规则，从各采集节点所采集的数据中进行数据抽取以对外提供数据服务
。
[0027]第三方面，本专利技术提供了一种采集任务分配装置，包括依次通信相连的存储器
、
处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如上述第一方面所述的采集任务分配方法
。
[0028]第四方面，本专利技术提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行第一方面所述的采集任务分配方法
。
[0029]第五方面，本专利技术提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面所述的采集任务分配方法
。
[0030]有益效果：
[0031]通过获取采集节点信息
、
采集目标信息以及采集节点信息中记录的多个采集节点的节点性能参数，然后根据多个采集节点
、
采集目标信息中的多个采集目标以及多个采集
节点中各采集节点的节点性能参数，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种采集任务分配方法，应用于
Prometheus
系统的任务分配中心，其特征在于，包括：获取采集节点信息和采集目标信息，所述采集节点信息中记录有多个采集节点，所述采集目标信息中记录有多个采集目标；获取所述多个采集节点中各采集节点的节点性能参数；根据所述多个采集节点
、
所述多个采集目标以及所述多个采集节点中各采集节点的节点性能参数，通过均衡负载确定出所述多个采集节点中各采集节点的采集任务，所述多个采集节点中采集节点的数量为偶数，所述多个采集节点中的采集节点基于虚拟路由器冗余协议两两互为备份；将确定出的采集任务分配给所述多个采集节点中对应的采集节点以进行数据采集，以便数据存储与服务节点根据预配置的数据抽取规则，从各采集节点所采集的数据中进行数据抽取以对外提供数据服务
。2.
根据权利要求1所述的方法，其特征在于，所述方法还包括：监听任务分布式配置中心中的采集任务以及所述多个采集节点中各采集节点的采集任务；如果所述分布式配置中心的采集任务发生变更或所述多个采集节点中至少一个节点发生故障，则通过均衡负载更新所述多个采集节点中各采集节点的采集任务，并将更新后的采集任务分配给所述多个采集节点中对应的采集节点
。3.
根据权利要求2所述的方法，其特征在于，所述方法还包括：如果所述多个采集节点中发生故障的采集节点故障恢复，则通过均衡负载再次更新所述多个采集节点中各采集节点的采集任务，并将再次更新后的采集任务分配给所述多个采集节点中对应的采集节点
。4.
根据权利要求2所述的方法，其特征在于，所述分布式配置中心的采集任务发生变更包括任务新增
、
任务更改以及任务删除中的至少一种
。5.
根据权利要求1所述的方法，其特征在于，所述数据存储与服务节点为多个，所述多个采集节点通过同一虚拟
IP
地址为多个所述数据存储与服务节点提供服务
。6.
根...

【专利技术属性】
技术研发人员：吴一洲，鲍卫，王欣，戴礼华，肖骁，
申请(专利权)人：上海电信工程有限公司江苏省通信服务有限公司浙江省通信产业服务有限公司安徽省通信产业服务有限公司福建省邮电规划设计院有限公司江西省邮电规划设计院有限公司湖北省信产通信服务有限公司湖南省邮电规划设计院有限公司广东省电信规划设计院有限公司广西壮族自治区通信产业服务有限公司海南电信规划设计院有限公司重庆市通信产业服务有限公司中通服创立信息科技有限责任公司贵州省通信产业服务有限公司云南省通信产业服务有限公司陕西通信规划设计研究院有限公司甘肃省通信产业工程建设有限公司青海省通信服务有限公司宁夏回族自治区通信产业服务有，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人
相关技术
网友询问留言 已有0条评论

  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1
发布您的意见
相关领域技术

关于我们 | 联系我们 | 支付方式

Copyright © 2018 All Rights Reserved.

津ICP备16005673号-1 津公网安备 12019202000132号 技高德科技（天津）有限公司版权所有