System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于状态机的数据库高可用调度器制造技术_技高网

一种基于状态机的数据库高可用调度器制造技术

技术编号:42747581 阅读:19 留言:0更新日期:2024-09-18 13:39
本发明专利技术公开了一种基于状态机的数据库高可用调度器,包括调度器模块和代理模块,代理模块负责定期采集数据库的各类监控数据并上报至调度器模块,同时执行调度器模块生成的操作指令;调度器模块接收并分析监控数据,记录集群状态日志,基于状态机决策生成结构化操作指令,并记录操作指令日志。本方案引入状态机模型对高可用调度器进行设计,通过将对数据集群的监控信息按照时间序列组织为固定格式,作为状态机的输入,由状态机根据历史状态和输入进行决策,输出对应的操作指令由相应的执行模块执行;通过将集群状态信息和调度器的操作指令结构化存储,使得调度器的决策过程更加清晰,便于追溯追踪决策过程,排查数据库故障,添加对新场景的处理。

【技术实现步骤摘要】

本专利技术涉及数据库,尤其涉及一种基于状态机的数据库高可用调度器


技术介绍

1、随着云计算大数据的时代的到来,各行业应用对数据库可用性和数据安全提出了更高的要求,业界普遍采用了多副本的方法提高数据库的可用性。

2、高可用数据库通常用主从的方式实现多副本,以mysql为例,通常有一个主库承担读写任务,从库通过订阅主库的binlog日志并且回放日志来保证数据和主库一致;当主库发生故障的时候,数据库需要进行主从切换。现有技术中有一些常见的高可用组件,如mha等提供监控数据库的状态对数据库的进行切换和调度;此类高可用组件存在功能简陋有些特殊场景无法处理,切换过程难以追溯不方便后续排查问题和采取预防措施,实现逻辑不够清晰不方便后续演进等问题。


技术实现思路

1、本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊,而这种简化或省略不能用于限制本专利技术的范围。

2、因此,为解决上述技术问题,本专利技术提供如下技术方案:一种基于状态机的数据库高可用调度器,包括调度器模块和代理模块,其中,代理模块负责定期采集数据库的各类监控数据并上报至调度器模块,同时执行调度器模块生成的操作指令;调度器模块接收并分析监控数据,记录集群状态日志,基于状态机决策生成结构化操作指令,并记录操作指令日志。

3、作为本专利技术所述基于状态机的数据库高可用调度器的一种优选方案,其中:代理模块定期上报结构化监控数据,数据包含但不限于是数据库连接状态、磁盘使用率、从库复制进度、复制延时等,上报的数据封装为一个标准化的结构体。

4、作为本专利技术所述基于状态机的数据库高可用调度器的一种优选方案,其中:调度器模块接收到代理模块上传的监控数据后,分析得到的当前集群状态,集群状态包括但不限于各个实例的存活状态、各个从库的复制延时、各个实例的数据盘使用率等;若某次监控数据上报周期内未收到某个代理模块的监控数据,则将该实例的状态标记为“丢失”。

5、作为本专利技术所述基于状态机的数据库高可用调度器的一种优选方案,其中:集群状态日志为结构化日志,记录每个监控数据上报周期生成的集群状态信息,用于反映集群状态的变化,特别是在故障和切换时提供状态还原依据;集群状态日志可以使用各种时序数据存储服务进行存储。

6、作为本专利技术所述基于状态机的数据库高可用调度器的一种优选方案,其中:状态机基于当前监控数据上报周期的集群状态和内存中保存的过去n次监控数据上报周期的历史状态进行决策,决策流程可以以状态机转移图表示;状态机决策的示例场景包括在主数据库网络中断并持续多个监控数据上报周期时,发起主从切换操作。

7、作为本专利技术所述基于状态机的数据库高可用调度器的一种优选方案,其中:每个监控数据上报周期生成的结构化操作指令包括但不限于启停某个实例、执行主从切换操作、克隆一个新副本等,若无操作则生成空结构体;若有操作,则将生成的操作指令传输给对应的代理模块执行相应的操作。

8、作为本专利技术所述基于状态机的数据库高可用调度器的一种优选方案,其中:操作指令日志为结构化日志,按时间序列记录每次生成的结构化的操作指令,用于追溯操作历史。

9、作为本专利技术所述基于状态机的数据库高可用调度器的一种优选方案,其中:状态机决策具有确定性,即按时间序列输入相应的输入,系统将转移到对应的状态,生成确定的执行指令,确保高可用调度器的决策过程具有可复现功能。

10、作为本专利技术所述基于状态机的数据库高可用调度器的一种优选方案,其中:确定性决策的特性使得在调度器开发、维护、添加新场景及故障排查时,可通过构造特定输入来验证和测试决策过程。

11、作为本专利技术所述基于状态机的数据库高可用调度器的一种优选方案,其中:通过结构化的集群状态日志和操作指令日志,在数据库故障后准确追溯调度器的决策过程中,重现当时的集群状态和调度决策。

12、本专利技术的有益效果:

13、本专利技术提供了一种基于状态机的数据库高可用调度器,本方案引入状态机模型对高可用调度器进行设计,通过将对数据集群的监控信息按照时间序列组织为固定格式,作为状态机的输入,由状态机根据历史状态和输入进行决策,输出对应的操作指令由相应的执行模块执行;通过将集群状态信息和调度器的操作指令结构化存储,使得调度器的决策过程更加清晰化,便于追溯追踪决策过程,排查数据库故障,添加对新场景的处理。

本文档来自技高网...

【技术保护点】

1.一种基于状态机的数据库高可用调度器,其特征在于:包括调度器模块和代理模块,其中,代理模块负责定期采集数据库的各类监控数据并上报至调度器模块,同时执行调度器模块生成的操作指令;调度器模块接收并分析监控数据,记录集群状态日志,基于状态机决策生成结构化操作指令,并记录操作指令日志。

2.如权利要求1所述的基于状态机的数据库高可用调度器,其特征在于:代理模块定期上报结构化监控数据,并将上报的数据封装为一个标准化的结构体;上述数据包含数据库连接状态、磁盘使用率、从库复制进度、复制延时。

3.如权利要求1所述的基于状态机的数据库高可用调度器,其特征在于:调度器模块接收到代理模块上传的监控数据后,分析得到的当前集群状态,集群状态包括各个实例的存活状态、各个从库的复制延时、各个实例的数据盘使用率;若某次监控数据上报周期内未收到某个代理模块的监控数据,则将该实例的状态标记为“丢失”。

4.如权利要求1所述的基于状态机的数据库高可用调度器,其特征在于:集群状态日志为结构化日志,记录每个监控数据上报周期生成的集群状态信息,用于反映集群状态的变化,特别是在故障和切换时提供状态还原依据;集群状态日志使用各种时序数据存储服务进行存储。

5.如权利要求1所述的基于状态机的数据库高可用调度器,其特征在于:状态机基于当前监控数据上报周期的集群状态和内存中保存的过去N次监控数据上报周期的历史状态进行决策;状态机决策的示例场景包括在主数据库网络中断并持续多个监控数据上报周期时,发起主从切换操作。

6.如权利要求1所述的基于状态机的数据库高可用调度器,其特征在于:每个监控数据上报周期生成的结构化操作指令包括启停某个实例、执行主从切换操作、克隆一个新副本,若无操作则生成空结构体;若有操作,则将生成的操作指令传输给对应的代理模块执行相应的操作。

7.如权利要求1所述的基于状态机的数据库高可用调度器,其特征在于:操作指令日志为结构化日志,按时间序列记录每次生成的结构化的操作指令,用于追溯操作历史。

8.如权利要求1所述的基于状态机的数据库高可用调度器,其特征在于:状态机决策具有确定性,即按时间序列输入相应的输入,系统将转移到对应的状态,生成确定的执行指令,确保高可用调度器的决策过程具有可复现功能。

9.如权利要求1所述的基于状态机的数据库高可用调度器,其特征在于:确定性决策的特性使得在调度器开发、维护、添加新场景及故障排查时,通过构造特定输入来验证和测试决策过程。

10.如权利要求1所述的基于状态机的数据库高可用调度器,其特征在于:通过结构化的集群状态日志和操作指令日志,在数据库故障后准确追溯调度器的决策过程中,重现当时的集群状态和调度决策。

...

【技术特征摘要】

1.一种基于状态机的数据库高可用调度器,其特征在于:包括调度器模块和代理模块,其中,代理模块负责定期采集数据库的各类监控数据并上报至调度器模块,同时执行调度器模块生成的操作指令;调度器模块接收并分析监控数据,记录集群状态日志,基于状态机决策生成结构化操作指令,并记录操作指令日志。

2.如权利要求1所述的基于状态机的数据库高可用调度器,其特征在于:代理模块定期上报结构化监控数据,并将上报的数据封装为一个标准化的结构体;上述数据包含数据库连接状态、磁盘使用率、从库复制进度、复制延时。

3.如权利要求1所述的基于状态机的数据库高可用调度器,其特征在于:调度器模块接收到代理模块上传的监控数据后,分析得到的当前集群状态,集群状态包括各个实例的存活状态、各个从库的复制延时、各个实例的数据盘使用率;若某次监控数据上报周期内未收到某个代理模块的监控数据,则将该实例的状态标记为“丢失”。

4.如权利要求1所述的基于状态机的数据库高可用调度器,其特征在于:集群状态日志为结构化日志,记录每个监控数据上报周期生成的集群状态信息,用于反映集群状态的变化,特别是在故障和切换时提供状态还原依据;集群状态日志使用各种时序数据存储服务进行存储。

5.如权利要求1所述的基于状态机的数据库高可用调度器,其特征在于:状态机基于当前监控数据上报周期的...

【专利技术属性】
技术研发人员:张晶
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1