【技术实现步骤摘要】
本专利技术涉及数据库中间件，尤其涉及分布式场景下元数据管理方法。
技术介绍
1、数据库中元数据为描述数据的数据，元数据可以描述数据的数据，提供关于数据的结构、内容和关系；它帮助理解、管理和组织数据，包括数据库结构、表定义、索引信息等，为数据管理和分析提供重要支持。在分布式数据库场景下，元数据管理是确保数据一致性和可靠性的关键。当前，分布式系统面临着数据同步、节点故障处理和系统可扩展性等挑战。
2、当前分布式场景下元数据管理的解决方案主要是分布式数据库存储，采用分布式数据库存储方案，将元数据分散存储在各个节点，通过一致性协议确保各节点元数据的同步和一致性。其解决方案通常需要复杂的维护和管理，包括监控节点状态、处理数据冲突和升级系统等，增加了系统的复杂性。
技术实现思路
1、为了解决现有方案存在的一致性和同步延迟较高、网络通信开销较大、处理故障复杂、难扩展、安全性不足、维护和管理成本较高的问题，本申请实施例提供一种基于 etcd的分布式中间件元数据管理方法，其特征在于，包括：
2、元数据全量加载，包括：
3、管理节点集群向etcd集群请求并获取元数据；
4、元数据变更推送增量，包括：
5、在线执行器接收ddl变更请求，发送给随机选择的一第一管理节点；
6、第一管理节点在etcd节点上持久化数据变更，记录etcd节点数据版本号作为元数据变更记录版本号；
7、第一管理节点利用etcd的订阅发布机制广播元数据
8、管理节点集群中的其他管理节点利用etcd的订阅发布机制接收元数据变更任务，分别向其在线执行器推送；
9、其他管理节点的在线执行器响应元数据变更任务推送，应用增量更新；
10、第一管理节点更新etcd节点中的变更任务信息；
11、第一管理节点检查是否收到所有其他管理节点的响应信息，将广播结果反馈给发送ddl变更请求的在线执行器；
12、元数据定时比对变更，包括：
13、在线执行器定时发送本地元数据信息给其管理节点，本地元数据信息包括本地元数据的压缩包、变更记录版本号及快照；
14、管理节点将本地元数据快照的哈希值与管理节点当前元数据快照的哈希值进行比对；
15、当哈希值不一致，管理节点解压缩本地元数据，比对每一条变更记录，根据变更记录版本号是否一致决定是否向其在线执行器推送元数据变更任务；
16、在线执行器响应元数据变更任务推送，应用增量更新。
17、本申请实施例还提供了一种电子设备，包括处理器和存储器，所述存储器存储有可在所述处理器上运行的程序，其特征在于，所述程序被所述处理器执行时实现上述的基于 etcd 的分布式中间件元数据管理方法的步骤。
18、本申请实施例还提供了一种计算机可读存储介质，存储有至少一个程序，其特征在于，所述至少一个程序可被至少一个处理器执行，以实现上述的基于 etcd 的分布式中间件元数据管理方法的步骤。
19、本申请的基于 etcd 的分布式中间件元数据管理方法，基于etcd键值存储系统存储关键元数据信息，结合多个etcd节点和多个管理节点的集群部署，利用etcd节点数据版本号作为中间件元数据管理的版本标识（即元数据的变更记录版本号）实现版本控制和同步，利用etcd的订阅发布机制实现元数据变更的广播通知，实现跨节点的元数据同步，确保元数据管理的一致性和及时性，对分布式环境具有高度适应性，能够有效处理节点故障引起的数据同步问题，轻松应对不断增长的数据规模。
本文档来自技高网...【技术保护点】
1.一种基于 Etcd 的分布式中间件元数据管理方法，其特征在于，包括：
2.如权利要求1所述的基于 Etcd 的分布式中间件元数据管理方法，其特征在于，还包括断链恢复检查元数据：当在线执行器与其管理节点发生断链并重新连接时，在线执行器主动发起增量比对，以对齐元数据。
3.如权利要求2所述的基于 Etcd 的分布式中间件元数据管理方法，其特征在于，在线执行器主动发起增量比对，以对齐元数据，包括：
4.如权利要求1所述的基于 Etcd 的分布式中间件元数据管理方法，其特征在于，元数据变更推送增量还包括：第一管理节点创建一个任务节点用于监视元数据变更任务，任务节点被管理节点集群中的所有管理节点监视。
5.如权利要求4所述的基于 Etcd 的分布式中间件元数据管理方法，其特征在于，其他管理节点的在线执行器响应元数据变更任务推送，应用增量更新后，还包括：
6.如权利要求1所述的基于 Etcd 的分布式中间件元数据管理方法，其特征在于，管理节点使用 Etcd 分布式锁保证DDL互斥性。
7.如权利要求1所述的基于 Et
8.如权利要求1所述的基于 Etcd 的分布式中间件元数据管理方法，其特征在于，全量加载之前包括集群部署，包括：
9.一种电子设备，包括处理器和存储器，所述存储器存储有可在所述处理器上运行的程序，其特征在于，所述程序被所述处理器执行时实现权利要求1-8任一项所述的基于Etcd 的分布式中间件元数据管理方法的步骤。
10.一种计算机可读存储介质，存储有至少一个程序，其特征在于，所述至少一个程序可被至少一个处理器执行，以实现权利要求1-8任一项所述的基于 Etcd 的分布式中间件元数据管理方法的步骤。
...【技术特征摘要】
1.一种基于 etcd 的分布式中间件元数据管理方法，其特征在于，包括：
2.如权利要求1所述的基于 etcd 的分布式中间件元数据管理方法，其特征在于，还包括断链恢复检查元数据：当在线执行器与其管理节点发生断链并重新连接时，在线执行器主动发起增量比对，以对齐元数据。
3.如权利要求2所述的基于 etcd 的分布式中间件元数据管理方法，其特征在于，在线执行器主动发起增量比对，以对齐元数据，包括：
4.如权利要求1所述的基于 etcd 的分布式中间件元数据管理方法，其特征在于，元数据变更推送增量还包括：第一管理节点创建一个任务节点用于监视元数据变更任务，任务节点被管理节点集群中的所有管理节点监视。
5.如权利要求4所述的基于 etcd 的分布式中间件元数据管理方法，其特征在于，其他管理节点的在线执行器响应元数据变更任务推送，应用增量更新后，还包括：
6...
【专利技术属性】
技术研发人员：袁锐，朱柯见，
申请(专利权)人：金篆信科有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。